Qwen 3.5 9B — 60k контекста на 8GB VRAM
При выборе локальных LLM не стоит гнаться за количеством параметров. Архитектура и размер контекстного окна важнее: компактная, но эффективная модель справляется с длинными текстами лучше, чем тяжелый «гигант».
Производительность и железо
Тест в LM Studio на GPU с 8GB VRAM показал разные результаты. Модель gpt-oss 20B тормозила на длинных запросах и быстро забивала память. В то же время Qwen 3.5 9B (q4_k_m), будучи в два раза меньше, сработала эффективнее. Она стабильно держала контекст в 60k токенов, занимая всего 7.6GB VRAM.
Архитектура gated deltanet
Такой результат обеспечивает архитектура Gated DeltaNet (GDN). В обычных Transformer используется KV-кеш, который растет с каждым токеном и быстро съедает память. GDN заменяет его фиксированным состоянием. Благодаря этому расход VRAM остается стабильным при любой длине переписки, что позволяет запускать мощный AI даже на среднем железе без вылетов.
Настройка и проверка
Чтобы выжать максимум из LM Studio, отключите Limit Response Length, чтобы ответы не обрывались, и Thinking Mode для экономии токенов. Также стоит повысить штрафы за повторы, чтобы модель не «лила воду», и использовать системный промпт для лаконичности ответов.
Качество работы проверили тестом Needle in a Haystack: в текст объемом 50k токенов спрятали секретную фразу. При контексте 60k модель легко ее нашла. Это подтверждает, что модель действительно способна работать с большими объемами информации.
Польза для бизнеса
Большой контекст особенно полезен в следующих задачах:
- Обучение: создание детальных гайдов, например по UX-дизайну.
- Аналитика: глубокий поиск по массивам исследовательских данных.
- Учеба: обработка объемных курсов и учебников.
Главный плюс — исчезает «стена контекста», и модель перестает забывать начало беседы. Теперь для качественной работы не требуются дорогие корпоративные GPU с 16GB VRAM и более.
Ранее по теме
Qwen 3.5 с GDN — контекст 262k на 8GB VRAM
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
