Qwen 3.6 35B MoE — локальный кодинг проектов
Локальный запуск qwen 3.6 35b moe
Локальный запуск Qwen 3.6 35B MoE — это приватная и доступная альтернатива облачным сервисам. Модель отлично подходит для серьезного программирования, позволяя загружать в память весь код проекта целиком.
Железо и скорость
Для комфортной работы потребуется NVIDIA RTX 3090 с 24 ГБ VRAM (минимум — 16 ГБ), 64 ГБ оперативной памяти и 30 ГБ на SSD. На RTX 3090 скорость генерации достигает 111 токенов в секунду.
Как это работает
Система работает на базе движка llama.cpp-tq3 в среде Miniconda3 и WSL2. Для загрузки моделей используйте Hugging Face CLI (hf), а в качестве интерфейса — OpenCode, OpenWebUI или Continue.dev. Мониторинг ресурсов удобнее всего вести через nvitop.
Технологии Flash Attention и TurboQuant экономят память, а архитектура MoE активирует только нужные параметры, что ускоряет ответы и снижает нагрузку. DeltaNet помогает AI удерживать нить рассуждений даже в очень длинных текстах.
Настройка и запуск
Установите Git, CMake, Ninja, Visual Studio 2022 и CUDA Toolkit. Создайте среду Conda qwen-local и скомпилируйте llama.cpp-tq3 с поддержкой CUDA. Для RTX 3090 используйте флаг -DCMAKE_CUDA_ARCHITECTURES=86.
Скачайте GGUF-модель (12,4 ГБ) и файл mmproj-BF16.gguf для работы с изображениями. Настройка q8_0 обеспечит оптимальный баланс качества и памяти, оставив около 7 ГБ свободной VRAM.
Режимы оптимизации
- Стандарт: контекст 262K, качество q8_0, расход ~16 ГБ VRAM.
- Для больших репозиториев: контекст 262K, сжатый кэш, расход ~14 ГБ VRAM.
- Максимальная скорость: контекст 64K, пакет 4096, скорость до 120 токенов/сек.
Сервер запускается на Windows для прямого доступа к GPU, а клиент — в WSL2 через Node.js. Скрипт oc.sh автоматически обновит IP-адрес и запустит OpenCode.
Ранее по теме
Gemini 3.5 Flash — в 4 раза быстрее конкурентов
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
