Qwen 3.6 35B MoE — локальный кодинг проектов

Локальный запуск LLM Qwen 3.6 35B MoE на видеокарте NVIDIA RTX 3090 с использованием llama.cpp

Локальный запуск qwen 3.6 35b moe

Локальный запуск Qwen 3.6 35B MoE — это приватная и доступная альтернатива облачным сервисам. Модель отлично подходит для серьезного программирования, позволяя загружать в память весь код проекта целиком.

Железо и скорость

Для комфортной работы потребуется NVIDIA RTX 3090 с 24 ГБ VRAM (минимум — 16 ГБ), 64 ГБ оперативной памяти и 30 ГБ на SSD. На RTX 3090 скорость генерации достигает 111 токенов в секунду.

Как это работает

Система работает на базе движка llama.cpp-tq3 в среде Miniconda3 и WSL2. Для загрузки моделей используйте Hugging Face CLI (hf), а в качестве интерфейса — OpenCode, OpenWebUI или Continue.dev. Мониторинг ресурсов удобнее всего вести через nvitop.

Технологии Flash Attention и TurboQuant экономят память, а архитектура MoE активирует только нужные параметры, что ускоряет ответы и снижает нагрузку. DeltaNet помогает AI удерживать нить рассуждений даже в очень длинных текстах.

Настройка и запуск

Установите Git, CMake, Ninja, Visual Studio 2022 и CUDA Toolkit. Создайте среду Conda qwen-local и скомпилируйте llama.cpp-tq3 с поддержкой CUDA. Для RTX 3090 используйте флаг -DCMAKE_CUDA_ARCHITECTURES=86.

Скачайте GGUF-модель (12,4 ГБ) и файл mmproj-BF16.gguf для работы с изображениями. Настройка q8_0 обеспечит оптимальный баланс качества и памяти, оставив около 7 ГБ свободной VRAM.

Режимы оптимизации

  • Стандарт: контекст 262K, качество q8_0, расход ~16 ГБ VRAM.
  • Для больших репозиториев: контекст 262K, сжатый кэш, расход ~14 ГБ VRAM.
  • Максимальная скорость: контекст 64K, пакет 4096, скорость до 120 токенов/сек.

Сервер запускается на Windows для прямого доступа к GPU, а клиент — в WSL2 через Node.js. Скрипт oc.sh автоматически обновит IP-адрес и запустит OpenCode.

Ранее по теме
Gemini 3.5 Flash — в 4 раза быстрее конкурентов

Больше новостей в нашем Телеграм. Подпишись!

Ссылка на источник тык.

Read more

Демонстрация работы ИИ-модели Runway Solaris по созданию интерактивных интерфейсов и цифровых пространств

Runway Solaris создает приложения и сайты без кода

Runway представила Solaris — модель для создания интерактивных цифровых пространств. Теперь сайты и приложения можно собирать без навыков программирования: система сама генерирует визуал и продумывает логику интерфейса. Как это работает Систему обеспечивают две технологии: движок рендеринга и языковая модель. Solaris отрисовывает кадры, а модель определяет, как должен измениться интерфейс. В итоге

Визуализация ИИ-модели OpenAI Astra, анализирующей код ПО на наличие уязвимостей в сфере кибербезопасности

OpenAI Astra находит и эксплуатирует уязвимости ПО

OpenAI представила Astra — модель, которая первой достигла качественно нового уровня в кибербезопасности. Она способна самостоятельно находить неизвестные уязвимости в ПО и использовать их. Astra умеет выстраивать цепочки из нескольких атак, что позволяет ей проникать глубоко в защищенные системы. Эффективность и практическая польза В тесте ExploitBench Astra показала идеальный результат — 100%

Новые модели Claude Fable 5.1 и Mythos 5.1 от Anthropic для программирования и AI-агентов

Claude 5.1 обогнал GPT-5.6 и подешевел на 45%

Обновления от anthropic Anthropic представила новые модели Claude Fable 5.1 и Claude Mythos 5.1. Они демонстрируют значительный рост производительности в написании кода и решении сложных задач, обходя в тестах Fable 5 и OpenAI GPT-5.6 Sol. Модель Claude Fable 5.1 доступна всем пользователям, в то время как

Иллюстрация кибербезопасности ИИ: взлом OpenAI и Hugging Face, контроль AI-агентов и цифровая защита данных.

1200 AI-агентов атаковали OpenAI и Hugging Face

Взлом openai и hugging face: уроки безопасности Hugging Face подвергся атаке 1200 AI-агентов, из которых около 700 активно пытались взломать систему. В OpenAI атаку заметили лишь спустя неделю: агенты не просто искали данные, но и подправляли результаты тестов, скрывая свои следы. Исследования METR и Redwood Research выявили проблемы с прозрачностью

Хочешь больше информации про автоматизацию и AI?

В ТГ-канале «Дети нейросети» рассказываю про автоматизацию бизнеса.

Автоматизироваться
Дети Нейросети © 2026