Google выпустила Gemma 4 — ускорение до 3 раз
Google представила Gemma 4 — новое поколение открытых моделей, созданных на основе передовых технологий Gemini AI. Gemma 4 оптимизирована для работы непосредственно на вашем устройстве.
Компания Google открыла доступ к Gemma 4 по лицензии Apache 2.0. Это упрощает работу для разработчиков. Модели универсальны: они работают на обычных видеокартах, поддерживаются мобильные процессоры и интегрирована поддержка чипов TPU от Google.
Как gemma 4 ускоряет работу
Главное новшество Gemma 4 — Multi-Token Prediction (MTP). Эта технология устраняет «узкое место» при генерации текста. Раньше модель генерировала только один символ за раз.
MTP использует легкую модель-«черновик», которая предсказывает сразу несколько следующих символов. Затем основная модель Gemma проверяет их. Если предсказание верно, модель подтверждает весь блок данных разом, генерируя несколько символов за одно действие. Модели-«черновики» используют общие с основной моделью данные контекста, что значительно экономит время.
Результаты ускорения
Тесты показывают значительный рост скорости: ускорение достигает 3 раз в зависимости от устройства. На телефонах Pixel модель E2B работает в 2.8 раза быстрее, а E4B — в 3.1 раза. На чипах Apple M4 большая модель Gemma 4 ускоряется в 2.5 раза.
Польза для бизнеса и пользователей
MTP решает проблемы с производительностью и снижает задержку, что особенно актуально для больших моделей. Теперь они лучше работают на обычном оборудовании. Для телефонов это означает лучшую энергоэффективность: заряд батареи расходуется экономнее.
Качество ответов при этом сохраняется. Основная модель гарантирует точность. Локальная работа AI повышает конфиденциальность, так как вам не нужно отправлять данные в облако.
Простая интеграция
Интегрировать MTP в проекты на базе Gemma 4 не составит труда. Модели-«черновики» доступны бесплатно и могут быть интегрированы в популярные системы, такие как MLX, VLLM, SGLang и Ollama.
Ранее по теме
Google запустил Gemini Enterprise Agent Platform для контроля ИИ-агентов
Больше новостей в нашем Телеграм. Подпишись!
Ссылка на источник тык.
