NVIDIA Nemotron 3 Nano Omni ускорилась в 9 раз

NVIDIA Nemotron 3 Nano Omni — это новая модель, способная понимать текст, изображения, видео и звук. Она эффективно анализирует сложную информацию с большим контекстом, используя уникальную архитектуру Mamba-Transformer MoE.

Производительность на высоте

Nemotron 3 Nano Omni работает значительно быстрее: пропускная способность выросла в 9 раз, обработка в реальном времени — в 2.9 раза, для документов — в 7.4 раза, а для видео — в 9.2 раза.

Технические новинки

Nemotron 3 Nano Omni базируется на архитектуре Nemotron 3 Nano 30B-A3B. Модель интегрирована с видео-энкодером C-RADIOv4-H и аудио-энкодером Parakeet-TDT-0.6B-v2. Она обрабатывает изображения в их родном разрешении, что важно для документов и интерфейсов высокого качества.

Работа с видео и звуком

Модель использует сжатие Conv3D для видео, уменьшая количество визуальных токенов. Технология Efficient Video Sampling (EVS) отсеивает лишние кадры, ускоряя работу и снижая задержки.

Бизнес-применения

Nemotron 3 Nano Omni полезна для анализа контрактов, форм и документов объемом более 100 страниц, решая проблемы с разметкой и таблицами. Точность модели улучшилась в 2.19 раза.

Автономность и рабочие процессы

Модель управляет компьютером, понимая скриншоты и интерфейсы. Это позволяет ей самостоятельно искать информацию на сайтах, анализировать видеозаписи с экрана и совещаний, а также понимать связь между речью и видео. Компонент ASR выдает точные транскрипции, работая с 5 часами аудио.

Обучение и надежность

Nemotron 3 Nano Omni проходит многоэтапное обучение с использованием передовых методик. Модель обучалась на кластерах NVIDIA H100. Для надежности она тренировалась на запросах без ответа, чтобы научиться признавать недостаток информации.

Доступность

Готовые модели Nemotron 3 Nano Omni доступны на HuggingFace в форматах BF16 (высокая точность), FP8 (баланс) и NVFP4 (сильно сжатый для ограниченных ресурсов).

Больше новостей в нашем Телеграм. Подпишись!

Ссылка на источник тык.