Новости ИИ
Разреженное обучение ускоряет обновление нейросетей в 50 раз
Синхронизация весов моделей в асинхронном обучении с подкреплением (RL) — непростая задача, особенно для моделей размером в терабайт (1T) и более. Традиционные методы требуют передачи полных снимков модели (около 1024 GiB для 1T параметров), что создает узкое место. Простой GPU затягивается, пока модель ожидает загрузки новых весов. Разреженное обучение дельта-значений — решение