Open Agent Leaderboard — как оценить эффективность AI-агентов

Система Open Agent Leaderboard комплексно оценивает ИИ-агентов. Внимание уделяется не только возможностям отдельной модели, но и всей системе агента целиком. Это включает планирование, память и работу с инструментами.

Главный критерий — универсальность

Основной упор делается на универсальность. Агент должен справляться с разными задачами без дополнительной настройки. Важна и экономичность. Ошибки обходятся дорого: поломка агента может стоить на 20–54% дороже, чем его успешная работа.

Единый подход к тестам

Для оценки используется фреймворк Exgentic, обеспечивающий единообразие задач. Каждая задача включает цель, контекст и допустимые действия. Все методики и результаты открыты, что позволяет сообществу проверять агентов.

Разнообразие тестовых сценариев

Набор тестов охватывает шесть областей, проверяя реальные задачи в различных условиях. Например, SWE-Bench Verified тестирует исправление кода, BrowseComp+ — поиск информации в интернете, а AppWorld — работу с приложениями.

Тесты tau2-Bench предназначены для оценки следования правилам компании в сфере обслуживания и для тестирования техподдержки в телекоме.

Что показывают результаты

Выбор модели остается ключевым фактором, но архитектура агента также имеет значение. Особую роль играет выбор инструментов: это сужает фокус агента и помогает избежать ошибок. Универсальные агенты становятся конкурентными и часто превосходят специализированные системы.

Открытые модели, например DeepSeek V3, пока отстают. Они уступают закрытым решениям на 18–29 процентных пунктов.

Польза для бизнеса

Open Agent Leaderboard помогает бизнесу сравнивать успешность и стоимость выполнения задач. Это позволяет выбрать оптимальный вариант и понять, где именно агент нуждается в улучшении: в модели, запросах или архитектуре.

Присоединяйтесь к разработке

Платформа открыта для сотрудничества: вы можете добавить собственных агентов, упаковав их в Exgentic, интегрировать новые тесты или прислать результаты для открытых моделей.

Ранее по теме
Microsoft и OpenAI: новое ИИ-партнерство до 2032 года

Больше новостей в нашем Телеграм. Подпишись!

Ссылка на источник тык.