По данным независимого российского бенчмарка MERA Авито обогнал OpenAI и Google.

Большая языковая модель A-Vibe от Авито заняла первое место среди облегченных моделей (до 10 млрд параметров), обойдя международные аналоги GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие небольшие нейросети. Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом. Чтобы попасть в рейтинг, в фильтре «Размер модели» выберите «≥5B — 10B». Это значит, что в рейтинг попадут модели размером от 5 до 10 миллиардов параметров.

Как отмечает бенчмарк MERA, A-Vibe лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог. Технология помогает продавцам в Авито писать продающие описания и быстрее договариваться о сделке в мессенджере. До конца года компания планирует добавить ещё 20 новых сценариев, а в будущем может открыть код модели для всех. 

«A-Vibe создавалось оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы. Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: Авито планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году», – заявил старший директор по данным и аналитике Авито Андрей Рыбинцев. 

Команда Авито разработала собственные генеративные модели A-Vibe и A-Vision, использовав для обучения на начальном этапе открытую модель. Она обучалась на данных более чем 100 языков, при этом русский составлял менее 1% общего объема данных. Из-за этого модель плохо понимала и генерировала текст на русском. Разработчики модифицировали и провели «русификацию» модели, заменив стандартный токенизатор на собственный, который умеет работать с русским языком. Это привело к ускорению работы:  теперь текст обрабатывается быстрее до 2х раз по сравнению с оригинальной моделью, выросло понимание и генерация текста.  При этом A-Vibe может одновременно обрабатывать до 32 тысяч текстовых фрагментов (токенов).

«Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», — заявила руководитель разработки больших языковых моделей «Авито» Анастасия Рысьмятова.

Отметим, что цифры HUMAN BENCHMARK — это реальные результаты людей. Языковые модели приближаются к этим значениям, но окончательно превзойти человека ещё не смогли.