Ты уже знаешь про опенсорс новой LLM от ❤️ндекса и мы разобрали его по скорлупкам 🍳

Претрейн-версия YandexGPT 5 Lite на 8B параметров опубликована на Hugging Face 🤗 без финального этапа обучения, этических фильтров и алаймента. Такую версию можно дообучить под свои задачи.

По внутренним тестам Яндекса, в своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их (результаты внутренних тестов Яндекса найдёшь на картинках).

Претрейн модели проходил в два этапа. На первом этапе модель инициализировалась случайными весами, т. е. без использования весов каких-либо других моделей, и обучалась преимущественно на русскоязычных и англоязычных текстах общим объёмом 15T токенов. На втором этапе —Powerup — модель обучалась на высококачественных данных объёмом 320B токенов.

Теперь о показателях YandexGPT 5 Pro 📁
Согласно данным замеров «Яндекса» методом слепого сравнения (Side by Side), YandexGPT 5 Pro сопоставима по качеству ответов с GPT-4o и в 64% случаев превосходит китайскую модель Qwen2.5 (версию Qwen-2.5-32b-Instruct) в решении стандартных задач сервисов компании. По результатам международных тестов новая модель приблизилась к GPT-4o, а в ряде задач — не уступает или превосходит ее по качеству. По сравнению с Qwen2.5 (версия Qwen-2.5-32b-Instruct) YandexGPT 5 Pro лучше отвечает на фактовые вопросы и следует заданному формату, немного уступая в математике.

Обучали модель в несколько этапов: нарастили и разнообразили датасет, усложнили задачи, внедрили RL-методы DPO и PPO и сделали яндексовую модификацию LogDPO, чтобы повысить робастность модели.

Подробно обо всех этапах обучения, сборе разных корпусов данных и весах можешь узнать из статьи на Хабре.

Pro-версия доступна для встраивания в Yandex Cloud через API, а также интегрирована в чат с Алисой, где теперь можно отключить персонажность и пообщаться с базовой версией модели 🧛‍♀️🧛‍♂️