Ты уже знаешь про опенсорс новой LLM от ❤️ндекса и мы разобрали его по скорлупкам 🍳

Претрейн-версия YandexGPT 5 Lite на 8B параметров опубликована на Hugging Face 🤗 без финального этапа обучения, этических фильтров и алаймента. Такую версию можно дообучить под свои задачи.

По внутренним тестам Яндекса, в своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их (результаты внутренних тестов Яндекса найдёшь на картинках).

Претрейн модели проходил в два этапа. На первом этапе модель инициализировалась случайными весами, т. е. без использования весов каких-либо других моделей, и обучалась преимущественно на русскоязычных и англоязычных текстах общим объёмом 15T токенов. На втором этапе —Powerup — модель обучалась на высококачественных данных объёмом 320B токенов.

Теперь о показателях YandexGPT 5 Pro 📁
Согласно данным замеров «Яндекса» методом слепого сравнения (Side by Side), YandexGPT 5 Pro сопоставима по качеству ответов с GPT-4o и в 64% случаев превосходит китайскую модель Qwen2.5 (версию Qwen-2.5-32b-Instruct) в решении стандартных задач сервисов компании. По результатам международных тестов новая модель приблизилась к GPT-4o, а в ряде задач — не уступает или превосходит ее по качеству. По сравнению с Qwen2.5 (версия Qwen-2.5-32b-Instruct) YandexGPT 5 Pro лучше отвечает на фактовые вопросы и следует заданному формату, немного уступая в математике.

Обучали модель в несколько этапов: нарастили и разнообразили датасет, усложнили задачи, внедрили RL-методы DPO и PPO и сделали яндексовую модификацию LogDPO, чтобы повысить робастность модели.

Подробно обо всех этапах обучения, сборе разных корпусов данных и весах можешь узнать из статьи на Хабре.

Pro-версия доступна для встраивания в Yandex Cloud через API, а также интегрирована в чат с Алисой, где теперь можно отключить персонажность и пообщаться с базовой версией модели 🧛‍♀️🧛‍♂️

😜 Праздник кошек и «Золовкины посиделки» (конец Масленицы) – вот такой сегодня день 🥞 Отличный повод порадовать своего котика вкусняшками.

Собрали пары картинок, которые помогут вам с котиком ни в чём себе не отказывать.

Ситуация: День открытых дверей Высшей школы программной инженерии МФТИ 🚪🎓

По такому случаю подготовили розыгрыш призов от ВШПИ и партнёров: Сбера,Яндекса и МТС. А ещё много вкусного кофе,
ароматных чаёв, полезных снеков и пищи для ума!

😌Почему стоит открыть эту дверь?
Крупные ИТ-компании проводят курсы совместно с ВШПИ и крутые эксперты и преподаватели расскажут тебе о них.

😊 Павел Нефедов, Сбер — о курсе «Мобильная разработка»
😊 Александр Селиванов, Яндекс — о курсе «Фронтенд разработка»
😊 Сурен Калайчьян, МТС — о курсе «Программирование на языке Java».

А также наши студенты поделятся личным опытом реализации проектов!

Встретимся и отлично проведём время в Физтех.Цифре: Научный переулок, д. 4,к 1.

⏰ 16 марта 2025 с 12:30 до 17:00.
🔥 Обязательно закажи пропуск!