Robust Reward Model

При обучении реворд модели можно случайно выучить НЕ то.

Вместо обучения на предпочтения людей, можно переобучиться на артифакты ответов

Что это за артифакты?

В датасетах предпочтений более длинные ответы, ответы с эмодзи 🙄, дружелюбные ответы чаще встречаются в chosen, чем в rejected

Очевидно, мы не хотим обучить классификатор, который оценивает длину ответа, мы хотим реально хорошие ответы, независимо от их длины 👮‍♂️

Предлагается делать простой трюк из статьи — аугментации

🔹 Делаем дополнительные примеры из текущего датасета
🔹 Наша задача избавиться от переобучения на артифакты
🔹 Поэтому мы составляем такие пары, где chosen ответ для i-го примера сравнивается с j-ым chosen примером
🔹 Такой трюк заставляет переставать обращать внимание на артифакты, потому что мы учим, что один длинный-красивый chosen пример лучше другого длинного-красивого chosen примера
🔹 Тоже самое для rejected примеров. В общем, смотрите иллюстрацию — там все понятно

Самый прикол в том, что с помощью артифкатов (длинных ответов/эмодзи/доброжелательности) можно захакать не только реворд модель, но и людей. Так сделала llama-4 например, лол 🤷‍♂️🤷‍♂️🤷‍♂️

📎 Статья

Куда еще проще? 💃

Деплой FastAPI приложений одной командой — fastapi deploy

https://fastapicloud.com/

Ловушка Грока 🤡

В разных независимых бенчмарках (1, 2, etc) оказывается, что Grok 4 достаточно хорош.

Почему?

Мне кажется интересной идея, что когда ты являешься AI компанией, которая пытается догнать другую AI компанию (e.g. OpenAI), то ты можешь позволить себе катить очень большие модели на прод, ведь у тебя намного меньше юзеров => тебе можно иметь меньше GPU

Очевидно, что при прочих равных модель с бОльшим количеством параметров лучше той, у которой меньше параметров (только если она не переобучилась)

OpenAI не могли бы выдержать текущий трафик, будь у них модель в X раз больше, а другие могут 🤓

Получается, что OpenAI являются заложниками своих юзеров, которых у них под ярд.

Короче, интересная ловушка из-за количества юзеров!

Be blocked on Telegram forever 😱

Меня тут @BotFather забанил — теперь не могу ботов создавать

Забанил за новоиспеченного бота (я указал описание и аватарку загрузил). Этим ботом никто не пользовался даже (кроме меня)

Это классификатор ошибся? Кто-то сталкивался?