RStaR - с лучших решений по нитке Small-LM на колпак рассуждения соберем.

Всех с началом нового рабочего года.

Daily top papers на huggingface за 8.01.2025 статья про то как бустануть рассуждения моделек на уровне бОльших конкурентов.

На самом деле, собрали все самое лучшее, что сработало воедино и нормально затюнили:

1. STaR концепт для просеивания/фильтрации лучших рассуждений. Упоминается Дядей тут.

2. Используется augmented-ToT. Похожий концепт мне рассказывал один kaggle GM в сореве по решению математических олимпиад. Суть в том,чтобы делать генерации рассуждений/решений задач в путон коде. Далее запускать такое и нерабочие имплементации забанить, попросив дебагнуть LMку. Топ-1 решение соревы тут.

3. Process preference model (PPM) в пику dpo и прочим rlhf работает на оценке предпочтения веток полученных с Q-values поиска по дереву из другой топовой статьи по ToT для решения мат.задач с MCTS. Пример расчета и формулы в этой статье.
На этих знаниях лучше или хуже развилка рассуждений учим pair ranking model. Забавно,что кому-то в 2023 году Дядя предлагал в nli формате делать контрастив поиск веток рассуждений.

4. Это self-evolution подходы для обучения. О похожих концептах Дядя писал тут и тут. Подобно spin или rest подходам хорошие стратегии возвращаются для самоулучшения в сет обучения, как хорошие примеры.

В итоге, авторы получили суп из рабочих хаков в той или иной задаче вокруг рассуждений и решений math problem. Получили жОский ап и влетели в топ по бенчам, догнав топовых конкурентов с большим размером моделей.

А теперь взгляните. У нас есть StAR, есть Q-values с MCTS на основе self-rewarding в состоянии ветки S, есть самоэволюция и все это не тот ли самый магический и легендарный Q-star? 🤔🤔🤔

Если что, это "Бегущий по лезвию" про роботов/ии и расследование. Только смотрите 1982 потом уже 2049)

Пример генеративного "искуссьтва" в рекламе.

А у вас там балкон потёк... (с)

даж у кого-то интернет немножко протек, мда..

DeepSeek поделились интересным примером, того как их модель R1-Zero после обучения через rl "сама научилась останавливаться" и перепроверять свои решения. Причем ее этому не учили. Вот такой вот трансфер.

А что думаете Вы? Черипик или нет, верим?

Пишите в комментариях свое мнение.

https://github.com/deepseek-ai/DeepSeek-R1

Думаю теперь всем пофигу fit on the test или нет.)