🎓 Новые лекции от UCLA: *Reinforcement Learning of Large Language Models* (весна 2025)

Свежий курс, полностью посвящённый обучению LLM с помощью RL. Отличный ресурс для тех, кто хочет разобраться не только в RLHF, но и в новых направлениях, которые появляются на стыке обучения с подкреплением и больших языковых моделей.

📚 Что в курсе:
– Базовые принципы RL применительно к LLM
– RLHF (reinforcement learning from human feedback)
– RL с верифицируемыми наградами (RLVR)
– RL на этапе inference: оптимизация в момент выполнения
– Архитектуры, policy shaping, reward modeling и др.

Это не просто обзор — это системная попытка осмыслить будущее RL для LLM, где важно не только fine-tuning, но и работа с обратной связью в режиме реального времени, доверие к награде и оптимизация вычислений.

🧠 Полезно всем, кто:
– интересуется агентами и автономными системами
– работает над LLM‑продуктами
– хочет выйти за пределы SFT и попробовать более «горькие» методы обучения

#LLM #RLHF #RLVR #AIeducation #ReinforcementLearning #UCLA

🔜 Youtube: https://youtube.com/playlist?list=PLir0BWtR5vRp5dqaouyMU-oTSzaU5LK9r

🔜 Курс: https://ernestryu.com/courses/RL-LLM.html

Сегодня рассмотрим статью про метод «определение аппаратно‑программной платформы» (HSPI), который позволяет по вход‑выходному поведению модели машинного обучения определить, на каком GPU и с каким программным стеком она запущена.

Большие языковые модели и современные сверточные нейронные сети требуют существенных вычислительных ресурсов для решения реальных задач. По этой причине популярным решением становится аренда вычислительных мощностей, на которых проходит инференс, например, LLM-ок.

Возникает вопрос: как проверить, что поставщик железа и софта добросовестно выполняет свои обязательства? То есть, не инферит менее поздние модели на более старых видеокартах? Эту задачу попытался решить коллектив авторов из ICL, UoC и Google Deepmind.

Детали

Основная идея работы — посмотреть на задачи классификации и подобрать картинки или промпты, для которых на выходы модели будут влиять как железо, так и софт из-за различия в арифметических операциях, например — округления.

В контексте задачи классификации отличие двух архитектур будет ярко проявляться на границе между двумя классами, когда различные способы округления и упорядочивания в арифметических операциях будут приводить к различиям в классе, который предсказывает модель.
Авторы рассматривают два алгоритма: HSPI-BI (работает только на лейблах, предсказанных моделькой) и HSPI-LD (работает с вероятностями принадлежности определенному классу).

Результаты

Рассматривалось два сценария: White-Box — когда есть доступ к значениям в каждом нейроне, и Black-Box — когда есть доступ только к выходу модели. В качестве бэйзлайна рассматривался Random Guess. Авторам удалось существенно превзойти точность случайных угадываний в обеих постановках: в White-Box-сценарии точность детектирования типа железа и софта варьировалась от 83% до 100%. В Black-Box-сценарии удалось превзойти random guess примерно в три раза: 25% против 60%.

Авторы планируют дальше развивать предложенный ими метод, так как некоторые архитектуры неразличимы для текущей версии алгоритма. Кроме того, не исследована зависимость результатов от размера батча, что планируется исследовать в будущем.

Предыдущие обзоры статей с ICML от команды AI VK:
🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения

✔️ "Developing superintelligence is now in sight.
We should act as if it's going to be ready in the next 2–3 years.” — Mark Zuckerberg

Его компании больше не просто развивает соцсети — она строит будущее искусственного интеллекта.

И делает ставку всерьёз, вкладывая: миллиарды на инфраструктуру и сотни миллионов — на лучших разарбов.

💰 Цукерберг объясняет, почему готов платить $100–200 млн топ-исследователям:

> «Мы потратим сотни миллиардов на вычисления и дата-центры.
> Тогда $100 млн за гения, способного продвинуть нас вперёд — это мелочь.»

📌 Почему это меняет игру:
— В мире всего сотни разраюотчиков, способных работать на грани AGI
— Каждая компания в ммре борется за них
— Цукерберг собирается собрать свою элиту — 50–70 человек
— И всё это — с прицелом на *2–3 года*, а не десятилетия

Superintelligence теперь не фантастика, а инвестиционный план.

@machinelearning_interview

🖥 Нашли кладезь знаний из 800+ SQL-вопросов с задачами — идеально для подготовки к собеседованиям.

Подойдёт, чтобы:
— прокачать SQL-навыки с нуля до продвинутого уровня
— быстро освежить синтаксис перед интервью
— попрактиковаться на реальных задачах

Полезно как джунам, так и мидлам. Отличный способ проверить себя и закрыть пробелы.

В рекомендациях есть две точки зрения:

1. Бигтех: закинем в нейросеть пару петабайт данных, добавим побольше трансформерных блоков, тысячи видеокарт — и вот вам рексис нового поколения. Но вы не сможете это проверить, потому что только у нас столько данных.
2. Академия: пораскинем мозгами, добавим inductive bias в линейный автоэнкодер и получим соту на всех открытых датасетах. Обучаем на макбуке 19 года.

Мы любим оба подхода, но на ридинг-группе поговорим про второй. Роман Логойда, ML-инженер AI VK, представит статью Why is Normalization Necessary for Linear Recommenders?
🔹Начало встречи 24 июля в 18:00.

Зум: ссылка
ID: 313 292 5940
Код: 473906

Параллельно запустим стрим прямо в канале AI VK Hub.