📊 MIT показал, как экономить при обучении больших LLM

MIT и MIT-IBM Watson AI Lab выпустили плейбук о том, как правильно строить законы масштабирования — правила, по которым можно предсказывать, какой будет точность большой модели, не тратя миллионы на полный прогон.

Что выяснили:
- Достаточно обучить 5 моделей разных размеров, чтобы построить рабочий прогноз.
- Первые 10 миллиардов токенов обучения можно смело пропускать — данные там слишком шумные и бесполезные.
- Большую модель можно обучить всего на 30%, и по этой частичной кривой уже предсказать финальные результаты.

Что интересного в плейбуке:
Сильно сокращает расходы на тесты.
Позволяет исследователям заранее понимать, какой результат даст масштабирование.
- Делает разработку больших LLM быстрее и эффективнее.

Подробнее здесь:
https://news.mit.edu/2025/how-build-ai-scaling-laws-efficient-llm-training-budget-maximization-0916

@ArtificialIntelligencedl

Сейчас проходит конференция RecSys, а ребята из AI VK Hub разбирают самые интересные статьи у себя в канале.
Первая статья про то, как адаптировали рекомендательные алгоритмы под сценарий ‘холодного’ старта, когда система не знает ничего о новом пользователе или новом продукте

Продуктивная пятница для тех кто в теме Java и ML – приходите на VK JT Meetup!

3 октября VK проводит VK JT Meetup в Нижнем — офлайн-встречу ML-инженеров и Java-разработчиков.

Лиды VK расскажут про вызовы перед бэкендером, которые возникают в процессе создания B2B-продукта. А также поделятся пошаговым гайдом по выпуску RAG в прод и процессом создания единой инфраструктуры поисковой платформы.

А после докладов вас ждут командные кейс-батлы и нетворкинг.

Приходите посоревноваться за призы в кейс-батле и пообщаться с экспертами в нетворкинг-зоне.

📍 Нижний Новгород, только офлайн
📅 3 октября, сбор с 18:00
🎟 Вход по регистрации