You will survive ☀️ А кто-то даже закроет сессию на отлы и хоры, если будет соблюдать баланс 🧘‍♂

⭐️ Всё, что нужно сейчас знать об убийце ChatGPT, — LLM-модели R1 от DeepSeek (и полезности, и хайп).

🟣На прошлой неделе стартап представил бесплатную ИИ-модель R1, аналогичную ChatGPT, но работающую с гораздо меньшими затратами. В AI-тестах по математике, работе с кодом и логических рассуждениях новая модель, как утверждают разработчики, показывает такие же результаты, как o1 от OpenAI

🟣Разрабы обучили мощную LLM в 20 раз дешевле и написали об этом подробную статью

🟣Приложение DeepSeek сейчас в топе американского стора

🟣Акции американских технологических компаний резко упали в премаркете. Только Nvidia потеряла 12%. Общие потери американских бигтехов громадны

🟣Основные игроки ИИ-индустрии тратили состояния и анонсировали Stargate Project на 500 млрд $. Оказалось, можно сделать то же самое на порядок дешевле

🟣DeepSeek сообщила о временном ограничении регистрации новых пользователей: уже второй день чат-бот работает со сбоями из-за большого ажиотажа

🥰 ML-пипл, давайте скорее разбираться в феномене!

Андрей Карпатый, учёный в области ML и бывший директора по ИИ в Tesla, считает, что в основе успеха R1 – «правильное» обучение с подкреплением, то есть не подражание размеченным данным, а именно самообучение и самоисправление.

Как обучается и работает модель R1 от DeepSeek, схематично показано на картинке 6 этого поста. R1 не зависит полностью от обучения с подкреплением, а использует его только в двух местах:
1️⃣создание промежуточной модели рассуждений для генерации SFT-данных
2️⃣обучение модели R1 на задачах рассуждения и других типах заданий (с применением различных методов валидации).

Понятное и нескучное визуальное объяснение работы новой модельки от автора хрестоматийной статьи о трансформерах Jay Alammar (если знаешь английский, поймёшь все детали).

У бесплатной R1 (уже доступна в чате – 50 сообщений в день) полностью открытый исходный код, то есть любой желающий может взять кодовую базу, адаптировать ее и даже доработать под свои нужды.

Веса ребята опубликовали и на HuggingFace.

Для настоящих энтузиастов стартап опубликовал целую линейку дистиллированых из R1 моделей на базе Llama и Qwen.
Дистилированные модели обладают меньшим количеством весов, пользователи могут запускать их на меньшем количестве видеокарт, у кого они есть дома.

1.5B моделька показывает себя лучше Sonnet и оригинальной 4o на математических бенчмарках, 14B уверенно обходит QwQ, а 32B - o1-mini (правда отстаёт на Codeforces).

💜 Лайк нашему старшему методисту трека «Искусственный интеллект» Александре Дунаевой за кропотливый сбор такой важной информации, чтобы мы могли поделиться ей с тобой 🤗