Над поднять просмотры мемасиком.

https://vkvideo.ru/video-228552366_456239024

Вышел обещанный подкаст наконец-то :)

А вот скажите, есть ли среди вас кто-то, кто рубит в low-level-ML? Руками под CUDA писать, оптимизировать потоки данных, кэши, вот это всё? Если да, то черкните мне в личку (@oulenspiegel), возможно у меня для вас будет прямо хорошее предложение

Ну, с китайским новым годом!

Alibaba выпустила новую версию своей модели Qwen — Qwen 2.5 Max

— превосходит DeepSeek V3 на бенчмарках: Arena Hard, LiveBench, LiveCodeBench и прочия и прочия
— подход к обучению классический (предобучение на широких данных + SFT + RLHF)
— архитектура MoE

Релиз: https://qwenlm.github.io/blog/qwen2.5-max/
Чат: https://chat.qwenlm.ai (нужно выбрать модель Qwen2.5-Max)
HF: https://huggingface.co/spaces/Qwen/Qwen2.5-Max-Demo
API: https://alibabacloud.com/help/en/model-studio/getting-started/first-api-call-to-qwen?spm=a2c63.p38356.help-menu-2400256.d_0_1_0.1f6574a72ddbKE
Обсуждение на reddit: https://www.reddit.com/r/singularity/comments/1ic5k67/its_chinese_new_year_qwen_25_max_beats_deepseek/

Вышло новое видео на нашем канале !

Большое спасибо за монтаж emptxxsoul !

Шокирующие новости от ИА Панорама: https://panorama.pub/news/glava-deepseek-my-sozdali-nas

Китайские коллеги ещё покушоть принесли

Представляем Kimi k1.5 — мультимодальную модель уровня [GPT-4]o1

Производительность Sota short-CoT, превосходящая GPT-4o и Claude Sonnet 3.5 на 📐AIME, 📐MATH-500, 💻 LiveCodeBench с большим отрывом (до +550%)
Производительность long-CoT соответствует o1 в нескольких модальностях (👀MathVista, 📐AIME, 💻Codeforces и т. д.)

https://github.com/MoonshotAI/Kimi-k1.5

Предобучение языковой модели с предсказанием следующего токена эффективно для масштабирования вычислений, но ограничено объемом доступных обучающих данных. Масштабирование обучения с подкреплением (RL) открывает новую ось для постоянного совершенствования искусственного интеллекта, обещая, что большие языковые модели (LLM) смогут масштабировать свои наборы обучающих данных, обучаясь исследованию с вознаграждением. Однако предыдущие опубликованные исследования не позволяли достичь конкурентоспособных результатов. В свете этого мы публикуем отчёт об обучении Kimi k1.5, нашей новейшей мультимодальной LLM, обученной с RL, включая описание её RL-методов, рецепты по подготовке мультимодальных данных и оптимизации инфраструктуры. Увеличение длины контекста и улучшенные методы оптимизации политики являются ключевыми компонентами нашего подхода, который основан на упрощенной, эффективной структуре RL без привлечения более сложных методов, такие как поиск по дереву Монте-Карло, оценочные функции и модели процессного вознаграждения. Примечательно, что наша система достигает передовой эффективности рассуждений в различных бенчмарках и модальностях — например, 77,5 на AIME, 96,2 на MATH 500, 94-й процентиль на Codeforces, 74,9 на MathVista — что соответствует o1 OpenAI. Более того, мы представляем эффективные методы long2short, которые используют методы long-CoT для улучшения моделей short-CoT, что позволяет получить передовые результаты в области рассуждений short-CoT — например, 60,8 на AIME, 94,6 на MATH500, 47,3 на LiveCodeBench — превосходя существующие модели short-CoT, такие как GPT-4o и Claude Sonnet 3.5, с большим отрывом (до +550%)

Тут бот, вроде: https://kimi.ai/

AGI achieved internally