227K subscribers
3.79K photos
631 videos
17 files
4.45K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
✔️Turbo ML Conf 2025 от Т-Технологий — материнской компании Т-Банка — пройдет в России во второй раз.

В этом году конфа для AI и ML- разработчиков пройдет в кластере “Ломоносов” 19 июля. В программе предусмотрено 5 блоков: NLP, CV & Speech, RecSys, Research & RnD, а центральной темой станет разработка LLM-приложений и Copilot-решений.

На Turbo ML Conf 2025 соберутся более 1000 техлидов AI/ML-команд, ML-инженеров, исследователей, Go и Python-разработчиков, и других ИТ-специалистов из ведущих компаний России. Гости услышат десятки докладов и кейсов от более, чем 30 экспертов из Т-Банка, Яндекса, Авито, Сбера, VK, МТС и других ИТ-корпораций и университетов.

✔️В каждом зале гости смогут познакомиться с одним из пяти ключевых направлений программы конференции.

Первое из них — LLM Applications & Copilots. Оно посвящено разработке LLM-платформ, архитектуре решений, тулингу, агентным системам, RAG и LLM для разработки программного обеспечения. Второе направление NLP — обработка естественного языка, а также автоматизация поддержки, alignment, рассуждающие и мультимодальные LLM, mechanistic interpretability естественного языка.

Третье — CV & Speech – синтез и распознавание речи, audio-to-audio-модели и LLM для распознавания и генерации аудио, генеративные сети, VLM, OCR и другие темы. Четвертым направлением станет RecSys, то есть рекомендательные системы, инсайты из продовых A/B-тестов, применение нейросетей для разных этапов систем, применение графовых нейронных сетей и другие темы.
Финальное направление Research & RnD посвящено фундаментальным и прикладным исследованиям в России, мультимодальным LLM, alignment, и mechanistic interpretability.

✔️Спикерами станут более 30 экспертов в области ИИ — практики и руководители команд ИИ из крупнейших технологических компаний и научных организаций страны.

Они расскажут, как строить масштабируемые решения и применять ML в реальных продуктах, поделятся результатами последних научных исследований и объяснят, как технологии влияют на бизнес-задачи. О подготовке LLM в эпоху сильного Open Source расскажет Анатолий Потапов из Т-Банка. Егор Швецов из AIRI даст совет по достижению компромиссов между безопасностью и эффективностью при сжатии моделей, а Сергей Овчаренко из Яндекса поделится результатами 3-летнего обучения диффузионных моделей.

✔️В программе конференции также запланированы интенсивы и интерактивы.

Гости смогут проконсультироваться с HR в IT, создать ML-комиксы и диджитал-сканворд в творческой зоне, пообщаться с другими участниками и отдохнуть на афтепати с DJ-сетами, настольными играми, лото и стильным мерчем.

Онлайн-трансляция в этот раз проводиться не будет, поэтому участие в конференции возможно только очно – бесплатно по предварительной регистрации.

@ai_machinelearning_big_data

#news #ai #ml #ai #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
33👍23😁9😢6🥰5
📌Тренируем LoRA: эффективный тюнинг LLM в гайде от Unsloth.

Добиться от LLM нужного поведения - задача нетривиальная, особенно в тонкой настройке с помощью LoRA.

LoRA позволяет адаптировать модель под конкретные задачи, не переобучая ее целиком, но результат сильно зависит от правильно подобранных гиперпараметров. Небольшой, но очень полезный гайд от Unsloth - ваш гид по основным настройкам LoRA, которые помогут повысить точность, стабильность и качество, попутно снижая риск галлюцинаций и переобучения.

Успешное обучение - это, прежде всего, баланс. Слишком высокая скорость обучения может ускорить начальное обучение, но рискует дестабилизировать модель или привести к пропускам оптимальных решений. Слишком низкая замедлит процесс и, как ни странно, тоже помешает обучению или переобучит вашу LoRa. Оптимальный диапазон обычно лежит между 1e-4 и 5e-5.

Аналогично с эпохами: прогонять данные слишком много раз значит рисковать тем, что модель просто "зазубрит" датасет, потеряв способность к обобщению. Недобор эпох грозит недообучением, это когда модель так и не улавливает нужные паттерны.

Но вот, вы разобрались с эпохами и скоростью обучения и добрались до специфичных параметров LoRA, например - ранг. Это один из ключевых параметров, он определяет размерность "адаптеров", добавляемых к модели.

Больший ранг дает больше "места" для обучения, но требует больше памяти и времени. Следующий после ранга: lora_alpha. Это своего рода усилитель для этих адаптеров. Часто его ставят равным рангу или удваивают, чтобы усилить влияние дообученных весов.

Unsloth предлагает в своих ноутбуках отличные дефолтные параметры, основанные на большом накопленном опыте файнтюна моделей и предлагает проверенные решения для управления ресурсами и стабильностью.

Подбор гиперпараметров — это всегда итеративный процесс. Экспериментируйте, сверяйтесь с лучшими практиками, и тогда ваши дообученные модели покажут наилучшие результаты.

🔜 Читать гайд полностью


#AI #ML #LLM #Tutorial #LoRA #Unsloth
Please open Telegram to view this post
VIEW IN TELEGRAM
45👍27🔥10🥰5
🌟 LLM Speedrunning Benchmark: ИИ-ассистенты пока не способны улучшить код, написанный человеком.

Пока одни восхищаются способностью ИИ писать код по текстовому описанию, в компании Марка Цукерберга решили устроить ему настоящее испытание на профессионализм и создали «The Automated LLM Speedrunning Benchmark» — полигон, где нейросетям предлагается не просто написать что-то с нуля, а воспроизвести и улучшить уже существующий код.

В качестве задачи был взят реальный проект NanoGPT, где сообщество энтузиастов соревнуется в максимальном ускорении обучения GPT-2, небольшой языковой модели. Цель - не просто скопировать, а понять и применить конкретную оптимизацию, которую до этого внедрил человек.

🟡Суть эксперимента

ИИ-агенту дают исходный скрипт предыдущего рекордсмена и подсказку одного из 3 уровней: от псевдокода с описанием изменений до полноценной мини-статьи, объясняющей суть улучшения. Агент, получив эти данные, должен внести правки в код так, чтобы приблизиться к скорости обучения следующего рекордсмена.

Эффективность мерили метрикой FSR (Fraction of Speedup Recovered), это доля восстановленного ускорения. Если человек ускорил процесс на 10 минут, а ИИ смог добиться ускорения в 5 минут, его результат — 50% FSR. Такая система позволяет оценить не абстрактные способности модели, а ее умение работать с конкретными, практическими задачами по оптимизации.

🟡Результаты

Итоги оказались, мягко говоря, отрезвляющими. Даже топовые модели (Claude 3.7 Sonnet и Gemini 2.5 Pro), показали очень скромные результаты.

С лучшими подсказками (псевдокод и детальное описание) самые успешные агенты с трудом смогли воспроизвести хотя бы 40% от прироста производительности, достигнутого человеком. Без подсказок их производительность была и вовсе близка к нулю.

Разбор полетов бенчмарка показал, что ИИ-агенты часто генерируют либо просто неработающий код с ошибками времени выполнения, либо код, который компилируется, но не дает никакого прироста скорости, а иногда даже замедляет процесс.

🟡Фреймворк

Авторы не просто опубликовали статью, а выложили весь фреймворк в открытый доступ, так что любой желающий может самостоятельно погонять практически любые модели.

В основе фреймворка лежит гибкий агентский каркас, который имитирует рабочий процесс исследователя: генерация идеи, реализация в коде, запуск эксперимента и анализ результатов.

Каждая итерация ИИ-агента аккуратно сохраняется в отдельную версию, создавая полную историю всех правок, от удачных до провальных.

Установка максимально проста, а для тех, кто хочет воспроизвести эксперименты из статьи, авторы приложили готовые скрипты. Также можно легко добавить и протестировать другие модели, просто создав для них конфиг или дать ИИ другую задачу, не связанную с NanoGPT - определять кастомные таски тоже можно.


📌Лицензирование: MIT License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
59👍34🔥10🥰4🏆2😁1🤣1
📌SemDiD: Семантическое разнообразие ответов для LLM.

Исследователи из из Гонконгского университета и инженеры Alibaba научили LLM генерировать семантически разные ответы, заставляя их «думать» в ортогональных направлениях.

Наверняка каждый, кто работает с LLM, сталкивался с их любовью к самоповторам. Запрашиваешь несколько вариантов решения, а получаешь одну и ту же мысль, просто перефразированную.

Стандартные подходы к декодированию, temperature sampling или diverse beam search, создают лишь лексическое разнообразие, но пасуют, когда требуется семантическое. Это серьезная проблема для Best-of-N или RLHF. Ведь без по-настоящему разных идей и подходов к решению задачи эти методы теряют свою силу: выбирать лучший вариант не из чего, а обучать модель на однотипных примерах неэффективно.

Решение предложили в методе SemDiD (Semantic-guided Diverse Decoding). Его суть, если кратко, перестать играть с токенами на поверхности и начать управлять генерацией напрямую в пространстве эмбеддингов.

🟡Метод работает так.

Сначала, на старте, он принудительно направляет разные группы beams по ортогональным векторам в семантическом пространстве. Грубо говоря, это как дать команду разным поисковым группам двигаться строго на север, юг и запад, чтобы они гарантированно разошлись.

По мере генерации, когда жесткие директивы могут стать неоптимальными, включается второй механизм - inter-group repulsion. Он просто следит, чтобы смысловые траектории ответов не сближались, сохраняя их уникальность до самого конца.

Но как, гоняясь за разнообразием, не получить на выходе бессвязный бред?

SemDiD подходит к контролю качества уникально. Он не пытается слепо максимизировать вероятность последовательности, а использует ее лишь как нижнюю границу, чтобы отсечь совсем уж плохие варианты.

Кроме того, алгоритм корректирует системные искажения, когда вероятность токенов искусственно завышается в зависимости от их позиции в тексте.

Для баланса между качеством и разнообразием используется адаптивный механизм на основе гармонического среднего, который в каждый момент времени уделяет больше внимания той метрике, которая проседает.

🟡В тестах метод показал неплохие результаты.

На бенчмарках для Best-of-N, от MMLU-Pro+ до GSM8K, SemDiD увеличивает покрытие (шанс найти верный ответ) на 1.4%-5.2% по сравнению с аналогами.

🟡Но главный прорыв - в RLHF.

Генерируя для GRPO или RLOO семантически богатые наборы ответов, SemDiD предоставляет им более качественный материал для обучения. Это ускоряет сходимость на 15% и повышает финальную точность моделей.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #SemDiD
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
61👍31🔥23
This media is not supported in your browser
VIEW IN TELEGRAM
📓🦙 NotebookLlama —Практически полный функционал NotebookLM — в опенсорсе.

Особенности:
✔️ Создаёт базу знаний из документов — с точным разбором через LlamaCloud
✔️ Автоматически пишет резюме и строит mind map-графы
✔️ Позволяет генерировать подкасты (работает на базе ElevenLabs)
✔️ Позволяет вести чат с агентом по документам
✔️ Метрики и аналитика через opentelemetry

🛠 Всё в открытом репо — можешь форкать, кастомизировать, заменять компоненты под себя.

Установка:


git clone https://github.com/run-llama/notebookllama


GitHub: https://github.com/run-llama/notebookllama
Попробовать в LlamaCloud: https://cloud.llamaindex.ai

@ai_machinelearning_big_data


#AI #ML #LLM #opensource #NotebookLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9936👍17🥰1
⚡️ MedGemma: открытые ИИ-модели для медицины от Google.

Google Research продолжают развивать свою линейку специализированных медицинских ИИ-моделей, представив два важных пополнения: MedGemma и MedSigLIP.

Это серьезное пополнение экосистемы открытых и доступных инструментов для здравоохранения. Разработчики предлагают мощные базовые модели, которые можно дообучать и запускать на собственном железе, даже на потребительском GPU.

🟡Флагман релиза MedGemma - 2 мультимодальные модели на 4 и 27 миллиардов параметров на основе Gemma 3.

Младшая, 4-миллиардная версия, показывает себя как один из лучших открытых «малышей» (<8B), а после дообучения достигает SOTA в генерации отчетов по рентгеновским снимкам. В ходе одного из тестов 81% сгенерированных ею заключений были признаны сертифицированными радиологами достаточно точными.

Старшая, на 27 миллиардов, в текстовой версии, на бенчмарке MedQA набрала 87.7%. Это всего на 3 пункта ниже DeepSeek R1, но при этом модель требует в 10 раз меньше ресурсов для инференса.

🟡Глазами для MedGemma служит MedSigLIP - легковесный (всего 400М параметров) энкодер изображений.

Его задача - классификация, поиск и другие задачи со структурированным выходом. Он был создан адаптацией общей модели SigLIP на огромном массиве медицинских данных (от рентгена до гистологии и снимков глазного дна).

🟡Ключевая особенность и MedGemma, и MedSigLIP в том, что при специализации они не растеряли своих общих знаний.

Они по-прежнему понимают немедицинский контекст и умеют работать с разными языками, что подтвердили исследователи из Тайваня, успешно применявшие модель в связке с литературе на традиционном китайском.


📌Лицензирование: Health AI Developer Foundations.


🟡Страница проекта
🟡Набор моделей
🟡Документация
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #ML #LLM #MedGemma #MedSigLIP #Google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
101👍42🔥29🥱6👏5
🌟 LMCache: умное кэширования для LLM-инференса.

LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы.

Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз.

🟡LMCache гибкий.

Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных.

🟡LMCache умеет в раздельную предобработку.

Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность.

Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях.

Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке.

⚠️ Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить.


📌Лицензирование: Apache 2.0 License.


🖥 Github


@ai_machinelearning_big_data

#AI #ML #LLM #LMCache #KVCache #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
52👍41🔥19🤔6👏3
🔥 Китай выпускает новую опенсорс модель: Kimi K2llm уровня Claude 4, которая обходит DeepSeek v3, Qwen и даже GPT-4.1

Размер — 1 триллион параметров, при этом:

📊 В бенчмарках:
- 65.8% на SWE-bench Verified, против 50.2% у Claude Sonnet 4 и 40.8% у GPT-4.1
- Лучшие результаты среди открытых моделей по кодингу, математике и агентным задачам
- Архитектура MoE на базе DeepSeek V3, 1 трлн параметров, 32B активны.

Также доступна через API:

- $0.15 за миллион входных токенов (при попадании в кэш)
- $0.60 за миллион входных токенов (если кэш не сработал)
- $2.50 за миллион выходных токенов

Почти в 5 раз дешевле, чем Claude 4 Sonnet и Gemini 2.5 Pro!

🟡 Github

@ai_machinelearning_big_data


#kimi #china #llm #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13644🔥28🥰8🤣8👏3🤔3❤‍🔥1
🌟 Теперь поговорим подобнее про Kimina-Prover-72B:

Это модель, которая не просто доказывает теоремы, а учится на своих ошибках.

Kimina-Prover-72B создана на базе Qwen2.5-72B, которая бьет рекорды в формальной математике на Lean 4 и ее облегченные версии 8 и 1,7 миллиарда параметров.

Numina - это некоммерческая научная коллаборация, ориентированная на развитие ИИ в области математики. Ее миссия: создание и публикация обширных баз данных математических задач, разработку open-source ИИ-решателя для их обработки и инструментов для поддержки совместной работы людей и ИИ в фундаментальных науках.


На популярном бенчмарке miniF2F Kimina-Prover-72B достигла внушительной точности в 92.2%, оставив позади Deepseek-Prover-V2 671B.

🟡Ключевая фишка Kimina-Prover - агентный фреймворк для поиска доказательств Test-Time Reinforcement Learning.

Вместо того чтобы пытаться решить сложную задачу в лоб, система научилась декомпозировать ее. Она самостоятельно генерирует, комбинирует и применяет промежуточные утверждения, или леммы, выстраивая из них длинные логические цепочки. По сути, это рекурсивный поиск: для доказательства основной теоремы модель может сначала доказать несколько вспомогательных лемм.

🟡Механика доказательств.

Система отслеживает «рейтинг полезности» каждой леммы и отбраковывает те, что ведут в тупик. Вторым эшелоном идет механизм проверки на вменяемость. Прежде чем использовать новую лемму, модель пытается доказать ее отрицание. Если это удается, значит, лемма противоречива и ее сразу выбрасывают. Такая комбинация гарантирует логическую строгость и надежность всего доказательства.

🟡Kimina-Prover умеет учиться на ошибках.

В отличие от других систем, которые в случае неудачи просто начинают заново, Kimina-Prover умеет читать сообщения об ошибках от компилятора Lean и предлагать исправления.

Для этого ее специально дообучали на датасете из комбинаций «неверное доказательство – фидбэк – верное доказательство». Чтобы обучение шло стабильно, использовали стратегию Batched Failure Replay: все неудачные попытки с одной итерации собираются и используются как обучающий батч для следующей. И это оказалось куда эффективнее, чем бездумный перебор вариантов при том же бюджете вычислений.


📌Лицензирование: MIT License.


🟡Статья
🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #TTRL #Reasoning #KiminaProver
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
102🔥62👍46😁6👏4👌2🤔1
🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман

По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.

Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.

Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.

📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов

Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.

#Apple #Mistral #AI #LLM #ГонкаИИ

@machinelearning_interview
112👍88🔥38😁24🥱14😢10🤔9🗿5❤‍🔥2👏2
Machinelearning
✔️Turbo ML Conf 2025 от Т-Технологий — материнской компании Т-Банка — пройдет в России во второй раз. В этом году конфа для AI и ML- разработчиков пройдет в кластере “Ломоносов” 19 июля. В программе предусмотрено 5 блоков: NLP, CV & Speech, RecSys, Research…
📌Sampled Maximal Marginal Relevance (SMMR): новый метод от исследователей из T-Bank AI Research ускоряет работу рексистем и позволяет быстрее и разнообразнее формировать рекомендации в онлайн-сервисах по сравнению с другими известными методами.
Метод SMMR эффективнее решает эту проблему однотипных рекомендаций, случайным образом выбирая объекты из подходящего круга, а не только самые похожие. Благодаря этому рекомендации становятся разнообразнее, и пользователь чаще открывает для себя новое.

Скорость метода SMMR также превосходит известные аналоги, такие, как MMR (Maximal Marginal Relevance) и DPP (Determinantal Point Process). Алгоритм выбирает несколько объектов за одну итерацию и увеличивает объем выборки с каждым шагом. Это приводит к снижению количества необходимых шагов с 100 до 5–10 на размере выборки из 3000 кандидатов. По итогу, скорость новой методики в 2–10 раз выше MMR и DPP, а рост разнообразия рекомендаций составил 5–10%.

SMMR эффективно работает на больших объемах данных за счет снижения вычислительной сложности. По сравнению с классическими подходами, для списков из нескольких тысяч объектов алгоритм требует в 10–100 раз меньше итераций. При этом уровень случайности носит управляемый характер благодаря параметру «температуры». С его помощью степень случайности при выборе объектов можно регулировать, тем самым настраивая алгоритм под конкретные задачи.

Метод успешно протестировали на трех открытых датасетах: MovieLens (фильмы), Dunnhumby (покупки) и MIND (новости). Результаты оказались стабильными как в потребительских сценариях (подбор фильмов, товаров), так и в более динамичных — например, в рекомендациях новостей. Результаты представлены на ACM SIGIR, которая проходит прямой сейчас в Падуе. Cам метод уже размещен в открытой библиотеке на гитхабе. Кстати на Turbo ML Conf 2025 в Москве будет отдельная большая секция по рексистемам, не пропустите.

@ai_machinelearning_big_data

#news #ai #ml #ai #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7534🔥21🥱11🤣8🌭2🍾21😈1👀1
🌟 MUVERA: уравниваем в скорости многовекторный и одновекторный поиск.


MUVERA - алгоритм, разработанный Google Research, который сводит сложную задачу многовекторного поиска обратно к простому и быстрому MIPS, как в подходах с одним вектором.

Суть проста: вместо того чтобы работать с громоздким набором векторов, MUVERA сжимает его в единый вектор фиксированной длины, так называемый Fixed Dimensional Encoding (FDE). Главный трюк в том, что скалярное произведение этих новых FDE-векторов очень точно аппроксимирует исходную, «честную» метрику Чамфера.

На практике процесс выглядит как двухэтапный конвейер. Сначала MUVERA генерирует FDE для всех документов в базе и индексирует их с помощью обычного MIPS-солвера. Когда приходит запрос, для него тоже создается FDE, и система молниеносно находит небольшой список кандидатов. А уже затем этот короткий список переранжируется с использованием оригинальной, медленной, но точной метрики Чамфера. На выходе получаем и скорость, и качество.

В практическом сравнении с предыдущим SOTA методом PLAID, MUVERA показывает в среднем на 10% более высокую полноту выдачи при сокращении задержки на 90%. Чтобы достичь того же качества, алгоритму требуется отобрать в 5-20 раз меньше кандидатов для финального переранжирования.

Более того, эти FDE-векторы отлично сжимаются — до 32 раз с минимальной потерей качества.

Для тех. кто хочет попробовать, в репозитории проекта на Github есть реализации MUVERA на Python и C++ .


📌Лицензирование: Apache 2.0


🟡Статья
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #MUVERA #GoogleResearch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5319🔥16🥰5
📌 EXAONE 4.0 — новая LLM от LG, уверенно конкурирующая с топами

LG AI Research представила EXAONE 4.0 , свою ризонинг-модель (предыдущие версии).

Разработчики называют ее «гибридным ИИ», и это не просто маркетинговый ход. По сути, это сплав классических языковых способностей с мощным механизмом логических рассуждений, унаследованным от предшественника EXAONE Deep.

Главная фишка — пошаговый подход к решению задач, основанный на выстраивании цепочки мыслей. Это позволяет модели хорошо справляться не только с текстами, но и со сложными областями вроде математики, науки и программирования.

В LG решили не размениваться на мелочи и не придумывать собственные удобные бенчмарки, а сразу вышли на глобальную арену.

Модель показала себя более чем достойно на самых сложных и актуальных тестах. Например, на GPQA-Diamond, который проверяет научные знания, она набрала 75.4 балла, а в математическом AIME 2025 — все 85.3. Судя по графикам, EXAONE 4.0 уверенно конкурирует как с открытыми, так и с передовыми закрытыми моделями на английском языке, а также демонстрирует отличные результаты на корейском и недавно добавленном испанском.

🟢На графиках видно: EXAONE 4.0 уверенно конкурирует с передовыми закрытыми и открытыми LLM на английском, а также остаётся одной из лучших на корейском рынке.

🟢 Модель вышла в двух вариантах:
1. EXAONE 4.0 Professional (32B параметров) — заточена под медицину, право и другие сложные предметные области. Уже сдала 6 национальных сертификационных экзаменов в Корее.
2. EXAONE 4.0 On‑Device (1.2B параметров) — работает офлайн прямо на устройстве. При этом она вдвое компактнее, но быстрее предыдущей версии. Идеально для задач с требованиями к приватности и скорости отклика.

Еще:
- Обучена на 14T токенах.
- Поддерживает Model Context Protocol (MCP)
- Поддерживает Function Calling — интеграция с внешними инструментами и API прямо через LLM.

📌 многозначная, высокая точность, локальная — всё это делает EXAONE одним из самых интересных релизов, в общем словом - топовая моделька.

🟠Подробнее: https://www.lgresearch.ai/blog/view?seq=576
🟠Model: https://huggingface.co/LGAI-EXAONE/EXAONE-4.0-32B

@ai_machinelearning_big_data

#AI #ML #LLM #EXAONE #LG
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥2510🥰10
🖥Бывший инженер OpenAI опубликовал редкий взгляд изнутри: что значит работать в самой обсуждаемой AI-компании мира.

Он провёл 14 месяцев в applied-команде, разрабатывая Codex — кодинг-агента, который за 7 недель прошёл путь от первой строки к публичному запуску. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.

Он работал на Python, жег огромные GPU-бюджеты, спринтил с командой почти без выходных.

Автор уволился,чтобы сделать свой проект, но называет этот год самым интенсивным и полезным в карьере.

🚀 Рост компании
За год OpenAI выросла с 1000 до 3000 человек. Внутренние процессы постоянно перестраиваются, для разрабов Slack стал полноценным «офисом», а почта почти исчезла из работы.

В командах идеи идут снизу вверх — и кто первым закомитит свой код, тот и задаёт стандарт. Главная метрика успеха — не презентации, а работающий код.

Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри.

🖥 В OpenAI Python везде:
Codex - это огромный монорепозиторий почти целиком сотоязий из Python кода. Все сервисы поднимаются через FastAPI, а данные проходят через Pydantic — это даёт простую валидацию и ускоряет разработку. В проекте есть немного Go и Rust в основном в сетевых компонентах, но это редкие исключения.

🔜 Кодинг на пределе
Codex сделали крошечной командой за 7 недель. Автор вспоминает бессонные ночи, утренние подъёмы и выходные в офисе. Команда была сильной, многие ушли от Цукерберга к Сэме— и это чувствуется по уровню инфраструктуры.

OpenAI —выгладит как странный гибрид: он подобен научному центру в стиле Лос-Аламоса, который случайно сделал самый хайповый продукт десятилетия. . Руководство комании активно отвечает в Slack, 600 000+ pull request'ов за 53 дня после запуска Codex!

OpenAI — это не просто «компания создавашая GPT». Это лаборатория, где безумная скорость сочетается с реальным и крутым продуктом. Они не боятся выкатывать новые фичи, не скрывают свой хаос и делают очень много интересного. Не идеальная система, но там правда делают вещи.

👉Полную статью можно почитать -здесь

@ai_machinelearning_big_data


#openai #ai #ml #llm #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥127👍5140🙈7🫡3🤷‍♂2😁2🍾1
✔️T-Pro 2.0 — LLM с гибридным режимом рассуждений

Т-Банк релизнул модель с гибридным ризонингом в опенсорс.
T-Pro 2.0 дообучили на основе Qwen3 32B, улучшив качество и скорость генерации на русском языке.

Вместе с моделью впервые выложили инструктивный датасет. Как дообучали модель сегодня рассказали на Turbo ML конфе и выложили на хабр.

✔️Дообучение модели T-Pro 2.0 проходило в несколько этапов.

На основе токенизатора Qwen3 и с помощью расширения его кириллической части более, чем в 5 раз, разработчики получили улучшенный токенизатор для мультилингвальных моделей. По итогу токенизатор оказался на 30% более эффективен для русского языка. Затем за счет плотного токенизатора на двух доменах (чатовые запросы ru-arena-hard и олимпиадные математические задачи из T-Math) ускорили инференс.

Следующим шагом было дообучение на большом русскоязычном инструктивном корпусе. Далее модель дообучали на более чистом SFT-сете, сформированном из разнообразных промптов, собранных вручную, из открытых источников и переводов англоязычных наборов данных. Для формирования итогового датасета ответы на инструкции генерировались с помощью более мощных моделей, таких как DeepSeek-V3 0324 и Qwen3-235B-A22B. Это позволило обеспечить высокий уровень точности и релевантности.

На стадии Preference tuning для обучения DPO сформировали набор данных с фильтрацией по длине и типу для general-инструкций и сохранением баланса доменов для reasoning-инструкций.
На финальном этапе Speculative decoding в качестве драфт- модели выбрали EAGLE 1 с генерацией драфта во время инференса с помощью tree attention согласно EAGLE 2.

✔️Бенчмарки моделей

Для того, чтобы оценить способности моделей к ведению диалога, следованию инструкциям и решению задач разработчики использовали LLM-as-a-judge-арены: Arena Hard Ru, Arena Hard 2 и арену WildChat Hard Ru. В последней в качестве бейзлайна использовались ответы модели o3-mini, а “судьей” для всех арен выступал DeepSeek V3 0324. Для оценки знаний о мире и общим логическим способностям моделей на русском языке использовались бенчмарки MERA, MaMuRAMu, ruMMLU, ruMMLU-Pro.

Бенчмарки AIME, MATH-500, GPQA Diamond, Vikhr Math, Vikhr Physics, LiveCodeBench v4_v5 позволили оценить способности reasoning-модели к рассуждениям и решению сложных задач. Англоязычные бенчмарки были целиком локализованы на русский язык ИИ-тренерами: ruAIME, ruMATH-500, ru GPQA Diamond, ruLCB. Компания также использовала свой бенчмарк Т-Math, чтобы расширить оценку математических способностей на русском языке.

✔️Задачи, которые закрывает T-Pro 2.0

Дообучение даже продвинутых LLM позволяет управлять стоимостью инференса и скоростью генерации, дообучать важные домены (саппорта или распределение внутреннего промтинга), уменьшить количества артефактов и проблем с русским языком.

Модель T-Pro 2.0 доступна по лицензии Apache 2.0, ее можно бесплатно использовать как для решения задач в промптинге, так и для дообучения на свои задачи.

▪️Hugging face: T-Pro 2.0
Датасет T-wix

@ai_machinelearning_big_data

#news #ai #ml #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8735🔥26🤔7😁5🗿5💯2❤‍🔥1
🌟 AI Flow: концепция коллаборативного ИИ.

China Telecom совместно с TeleAI спроектировали фреймворк AI Flow, который рассматривает ИИ и сети передачи данных как единую систему.

AI Flow - это не просто очередной метод оптимизации, а цельная парадигма. Она предлагает отойти от идеи монолитного ИИ к распределенному и коллаборативному, где интеллект может перетекать по сети туда, где он в данный момент нужнее всего и где для него есть ресурсы.

🟡Архитектура "Устройство-Edge-Облако".

Идея в том, чтобы разумно распределять нагрузку: простейшие операции выполняются на самом гаджете, более сложные и требующие низкой задержки — на ближайшем edge-сервере, а самое тяжелые задачи и ресурсоемкий инференс остаются в облаке.

AI Flow предлагает конкретные механизмы для такой концепции - спекулятивное декодирование, где легкая модель на устройстве быстро генерирует черновик ответа, а мощная модель на эдже его лишь верифицирует и корректирует.

🟡Основа архитектуры - "семейные модели" (familial models).

Это не просто набор моделей разного размера, а целое семейство с архитектурно согласованными скрытыми представлениями.

Маленькая, средняя и большая модели устроены настолько похоже, что они могут бесшовно передавать друг другу эстафету инференса.

Модель на смартфоне обрабатывает первые несколько слоев, а затем ее промежуточный результат подхватывает модель на сервере и продолжает вычисления ровно с того же места, без какого-либо дополнительного преобразования данных.

🟡Эмерджентный интеллект через сотрудничество моделей.

Пайплайн AI Flow делает возможным взаимодействие разных моделей, от LLM и VLM до диффузионных генераторов.

Через такую коллаборацию рождается эмерджентный интеллект – коллективная интуиция, превышающая возможности отдельных сетей, где несколько агентов генерируют черновые решения, затем сервер-оркестратор выбирает лучшие фрагменты, объединяет их и возвращает итоговый ответ для уточнения с учетом контекста каждого из них.

В этом и фишка: после такой синергии ответ становится богаче и более осмысленным, ведь сходятся разные точки зрения и узкопрофильные знания моделей-участников.

▶️В открытом доступе опубликована предварительная версия модели Ruyi-7B (AI-Flow-Ruyi-7B-Preview) из "семейных моделей".

Ее крупнейшая ветвь содержит 7 млрд. параметров и способна порождать early-exit подсети с эффективным числом параметров в 3, 4, 5 и 6 млрд:

🟢Branch 3B/4B: простые сценарии диалога с минимальными требованиями по ресурсам;

🟢Branch 5B/6B: повседневные универсальные задачи, баланс возможностей и отзывчивости;

🟢Branch 7B: решение сложных проблем, повышенные требования к ресурсам.


📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #AIFlow #TeleAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
58👍28🔥10😨5🥰32🙉1
🌟 OpenReasoning-Nemotron: набор ризонинг-моделей от NVIDIA.

OpenReasoning-Nemotron - набор LLM на архитектуре Qwen 2.5 и дистиллированных из DeepSeek-R1-0528 ( 671 млрд. параметров):

🟠OpenReasoning-Nemotron-1.5B;
🟠OpenReasoning-Nemotron-7B;
🟠OpenReasoning-Nemotron-14B;
🟢OpenReasoning-Nemotron-32B;

Семейство было обучено на 5 млн. примеров рассуждений в математике, естественных науках и программировании.

Модели показали достойные результаты pass@1 на бенчах GPQA, MMLU-PRO, AIME, HMMT и LiveCodeBench - без использования RL.

Старшая модель, 32B, выбила 96,7% по HMMT с декодированием GenSelect.


📌Лицензирование: CC-BY-4.0 License.


🟡Статья
🟡Набор моделей


@ai_machinelearning_big_data

#AI #ML #LLM #Reasoning #Nemotron #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
84👍19🔥18🥰3👏2
🚀 Qwen3-Coder — новая мощная open-source модель от Alibaba для кодинга

Модель с архитектурой MoE:
- 480B параметров в общей сложности
- 35B активных параметров
- Контекст 256k, но легко масштабируется до 1M токенов

📈 Производительность:
- На уровне Claude 4 Sonnet
- Лучше или на уровне GPT-4.1 на многих задачах
- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков

🧩 Модель уже доступна:
- На HuggingFace — можно скачать и запускать
- В OpenRouter — $1/M токенов вход, $5/M выход
(в 3 раза дешевле Claude Sonnet: $3 и $15)

💬 Попробовать бесплатно можно:
- Через чат: ttps://chat.qwen.ai/)
- GitHub link: https://github.com/QwenLM/qwen-code

Qwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.

#qwen #ml #ai #llm #Alibaba

@data_analysis_ml
👍79🔥2115👨‍💻2
🌟 Mixture-of-Recursions: концепция селективного ризонинга.

Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.

Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.

Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.

Это дает два главных преимущества:

🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений.

🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM.

При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.

▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architecture #MoR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8643🔥23🥰8👌4😁2👨‍💻1
🧠 Qwen3-MT — Alibaba продолжает жечь и выпускает еще одну модель, в этот раз для машинного перевода.

🌍 Поддерживает 92+ языка, на которых говорит 95% населения мира

📚 Обучен на триллионах токенов из интернета, открытых документов и книгах, субтитров из видео.

🔬 Что внутри:
- Модель Qwen3-MoE-72B с архитектурой Mixture-of-Experts
- Заточена на переводческие фишки, поддерживает сложную терминологию и даже очень редкие слова.
- RLHF: обучение с подкреплением повышает точность и естественность модели

Возможности:
Обеспечивает качественный перевод в реальном времени
Контроль стиля и терминов
Масштабируемость для API и продакшена
Цена — от $0.5 за миллион токенов

🟡 Попробовать демку: https://huggingface.co/spaces/Qwen/Qwen3-MT-Demo
🟡 ModelScope: https://modelscope.cn/studios/Qwen/Qwen3-MT-demo
🟡 Документация API: https://alibabacloud.com/help/en/model-studio/translation-abilities
🟡 Блог с подробностями: https://qwenlm.github.io/blog/qwen-mt/

@ai_machinelearning_big_data


#Qwen #Alibaba #ml #llm #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12231🔥22🥰5🎃4