AIJ Deep Dive: специальный очный трек для AI-профи в рамках международной конференции AI Journey!
Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI:
Это событие точно нельзя пропустить
На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы.
Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е)
Когда? 20–21 ноября 2025 года
По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!
Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI:
Это событие точно нельзя пропустить
1️⃣20 ноября — день Бизнеса: разберём успешные кейсы внедрения, оценим эффективность и практические результаты.
2️⃣ 21 ноября — день Науки: проведём глубокий анализ IT-решений, прорывных научных исследований, R&D-разработок и передовых методик.
На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы.
Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е)
Когда? 20–21 ноября 2025 года
По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!
AI Journey
AIJ Deep Dive
Все самые горячие новости индустрии, разработки и открытия на одной площадке
❤4
🧠 Deta Surf: Ваш AI-блокнот
Deta Surf — это AI-блокнот, который объединяет ваши файлы и веб-ресурсы, упрощая процесс исследования и мышления. Он позволяет работать с различными медиа одновременно, минимизируя рутинные задачи.
🚀 Основные моменты:
- Поддержка локальных файлов, веб-сайтов и ссылок.
- Умные заметки с интеграцией AI и возможностью поиска.
- Разделение экрана для одновременной работы с несколькими ресурсами.
- Генерация интерактивных приложений без кода.
- Открытые форматы данных и локальное хранение.
📌 GitHub: https://github.com/deta/surf
#svelte
Deta Surf — это AI-блокнот, который объединяет ваши файлы и веб-ресурсы, упрощая процесс исследования и мышления. Он позволяет работать с различными медиа одновременно, минимизируя рутинные задачи.
🚀 Основные моменты:
- Поддержка локальных файлов, веб-сайтов и ссылок.
- Умные заметки с интеграцией AI и возможностью поиска.
- Разделение экрана для одновременной работы с несколькими ресурсами.
- Генерация интерактивных приложений без кода.
- Открытые форматы данных и локальное хранение.
📌 GitHub: https://github.com/deta/surf
#svelte
❤9👍6🥰1
LLM «под капотом»: первый шаг к полноценной разработке AI-решений
Приглашаем на открытый вебинар, посвященный фундаменту прикладной разработки на LLM. На практике разберем:
✔️ Архитектуру: как работает генерация текста и почему это важно для понимания ограничений модели.
✔️ Локальное развертывание: первый шаг к LLMOps — запустить мощную модель у себя и работать с ней через API.
✔️ Контекст и агенты: базовый принцип, лежащий в основе RAG-систем и агентных моделей, которые вы будете строить на курсе.
Идеально для Python-разработчиков, DevOps- и Data-инженеров, а также технических проджектов, которые оценивают возможности интеграции LLM в свои сервисы.
Этот вебинар — введение в философию нашего нового курса «LLM Driven Development», где вы с нуля осваиваете полный цикл создания AI-продуктов.
➡️ Регистрация на вебинар:
https://otus.pw/GYFd/?erid=2W5zFJvoqKE
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Приглашаем на открытый вебинар, посвященный фундаменту прикладной разработки на LLM. На практике разберем:
✔️ Архитектуру: как работает генерация текста и почему это важно для понимания ограничений модели.
✔️ Локальное развертывание: первый шаг к LLMOps — запустить мощную модель у себя и работать с ней через API.
✔️ Контекст и агенты: базовый принцип, лежащий в основе RAG-систем и агентных моделей, которые вы будете строить на курсе.
Идеально для Python-разработчиков, DevOps- и Data-инженеров, а также технических проджектов, которые оценивают возможности интеграции LLM в свои сервисы.
Этот вебинар — введение в философию нашего нового курса «LLM Driven Development», где вы с нуля осваиваете полный цикл создания AI-продуктов.
➡️ Регистрация на вебинар:
https://otus.pw/GYFd/?erid=2W5zFJvoqKE
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🤔3🔥2🤣2❤1
MIT + Harvard + Google DeepMind показали, почему обычные трансформеры почти не умеют в многозначное умножение — и как это починить одной идеей
Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение.
Первый - с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают.
То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках.
Результат: 100% точность на всех примерах.
Второй - обычное обучение: вход → ответ, без промежуточных шагов.
Результат: около 1% правильных ответов.
Почему так?
- Многозначное умножение требует длинных зависимостей
- Нужно запоминать и переносить “сумму + перенос” между разными позициями
- Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже
- Рабочая модель формирует “бегущую сумму” и carry, как человек
- Внутри attention появляется структура наподобие небольшого бинарного дерева
- Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код)
Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину.
ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон.
Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных.
Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*.
Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение.
Первый - с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают.
То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках.
Результат: 100% точность на всех примерах.
Второй - обычное обучение: вход → ответ, без промежуточных шагов.
Результат: около 1% правильных ответов.
Почему так?
- Многозначное умножение требует длинных зависимостей
- Нужно запоминать и переносить “сумму + перенос” между разными позициями
- Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже
- Рабочая модель формирует “бегущую сумму” и carry, как человек
- Внутри attention появляется структура наподобие небольшого бинарного дерева
- Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код)
Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину.
ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон.
Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных.
Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*.
🔥28👍3👌2🥰1
Ребята из Яндекс Вертикалей собирают всех 14 ноября на мультистек-вечеринку о хобби и технологиях. Вдохновимся историями коллег об удачных внерабочих экспериментах, чтобы взглянуть по-новому на свои увлечения.
В программе события:
Разберёмся вместе с командой Вертикалей, как выбрать стек и наконец начать проект, который долго откладывали. А завершим вечер афтепати с DJ-сетом и разными активностями.
Подробности и регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
🚀 LLM с контекстом 64k+ пример того, как можно эффективно обучать модель даже на потребительских GPU - благодаря связке Ulysses + Ring Attention!
В ModelScope SWIFT объединили два метода параллелизма по последовательности:
✅ Ulysses - делит внимание по головам, почти не тратит трафик (но упирается в число heads)
✅ Ring Attention - масштабируется выше числа голов через кольцевые P2P-коммуникации, с «зиг-заг» балансировкой для causal-моделей
💡 Комбо-подход: сначала работает Ulysses, и только когда он перестаёт тянуть (например, GQA или кластер >8 GPU), подключается Ring.
🔥 Результат на Qwen2.5-3B при 65k токенов:
75.4 GiB → 17.9 GiB VRAM на 8× A100
Работает с SFT, DPO, GRPO, мультимодальностью и padding-free входами.
✨ Крутая инженерия:
Сплит последовательности встроен прямо в forward-hook модели —
никаких костылей в данных, полная совместимость с FlashAttention.
🔧 Включается одной флаг-командой:
🟠 Подробнее : https://modelscope.cn/learn/1799
🟠 GitHub: https://github.com/modelscope/ms-swift
В ModelScope SWIFT объединили два метода параллелизма по последовательности:
✅ Ulysses - делит внимание по головам, почти не тратит трафик (но упирается в число heads)
✅ Ring Attention - масштабируется выше числа голов через кольцевые P2P-коммуникации, с «зиг-заг» балансировкой для causal-моделей
💡 Комбо-подход: сначала работает Ulysses, и только когда он перестаёт тянуть (например, GQA или кластер >8 GPU), подключается Ring.
🔥 Результат на Qwen2.5-3B при 65k токенов:
75.4 GiB → 17.9 GiB VRAM на 8× A100
Работает с SFT, DPO, GRPO, мультимодальностью и padding-free входами.
✨ Крутая инженерия:
Сплит последовательности встроен прямо в forward-hook модели —
никаких костылей в данных, полная совместимость с FlashAttention.
🔧 Включается одной флаг-командой:
--sequence_parallel_size 8Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5