+170% скорости генерации без костылей 🔝
Наши специалисты предложили новый механизм внимания NABLA для диффузионных трансформеров. Он позволяет снизить вычислительную нагрузку при сохранении качества генерации видео за счёт использования поблочного внимания, которое динамически адаптируется к разрежённости в трансформерах.
Результат: ускорение генерации модели Wan 2.1-14B в 2,7 раза (оценка CLIP, оценка VBench, оценка людей).
Метод работает без написания дополнительных CUDA-ядер и полностью совместим с Flex Attention из PyTorch⚡️
➡️ Читайте статью на Hugging Face.
❤️ — Full Attention уходит, скорость остаётся
Наши специалисты предложили новый механизм внимания NABLA для диффузионных трансформеров. Он позволяет снизить вычислительную нагрузку при сохранении качества генерации видео за счёт использования поблочного внимания, которое динамически адаптируется к разрежённости в трансформерах.
1️⃣ Вместо полного вычисления маски внимания (Full Attention) NABLA использует блочно-разрежённое внимание2️⃣ Модель сжимает матрицы Query и Key, выделяя наиболее важные блоки с помощью кумулятивной функции распределения Softmax3️⃣ Важными считаются те блоки, сумма которых превышает адаптивный порог 1−thr (алгоритмический параметр)4️⃣ Вычисления выполняются только для наиболее значимых блоков
Результат: ускорение генерации модели Wan 2.1-14B в 2,7 раза (оценка CLIP, оценка VBench, оценка людей).
Метод работает без написания дополнительных CUDA-ядер и полностью совместим с Flex Attention из PyTorch
❤️ — Full Attention уходит, скорость остаётся
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍5👏4🔥1
Уже планируете осень? 3 сентября — дата, которую стоит обвести красным 🚨
GoCloud Tech 2025 — конференция, где соберутся все, кто работает с AI. Четыре трека, десятки экспертов, воркшопы, демо, мерч и afterparty. Подробности — здесь👇
GoCloud Tech 2025 — конференция, где соберутся все, кто работает с AI. Четыре трека, десятки экспертов, воркшопы, демо, мерч и afterparty. Подробности — здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥5💔1
Forwarded from Cloud.ru
AI-помощник в облаке, RAG, агенты, мультиагентные системы...
Где и когда:
Регистрируйтесь, чтобы ничего не пропустить
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤5
AI, который создаёт архитектуры, которые создают будущее
Учёные из Шанхайского университета разработали ASI-ARCH — экспериментальную систему для исследований в области AI. Она уже открыла 106 новых SOTA-архитектур. В отличие от AutoML и NAS, которые требуют постоянного вмешательства человека — ввода различных параметров, корректировки гипотез, анализа результатов — ASI-ARCH работает полностью автономно.
Процесс поиска архитектур включал несколько этапов:
Одна из лучших архитектур, найденных ASI-ARCH, набрала в тестах 48,51 балла, обойдя лидеров по работе с длинными последовательностями — Mamba2 (47,84) и Gated DeltaNet (47,32).
Где система находит идеи?
Она улучшает проверенные методы вроде гейтинга и свёртки. Это напоминает подход учёных, которые совершенствуют уже существующие теории.
ASI-ARCH доказала, что AI может не только копировать, но и самостоятельно развивать существующие решения, открывая новые архитектуры.
❤️ — сверхинтеллект всё ближе
🤔 — это лишь прокаченный инструмент
Учёные из Шанхайского университета разработали ASI-ARCH — экспериментальную систему для исследований в области AI. Она уже открыла 106 новых SOTA-архитектур. В отличие от AutoML и NAS, которые требуют постоянного вмешательства человека — ввода различных параметров, корректировки гипотез, анализа результатов — ASI-ARCH работает полностью автономно.
Процесс поиска архитектур включал несколько этапов:
➡️ генерация гипотез — обучение моделей (20 млн параметров) на 1 млрд токенов и отбор тех, что по бенчмаркам (точность и производительность) превзошли базовую гибридную архитектуру DeltaNet для обработки последовательностей➡️ верификация — масштабирование отобранных моделей до 340 млн параметров, удаление слишком сложных архитектур. Итог — 106 новых SOTA-архитектур➡️ финальный этап — обучение пяти лучших моделей на 15 млрд токенов и сравнение с флагманами
Одна из лучших архитектур, найденных ASI-ARCH, набрала в тестах 48,51 балла, обойдя лидеров по работе с длинными последовательностями — Mamba2 (47,84) и Gated DeltaNet (47,32).
Где система находит идеи?
Она улучшает проверенные методы вроде гейтинга и свёртки. Это напоминает подход учёных, которые совершенствуют уже существующие теории.
51,7% идей взяты из научной литературы
38,2% — из анализа прошлых экспериментов
10,1% — оригинальные идеи
ASI-ARCH доказала, что AI может не только копировать, но и самостоятельно развивать существующие решения, открывая новые архитектуры.
❤️ — сверхинтеллект всё ближе
🤔 — это лишь прокаченный инструмент
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🤔10👍3😁1
Исследователи Сбера разработали новый метод предобучения AI-моделей, который помогает нейросетям повышать точность распознавания речи на русском языке 🚀
Научная работа GigaAM: Efficient Self-Supervised Learner for Speech Recognition была представлена на международной конференции Interspeech 2025.
Метод HuBERT-CTC уже используется для обучения семейства акустических моделей GigaAM:
🔘 Устраняет зависимость от дефицитных размеченных данных, используя self-supervised обучение на большом объёме неразмеченного аудио. Это обеспечивает масштабируемость для разных языков и задач.
🔘 Динамическое маскирование self-attention позволяет одной модели работать в онлайн- и офлайн-режимах без дополнительного переобучения.
GigaAM уже в открытом доступе для всех желающих на GitVerse и GitHub💻
❤️🔥 — за работу!
Научная работа GigaAM: Efficient Self-Supervised Learner for Speech Recognition была представлена на международной конференции Interspeech 2025.
Метод HuBERT-CTC уже используется для обучения семейства акустических моделей GigaAM:
⚡️ Модель GigaAM, обученная Сбером с помощью метода HuBERT-CTC, показала лучшее качество распознавания речи по метрике WER (Word Error Rate) среди открытых моделей на русском языке и на 50% обошла Whisper-large-v3 от OpenAI. Решение может стать основой для следующего поколения голосовых интерфейсов: от AI-помощников до контакт-центров
GigaAM уже в открытом доступе для всех желающих на GitVerse и GitHub
❤️🔥 — за работу!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤🔥8👍5❤3👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Тамагочи 2.0? Новый AI-гаджет для детей 📲
Трое родителей, ранее работавших в IT, создали устройство, которое помогает детям играть в подвижные игры и осваивать иностранную речь. «Умная лупа» с камерой и экраном получила название Dex.
Как это работает
💚 Dex рассчитан на детей 3–8 лет и поддерживает 8 языков и 34 диалекта. Он также включает библиотеку интерактивных сказок, где можно общаться с различными героями.
⚠️ Устройство не хранит фото и видео, использует словарь на базе детских энциклопедий и блокирует разговоры на чувствительные темы.
Купили бы своим детям такую игрушку?
👍 — да, хоть немного оторвутся от экранов
🤔 — лучше изучать языки традиционно
Трое родителей, ранее работавших в IT, создали устройство, которое помогает детям играть в подвижные игры и осваивать иностранную речь. «Умная лупа» с камерой и экраном получила название Dex.
Как это работает
Ребёнок фотографирует предмет → AI распознаёт его и рассказывает, как его название звучит на выбранном языке
Купили бы своим детям такую игрушку?
👍 — да, хоть немного оторвутся от экранов
🤔 — лучше изучать языки традиционно
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥4❤3🤔3
Кто это? Да это же вы! 📸
На основе недавнего опроса в канале составили ваш портрет: AI-шники и IT-шники, студенты и просто любители технологий🔥
❤️ — если узнали себя
🤔 — если вас только предстоит узнать
На основе недавнего опроса в канале составили ваш портрет: AI-шники и IT-шники, студенты и просто любители технологий
❤️ — если узнали себя
🤔 — если вас только предстоит узнать
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🤔5🔥2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Сбер разработал уникальную технологию оплаты на iPhone — ВЖУХ. Теперь покупки можно совершать через Bluetooth, без NFC и даже без интернета 😱
Скачайте приложение «Активы Онлайн» по ссылке, пока не удалили
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍5❤🔥3🤔2
ВЖУХ — и оплата прошла 🪄
Рассказываем, как пользоваться ВЖУХ — новым способом оплаты на iPhone от Сбера🔥
Настройка перед первой оплатой
Как оплачивать покупки
💳 Платить можно любой картой Сбера — МИР, Visa, MasterCard. За покупки начисляются бонусы Спасибо.
⚠️ Новое приложение «Активы Онлайн» всё ещё можно скачать в App Store. Не откладывайте установку, приложение могут удалить в любой момент.
❤️🔥 — Apple Pay уходит, оплата проходит
Рассказываем, как пользоваться ВЖУХ — новым способом оплаты на iPhone от Сбера
Настройка перед первой оплатой
🔘 Скачайте приложение «Активы Онлайн» в App Store🔘 Откройте Настройки iPhone🔘 Зайдите в «Конфиденциальность и безопасность» → Bluetooth🔘 Найдите новое приложение Сбера и дайте ему доступ
Как оплачивать покупки
1️⃣ Откройте новое приложение Сбера2️⃣ Убедитесь, что Bluetooth включён3️⃣ Поднесите iPhone к терминалу4️⃣ Подтвердите оплату на экране смартфона
❤️🔥 — Apple Pay уходит, оплата проходит
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥10❤6👍4🤔3
Будущее AI обсудят на Восточном экономическом форуме 🤖
6 сентября во Владивостоке пройдёт сессия международной конференции AI Journey, где ведущие эксперты обсудят тренды GenAI, поделятся кейсами применения AI и раскроют новый этап его развития— переход к рассуждающим, самообучающимся моделям.
Что в программе?
Трансляцию и запись можно будет посмотреть на сайте конференции💻
6 сентября во Владивостоке пройдёт сессия международной конференции AI Journey, где ведущие эксперты обсудят тренды GenAI, поделятся кейсами применения AI и раскроют новый этап его развития
Что в программе?
🔘 Денис Димитров выступит с докладом «Генеративный искусственный интеллект: тренды, вызовы и применения»🔘 Валентин Хрульков расскажет о генеративных моделях в проектировании и строительстве🔘 Пётр Анохин поговорит о последних научных открытиях и об AI как самосовершенствующейся системе🔘 Анатолий Шипов покажет, как AI меняет продукты и процесс разработки
Трансляцию и запись можно будет посмотреть на сайте конференции
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9❤🔥3👍3👏1💯1
Галлюцинации больших языковых моделей (LLM) — ситуации, когда нейросети преподносят ложные данные под видом достоверной информации
Исследователи Сбера разработали метод, который обнаруживает некорректные ответы больших языковых моделей (LLM) на 30% эффективнее, используя лишь 250 примеров для обучения. Большое исследование учёные представили на конференции SIGIR 2025
Даже при небольшом объёме данных можно добиться высокой точности AI-систем. Это особенно важно для индустриальных решений, где разметка требует дополнительных ресурсов. Предложенный способ использует метамодели и умное понижение размерности — это инновация в детекции галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥6❤4🤔2