Модели, которые «слышат» 🎧

Открываем серию постов про аудиомодальность — рассказываем, как AI учится понимать звук и зачем это нужно.

Что такое аудиомодальность?
👂 Речь, музыка, звуки окружающей среды — всё это можно анализировать или синтезировать с помощью нейросетей. Способность моделей работать со звуком как с основным типом входных данных называется аудиомодальностью. Такие модели предсказывают, каким фонемам (звукам в языке), целым словам или предложениям соответствуют те или иные акустические волны. Помните, в школе были разборы [сАстава] слов по звукам речи?

5️⃣ Особенности обучения:
🔘Гигантские корпуса аудио, размеченных точными транскрипциями
🔘Нормализация и очистка звука от шумов

Для обработки и распознавания звука есть разные архитектуры, которые могут комбинироваться:

HMM (Hidden Markov Models)
🎤Классический метод. Делит звук на маленькие отрезки и определяет, какой фонеме они соответствуют. Хорошо работает для стабильной, чёткой речи.

DNN (Deep Neural Networks)
🎤Современные нейросети, которые лучше справляются с реальными условиями: шумом, акцентами, быстрой речью. DNN можно встроить в систему вместо HMM или использовать в связке с другой архитектурой: DNN предсказывает признаки, а HMM собирает их в последовательность.

End-to-End архитектуры
🎤Новый подход: модель сразу учится превращать звук в текст, минуя этапы фонем и ручного выделения признаков. Вместо того чтобы по частям анализировать звук, она «слушает» всё целиком и учится понимать на примерах. Часто основана на трансформерах или seq2seq-моделях.

✅ Как применяются?
🔘 Речь → Текст: голосовые помощники, расшифровка интервью, звонков, заседаний
🔘 Текст → Речь: озвучка книг и интерфейсов, генерация аудио для людей с нарушениями речи, локализация контента (автоперевод и озвучка голосом)
🔘 Анализ речи: диагностика заболеваний или определение эмоций клиента по голосу, оценка речевых навыков в приложениях для изучения языков

В следующих постах мы расскажем про класс открытых моделей для обработки звучащей речи GigaAm 🎵

Пользовались аудиомодальными сервисами?
💯 — по работе
👍 — для развлечения
🤔 — что-то новенькое для меня

AI в медицине: точность, значимость, будущее🫀

27 мая в офисе AIRI в Сити обсудим, как искусственный интеллект открывает новые подходы в медицине и меняет представление о клинической аналитике.

📆 Лектор — Геннадий Коновалов, профессор, руководитель Центра диагностики и инновационных медицинских технологий
🔘 Модератор — Иван Оселедец, профессор РАН, гендиректор AIRI

Большой семинар AIRI — это возможность для учёных, врачей и инженеров обсудить инновационные идеи и создать решения для реальных задач.

➡️ Регистрация по ссылке. Трансляция пройдет в VK Видео и на YouTube.
Увидимся на семинаре 💚

УзнавAI вместе со Сбером 🤖

2 июня стартует кампания региональных треков AI Journey — крупнейшей AI-конференции от Сбера. Лекции пройдут в Нижнем Новгороде, Петербурге, Владивостоке, Казани и центре «Сириус», а также в Технохабе Сбера.

Открывает серию сессия AI Journey на ЦИПР 2025 в Нижнем Новгороде — пять докладов от экспертов Сбера и AIRI о ключевых направлениях развития AI: от генеративных моделей и мультиагентных систем до прикладного AGI (Artificial general intelligence). Спикеры расскажут, как пользоваться AI-агентами и как внедрение AGI может повлиять на развитие индустрий, науку, социум и жизнь каждого человека.

Программа докладов:

🔘Generative AI 2025: тренды и применения — Денис Димитров, управляющий директор по исследованию данных, основатель и руководитель проекта Kandinsky

🔘Следующий шаг эволюции AI: мультиагентные системы на базе LLM — Руслан Исрафилов, исполнительный директор по исследованию данных дивизиона развития рекомендательных систем Сбера

🔘От LLM-агентов к практичному AGI: передний край исследований и человекоцентричный подход — Сергей Марков, управляющий директор

🔘На пути к прикладному AGI — Иван Оселедец, генеральный директор Института AIRI

🔘Насколько AGI нужен людям? — Александр Крайнов, директор по развитию технологий AI Яндекса

➡️ Подключайтесь онлайн

Мы ждём вас 💚

Data Fest’25 в гостях у Сбера — уже завтра!

До главного события сообщества Open Data Science осталось совсем немного ✅

Доклады о трендах в AI от топовых экспертов, нетворкинг и игры на развитие soft skills — в штаб-квартире Сбера в Москве на Кутузовском проспекте.

Если не успели зарегистрироваться, чтобы прийти лично, можете посмотреть выступления онлайн. Прямая трансляция будет доступна по этим ссылкам:

➡️ Main Stage
➡️ AI Disrupt Stage