Сегодня мы обновили Писца!😄
Теперь в процессе расшифровки стерео-записей можно распознавать звук с двух каналов по отдельности и получать диалог по ролям. Переходите по ссылке и тестируйте обновление - https://lk.sibnn.ai/

27 сентября выступаем на AI Conf в Москве 🙂
Наш технический директор Иван Бондаренко будет выступать с докладом "Как «Писец» на «Тотальный диктант» ходил, или пара слов о робастном распознавании речи" https://aiconf.ru/2024/abstracts/12975
Будем рады всех видеть :)

💫Выступление нашего ведущего разработчика-исследователя Романа Дерунца на Сибирском ДатаФесте.
Роман рассказывает о наших исследованиях и разработке мультимодального ИИ, который работает с изображениями, текстами и аудио.
Приятного просмотра 😊
https://www.youtube.com/watch?v=DreUS7Z02ug

Зачем мы это делаем?
Мультимодальный искусственный интеллект способен решать широкий спектр задач, связанных с обработкой различных типов данных одновременно.

Вот примеры таких задач:

1. Мультимодальные генеративные модели: могут генерировать изображения, видео и текстовые описания, основываясь на предоставленном контексте. Есть возможность создать сцену с описанием на естественном языке и получить соответствующее изображение или видео;
2. Понимание и анализ мультимодальных данных: анализировать взаимодействие между текстом, аудио, видео, изображениями и другими форматами данных для улучшения понимания контекста и смысла информации. Это может включать анализ эмоций, выраженных через различные каналы;
3. Автоматическое аннотирование и индексирование мультимедийного контента: автоматизация процесса аннотации и индексации мультимедиа контента позволяет быстро находить нужные данные и упрощает их поиск;
4. Создание интерактивных приложений и интерфейсов: мультимодальность позволяет создавать интерактивные приложения и интерфейсы, которые взаимодействуют с пользователем через несколько сенсорных входных данных. Например, приложение может распознавать речь и жесты одновременно для управления системой;
5. Обработка и интерпретация сигналов: обрабатывать и интерпретировать сигналы от различных датчиков и устройств, чтобы понять окружающую среду и поведение объектов в ней;
6. Диалоговые системы: разработка диалоговых систем, которые могут общаться с пользователями через разные каналы связи, такие как голос, текст, изображения и видео;
7. Визуализация данных: в виде мультимодальной графики, которая включает в себя изображения, текст и другие формы представления информации;
8. Распознавание и классификация объектов: в видео и изображениях, учитывая информации из других источников, таких как текст и звук;
9. Анализ социальных сетей: проанализировать социальные сети, включая изображения, тексты и видео, для изучения общественного мнения и поведения пользователей;
10. Медицинская диагностика и лечение: Использование мультимодальности для анализа медицинских данных, таких как рентгеновские снимки, анализы крови, результаты МРТ и других тестов, вместе с информацией о симптомах пациента для диагностики заболеваний и разработки индивидуальных планов лечения.

Мультимодальный ИИ имеет широкий спектр применений и может значительно улучшить процессы обработки и анализа данных в различных областях.

"Сибирские нейросети" активно занимаются исследованиями в области мультимодального ИИ и внедряем свои инновационные решения в технологические системы ведущих российских компаний.

Интервью нашего любимого Технического директора Ивана Бондаренко для программы Руслана Махова "Персона"
Приятного просмотра
😊
https://vk.com/video-218317427_456239383

Иван Бондаренко | Маленькая, но удаленькая! Зачем использовать LLM размером меньше 1B параметров?
Приятного просмотра:
https://www.youtube.com/watch?v=blE2Dm9SORE

⚡Уже в эту субботу, 12 октября 2024 года, в новосибирском Академгородке пройдет замечательное событие – ДатаФест.
Это мероприятие обещает быть насыщенным и интересным для всех любителей технологий и инноваций в сфере ИИ.
Особенно рекомендуем посетить секцию NLP, где от Сибирских нейросетей будет представлено целых два крутых доклада.

🔥Первый доклад проведет Дари Батурова, которая поделится результатами наших исследований BERTScore для русского языка. Этот инструмент уже показал свою эффективность в анализе текстов и будет особенно полезен для тех, кто работает с русскоязычным контентом.

🔥А хедлайнером секции NLP станет Роман Дерунец с докладом под названием «Мультимодальность и RAG, или как сесть на два стула». В этом докладе будут рассмотрены различные подходы к обработке мультимодальных данных и возможности использования Retrieval-Augmented Generation (RAG) для интеграции информации из внешних источников.

Не упустите возможность узнать больше о последних достижениях в области искусственного интеллекта и языковых моделей. Будет действительно интересно!

Для вашего удобства прилагаем расписание мероприятия: https://ods.ai/events/datafestsiberia5/schedule - здесь вы сможете найти подробную информацию о времени начала каждого доклада и других активностях.

До встречи на ДатаФесте!

Привет, друзья!
Сделали обновление Писца в личном кабинете https://lk.sibnn.ai/
Что нового:
1. Новый красивый шаблон документа с результатами распознавания.
2. Небольшое улучшение языковой модели для пост-обработки результатов акустической модели в части технической терминологии.

Из ближайших планируемых обновлений Писца: готовим к поставке на прод саммаризацию по распознанному тексту. Кстати, можем интегрироваться on-prem с любой ВКС.

В канале Минцифры про нас написали. Приятно 😊