На Сибирской венчурной ярмарке отметили наш проект как один из наиболее инвестиционно привлекательных 😊

Развернули бота на базе нашей маленькой модели.
@sibnn_bot
Пока он ребенок и многого не умеет, но мы его активно обучаем 😜

Многие компании уже сделали сабмит своих моделей на бенчмарке MERA. А мы решили проверить, какие результаты покажет открытая модель без какого-либо дообучения (наши сабмиты подписаны НГУ, потому что совместно проводим исследования).

В качестве такой модели взяли Qwen2-72B-Instruct-GPTQ-Int4, которая сразу же попала на 3-е место в лидерборде!

Эта квантизованная версия модели состоит из 72B параметров, сжатых в 4-битное представление с фиксированной запятой. Модель была обучена нашими коллегами из "Алибабы" преимущественно на английском и китайском языках, а также дополнительно на 27 языках, включая русский. Длина контекста для предварительного обучения 128 тыс токенов.
Модель незначительно уступает в качестве моделям GigaChat-Pro (29B параметров) и MTS AI Chat Medium. При этом модель Qwen2 обогнала такие модели как GigaChat Lite, T-lite-0.1, MTS AI Chat 7B, Mixtral 8x7B Instruct и многие другие.

Модель показала самые высокие результаты среди других русскоязычных LLM на задачах MathLogicQA (Accuracy 0.681) и PARus (Accuracy 0.958) - задаче выбора наиболее логичного продолжения для заданной ситуации.

Заметно хуже модель пока справляется с задачами на понимание кода - это видно по задачам BPS и LCS, на которых модель показала значения точности 0.038 и 0.15 соответственно.
Более подробная аналитика нашего сабмита.

При этом стоит отметить, что из моделей семейства Qwen именно эта версия заметно превзошла по качеству все остальные. Следующая лучшая версия модели Qwen - Qwen 7B Instruct - показала общий результат на MERA только 0.443 (Qwen2-72B-Instruct-GPTQ-Int4 - 0.542).

Сегодня мы обновили Писца!😄
Теперь в процессе расшифровки стерео-записей можно распознавать звук с двух каналов по отдельности и получать диалог по ролям. Переходите по ссылке и тестируйте обновление - https://lk.sibnn.ai/

27 сентября выступаем на AI Conf в Москве 🙂
Наш технический директор Иван Бондаренко будет выступать с докладом "Как «Писец» на «Тотальный диктант» ходил, или пара слов о робастном распознавании речи" https://aiconf.ru/2024/abstracts/12975
Будем рады всех видеть :)

💫Выступление нашего ведущего разработчика-исследователя Романа Дерунца на Сибирском ДатаФесте.
Роман рассказывает о наших исследованиях и разработке мультимодального ИИ, который работает с изображениями, текстами и аудио.
Приятного просмотра 😊
https://www.youtube.com/watch?v=DreUS7Z02ug

Зачем мы это делаем?
Мультимодальный искусственный интеллект способен решать широкий спектр задач, связанных с обработкой различных типов данных одновременно.

Вот примеры таких задач:

1. Мультимодальные генеративные модели: могут генерировать изображения, видео и текстовые описания, основываясь на предоставленном контексте. Есть возможность создать сцену с описанием на естественном языке и получить соответствующее изображение или видео;
2. Понимание и анализ мультимодальных данных: анализировать взаимодействие между текстом, аудио, видео, изображениями и другими форматами данных для улучшения понимания контекста и смысла информации. Это может включать анализ эмоций, выраженных через различные каналы;
3. Автоматическое аннотирование и индексирование мультимедийного контента: автоматизация процесса аннотации и индексации мультимедиа контента позволяет быстро находить нужные данные и упрощает их поиск;
4. Создание интерактивных приложений и интерфейсов: мультимодальность позволяет создавать интерактивные приложения и интерфейсы, которые взаимодействуют с пользователем через несколько сенсорных входных данных. Например, приложение может распознавать речь и жесты одновременно для управления системой;
5. Обработка и интерпретация сигналов: обрабатывать и интерпретировать сигналы от различных датчиков и устройств, чтобы понять окружающую среду и поведение объектов в ней;
6. Диалоговые системы: разработка диалоговых систем, которые могут общаться с пользователями через разные каналы связи, такие как голос, текст, изображения и видео;
7. Визуализация данных: в виде мультимодальной графики, которая включает в себя изображения, текст и другие формы представления информации;
8. Распознавание и классификация объектов: в видео и изображениях, учитывая информации из других источников, таких как текст и звук;
9. Анализ социальных сетей: проанализировать социальные сети, включая изображения, тексты и видео, для изучения общественного мнения и поведения пользователей;
10. Медицинская диагностика и лечение: Использование мультимодальности для анализа медицинских данных, таких как рентгеновские снимки, анализы крови, результаты МРТ и других тестов, вместе с информацией о симптомах пациента для диагностики заболеваний и разработки индивидуальных планов лечения.

Мультимодальный ИИ имеет широкий спектр применений и может значительно улучшить процессы обработки и анализа данных в различных областях.

"Сибирские нейросети" активно занимаются исследованиями в области мультимодального ИИ и внедряем свои инновационные решения в технологические системы ведущих российских компаний.

Интервью нашего любимого Технического директора Ивана Бондаренко для программы Руслана Махова "Персона"
Приятного просмотра
😊
https://vk.com/video-218317427_456239383

Иван Бондаренко | Маленькая, но удаленькая! Зачем использовать LLM размером меньше 1B параметров?
Приятного просмотра:
https://www.youtube.com/watch?v=blE2Dm9SORE