Обещали разместить презентацию по проведенному вебинару. Пожалуйста 😊

Новость дня. Проек "Диалогер - речевая аналитика для КЦ" на А:Старте занял 1е место и получил резиденство Академпарка. Наш продукт отметили как лучший среди 30ти проектов в финале. А банк "Тинькофф" подарил пожизненное бесплатное обслуживание счета. Теперь можно безлимитно ходить по стеклянному полу между башнями "Гусей" и арендовать рабочие места в бизнес-инкубаторе Технопарка. Не ожидала такой высокой оценки нашей деятельности. Спасибо команде и нашему техническому директору, которые делают лучшие модели для распознавания речи и анализа текстов, лучшие нейросетевые архитектуры и самые быстрые алгоритмы.

Поездка нашего технического директора в Нижний Тагил в сентябре 2023 с рассказом про большие языковые модели для металлургов и с экскурсией на металлургический комбинат 😊

Новость дня: в Комсомолке про наш проект написали😊
https://www.nsk.kp.ru/daily/27574/4845006/

Добрый день! Сегодня можете послушать вебинар "О переносе знаний из предметной области в глубокую нейросеть с помощью иерархического многозадачного обучения" — рассказывает наш технический директор Иван Бондаренко (а также научный сотрудник лаборатории прикладных цифровых технологий НГУ, старший преподаватель кафедры фундаментальной и прикладной лингвистики)
9 ноября 2023, 17:00 (время московское)
https://aigents.timepad.ru/event/1412596/
Вопросы после мероприятия можете задавать здесь - мы ответим :)

https://www.youtube.com/watch?v=aVI79jQ8r3c
Запись вебинара "О переносе знаний из предметной области в глубокую нейросеть с помощью иерархического многозадачного обучения"

Коллеги, доброго времени суток! Публикуем запись выступления, где рассказываем о разработанной нами открытой библиотеке для Распознавания и семантического анализ звукозаписей интервью.
https://www.youtube.com/watch?v=TQw55LMArBs&t=16455s

Анонсы выступлений на неделю:
20.12.2023 (среда) 10:00-10:45 НСК (06:00-06:45 МСК)

“и вы исключительно устыдив собираетесь фырчать милитаризировавши” -
Если хотите узнать, что это за белиберда и зачем она нужна большим языковым моделям, то приходите 20 декабря в 10:00 на "Декабрьские чтения" в Институт математики (в аудиторию 305) или подключайтесь по ссылке https://imsoran.ktalk.ru/ngxu161rctwl

Наш CTO Иван Юрьевич выступит с докладом “Безопасное предобучение глубоких языковых моделей на синтетическом псевдоязыке.”

Аннотация:
В данной работе проводится сравнение предварительного обучения нейросети трансформерного типа на текстах естественного языка и на предложениях синтетического псевдоязыка. Искусственные тексты были автоматически сгенерированы по написанным нами правилам в контекстно-свободной грамматике. Результаты дообучения нескольких моделей в рамках выполнения заданий проекта RussianSuperGLUE показали одинаковые оценки. Этот факт свидетельствует о том, что использование искусственных данных дает преимущество для “безопасности” искусственного интеллекта за счет возможности полностью контролировать состав выборки. Также мы можем говорить о том, что на этапе предобучения модели типа RoBERTa достаточно научиться распознавать только синтаксические и морфологические закономерности языка, которые могут быть успешно созданы довольно таким простым способом, как контекстно-свободная грамматика.

Какая бизнес-проблема здесь решается:
Например нам нужно реализовать чат-бота на базе LLM с возможность свободного ведения диалога для консультирования клиентов в финансовой организации. Однако, в тот момент, когда чат-бот будет запущен на проде, может возникнуть часть проблем, связанных с безопасностью.
Одной из самых распространенных проблем являются атаки на LLM, которые заставляют выдавать часть обучающего датасета, где могут быть, например, персональные данные.
Другая проблема связана с обучением на открытых датасета, когда злоумышленник знаком с датасетом для предобучения и может спланировать атаки, которые заставляют модель “ломаться”.
С помощью метода переноса обучения, глубокие нейросети могут предобучаться на большом датасете общего назначения и затем дообучаться на маленьком целевом датасете для конкретной бизнес-задачи. Из финального небольшого датасета можно легко удалить все персональные данные, и данные, которые составляют коммерческую тайну. Но как быть с большим датасетом общего назначения?
Если изначально обучать нейросеть на малом количестве данных для вашей целевой задачи, то возникнет проблема переобучения, поэтому используют большой датасет для предобучения. Но кто гарантирует безопасность при предобучении? В компьютерном зрении можно сделать инъекции, чтобы ослабить безопасность модели, вот простой пример с распознаванием лиц: в датасет добавляется изображение человека в очках с широкой красной оправой и помечается лейблом “собака”. Соответственно, модель компьютерного зрения, предобученная на этом датасете, человека в красных очках будет воспринимать как собаку. Аналогичные инъекции можно сделать в системы компьютерного зрения для анализа юридических документов, либо для анализа сканов паспортов, чтобы ослабить работу модели.
Бизнесу чаще всего нужна безопасная модель, но большой датасет общего назначения нельзя полностью валидировать, например в задачах компьютерного зрения, генерации текстов, хромосомного анализа, либо анализа электроэнцефалограмм. Возникает вопрос: что делать? Где взять данные для предобучения, которые бы удовлетворяли критериям надежности и безопасности? Одно из наиболее эффективных решений - синтезировать самим в контуре заказчика. Но как? Необходимо чтобы алгоритм синтеза был простой и прозрачный, который поддается верификации.
В докладе Иван Юрьевич предлагает метод синтеза текстов на естественном псевдоязыке, который позволяет эффективно предобучать большие модели. Данный метод простой и верифицируемый - это контекстно-свободная грамматика. Иван Юрьевич доказывает, что этот подход не уступает предобучению на естественных текстах текстов, но является самым безопасным.
Прилагаю в комментариях слайд с результатами экспериментов, где видно, что модель, обученная на синтетическом датасете не уступает по качеству модели, обученной на натуральном датасете.

И это не все посты на сегодня.

В пятницу 22 декабря в 18:30 МСК состоится доклад в рамках семинара 'Нейронные сети', МГУ, кафедра МаТИС

Докладчик: наш CTO Бондаренко Иван, он же научный сотрудник лаборатории прикладных цифровых технологий международного математического центра Новосибирского Государственного Университета, старший преподаватель кафедры фундаментальной и прикладной лингвистики НГУ.

Тема доклада:
Платон, припоминание и сильный искусственный интеллект: создание мультимодального диалогового агента общего назначения

Аннотация:
В докладе предлагается архитектура мультимодального диалогового агента "Менон", разработанного для участия в соревновании на лучший алгоритм "сильного ИИ" в рамках конференции AI Journey 2023. Вместо "классической" схемы с обучением проекционных слоёв для встраивания "замороженных" кодировщиков модальностей в "замороженную" языковую модель предлагается альтернативный подход к построению мультимодальной нейросети, ключевым элементом которого является кросс-модальный RAG в духе платоновского "распознавания через припоминание". Обсуждаются сильные и слабые стороны такого подхода.
Ссылка на ЗУМ:
https://us04web.zoom.us/j/7792011999?pwd=V3NVOWUrSjBxVlVQZyt1c0dJbGNEZz09

Идентификатор конференции: 779 201 1999
Код доступа: 883418

Начало в 18:30 по Москве

Добрый день!
Видеозапись семинара 'Нейронные сети', МГУ, кафедра МаТИС от 22.12.2023: “Платон, припоминание и сильный искусственный интеллект: создание мультимодального диалогового агента общего назначения” https://disk.yandex.ru/d/qr3gHhowOf-cKg

И живой llm-бот к нему.
Знакомьтесь - это Meno AI
https://t.iss.one/small_nsu_ai_bot

Делитесь в комментариях к этому посту прикольными скринами вашего общения 😅