Друзья, приходите 🙂

🚀 Уже на этой неделе — 16 апреля в столице! 🌆
На крупнейшей московской конференции по искусственному интеллекту и анализу данных Data Fusion наш технический директор Иван Бондаренко представит захватывающую лекцию:
«GPT без дата-центра: как создавать и зачем использовать малые языковые модели?».
Узнайте секреты эффективного внедрения небольших языковых моделей и убедитесь сами, почему большие GPT-решения далеко не всегда оптимальны!

🎯✨Ссылка на программу мероприятия: https://data-fusion.ru/programma2025.html

Какою мерою мерите, такою и вам отмерено будет
Прошлое, настоящее и будущее методов измерения сильного искусственного интеллекта

Друзья, если интересно, то приходите в четверг 24 апреля в 10:00 в кабинет 254 ИСИ СО РАН или подключайтесь к трансляции по ссылке https://meet.google.com/bux-bdjz-zdk 😉

"Писец" уже официально, пусть и в онлайне, добрался до Нью-Мехико, теперь про него можно прочитать подробно в NAACL 2025 Proceedings😎
https://aclanthology.org/2025.naacl-industry.74/

Распознавать можно тут: https://lk.sibnn.ai/ 😀

Международная конференция NAACL 2025. Место проведения - Альбукерке, США. Нашим авторам не дали визы. Отправляли от Сибирских нейросетей 3х коллег на Бали за визами - всем отказ. Поэтому представляем постер онлайн в виртуальной среде.
https://app.gather.town/app/vD0ahbesX3x82ay4/NAACL%202025%20Virtual%20Day?spawnToken=AgpdOEv_S-WbssbSno7v - ссылка на комнату 😊

❤️‍🔥Выступление Ивана Бондаренко на DataFusion 2025:
https://broadcast.comdi.com/watch/rc34lydi
👆Супер краткое содержание:

Докладчик подчеркнул, что, хотя большие языковые модели (LLM) демонстрируют значительный прогресс, их использование связано с высокими затратами на обучение и инференс, что ограничивает их применение. Вместе с тем, развитие больших моделей также способствовало прогрессу малых языковых моделей, которые содержат до 7 миллиардов параметров. Эти модели более доступны для использования и обучения на стандартном оборудовании, и они могут быть эффективными в специализированных задачах.

Докладчик, Иван Бондаренко, представил исследования и внедрение малых генеративных моделей в различных отраслях, включая образование и промышленность. Он отметил, что малые модели могут быть использованы для решения задач, связанных с пониманием и манипулированием текстом, и они могут быть эффективно интегрированы в пайплайны с использованием внешних баз знаний.

Иван также обсудил подходы к обучению малых моделей, такие как Curriculum Learning, и отметил, что малые модели могут быть дообучены на специализированных задачах, что делает их ценными для решения конкретных бизнес-задач. Он подчеркнул, что малые модели могут улучшить экономическую эффективность и ускорить инференс, а также быть полезными для фильтрации и подготовки запросов для больших моделей.

В заключении, Иван отметил, что малые языковые модели могут быть особенно полезны в отраслях, где требуется управление базами знаний, вопросно-ответные системы, особенно с чувствительными документами, и задачи, связанные с извлечением знаний.

10 ключевых слов из доклада:

1. Малые языковые модели
2. Инференс
3. Пропускная способность
4. Генеративные модели
5. Дообучение
6. Экономическая эффективность
7. Знание о мире
8. Понимание текста
9. Retrieval-Augmented Generation (RAG)
10. Curriculum Learning

10 выводов на основе данного доклада:

1. Сложность и стоимость больших языковых моделей: Большие языковые модели требуют значительных вычислительных мощностей и затрат на обучение и инференс. Их использование может быть проблематично для многих организаций.

2. Проблемы с задержками и комплаенсом: Использование услуг ведущих поставщиков языковых моделей часто сопряжено с проблемами задержек и соблюдения регуляторных требований.

3. Развитие малых языковых моделей: Развитие больших языковых моделей стимулировало прогресс в малых языковых моделях, которые имеют до 7 миллиардов параметров и могут быть эффективно использованы большинством организаций на собственных мощностях.

4. Эффективность малых моделей: Малые языковые модели могут быть не менее эффективны, а иногда даже лучше больших моделей в специализированных областях применения. Они генерируют меньше галлюцинаций и имеют лучшую пропускную способность и дешёвые инференсы.

5. Использование малых моделей в различных отраслях: Компания «Сибирские нейросети» активно внедряет малые генеративные модели в образовательной деятельности, промышленности и других отраслях бизнеса.

6. Эволюция нейросетей: Нейросети имеют длительную историю, начиная с середины XX века, и их сложность постоянно увеличивается. Современные большие языковые модели достигают уровня сложности человеческого мозга.

7. Перенос обучения: Малые языковые модели способны к переносу обучения, что позволяет использовать знания, полученные при решении одной задачи, для решения другой задачи с меньшим набором данных.

8. Экономическая эффективность малых моделей: Малые языковые модели экономически эффективны, так как они не требуют мощного дата-центра и обеспечивают быстрый отклик.

9. Роль базы знаний: Использование внешней базы знаний позволяет снизить требования к размеру модели и улучшить управляемость знаний, что делает малые модели более подходящими для специализированных задач.

10. Внедрение малых моделей в различных отраслях: Малые языковые модели могут быть эффективно внедрены в управление базами знаний, вопросно-ответные системы, особенно для чувствительных документов, и для специализированных задач, где требуется дообучение модели на конкретных данных.