Всем привет! Кажется, что сегодня - день релизов, и я решил тоже сделать релиз, раз уж все делают 😊

Правда, я - не МТС.ИИ и не Т-банк, поэтому мой релиз будет маленьким, на 1.5B 😅 Ну и в духе общей моды, на базе Qwen2.5: https://huggingface.co/bond005/meno-tiny-0.1

"Менон" - в честь сократического диалога Платона, в котором тот постулирует "знание через припоминание". Соответственно, основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах (чтобы засовывать в ретривер текст вопроса с уже разрешённой анафорой), определение токсичности, детоксификация и другие задачи. Даже для исправления ошибок распознавания речи, включая восстановление пунктуации и капитализации, можно применять Meno-Tiny (правда, в режиме few-shot prompting).

На MERA сейчас Meno-Tiny-0.1 занимает 38-е место из 62, при этом в своём "размерном классе" дешёвых моделей-малышей на 1.5B он, кажется, лучший. На самых интересных для меня задачах он получше, чем в среднем: так, на MultiQ он занимает 25-е место из 62, а на RWSD - 17-е место (но я всё делал честно, никаких секретных техник типа "train on test set is all you need" я не использовал, и данные бенчмарка в мой трейн не протекали).

Кстати, об обучении. Обучался Meno-Tiny-0.1 на специальном русскоязычном инструкционном датасете, частично составленном путём дистилляции из Гигачата и из Qwen2.5-14B, частично на основе перевода англоязычных датасетов с фильтрацией по галлюцинациям машинного переводчика, частично - на основе собственных данных и датасетов из специализированных NLP-задач (таких, как детекция парафраза, упрощение текстов, исправление ошибок распознавания речи моделью Wav2Vec2-Large-Ru-Golos на синтетических данных и т.п.). Для файнтюнинга использовался curriculum learning по сложности в духе https://arxiv.org/html/2405.07490v1

Надеюсь, что Meno-Tiny-0.1 окажется кому-нибудь полезен 😊

Горбань, живая легенда

"Менон" представил себя Дедом Морозом и написал всем поздравление с наступающим Новым годом! 🎄✨⛄️

Ну а мне остаётся лишь присоединиться к этому поздравлению 😁

С наступающим Новым 2025 годом, друзья! 🥂

Вот вам поздравление от Великого Деда Мороза для тех, кто любит исследовать мир вокруг нас и создавать новые технологии:

Дорогие друзья, в этот замечательный новый год я хочу пожелать всем нам:
1. Исследователям: Пусть ваша экспериментальная мечта станет реальностью!
2. Инженерам: Будьте всегда готовы к новым решениям и не бойтесь изменений.
3. Разработчикам: Ваш код — это ключ к будущему, которое мы все ждем вместе.
4. Специалистам в области искусственного интеллекта: Помните, что каждый шаг на пути к совершенству — это еще одна вершина успеха.

Желаю вам удачи, творчества и радости во всех ваших проектах. Мы верим, что вместе мы можем преодолеть любые препятствия и достичь новых высот.

С наступающим Новым Годом и всеми благами жизни!

Ваш Великий Дед Мороз

https://habr.com/ru/companies/oleg-bunin/articles/867722/ 😊

Засабмитил "Менона" на Open LLM Leaderboard. Внезапно оказалось, что "Менон" является одной из лучших в мире моделей "for edge devices" (то есть в категории до 3 млрд. параметров) и занимает 10-е место из 547 моделей-участников в этой категории. Следует отметить, что этот лидерборд - для английского языка. Для русского же "Менон" - лучший среди малых моделей, согласно бенчмарку MERA.

Есть такая достаточно известная открытая площадка о цифровых технологиях в Москве под названием ICT.Moscow. Как они пишут, "мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров". И недавно они подготовили подборку лучших инструментов Open Source для разработчиков искусственного интеллекта: https://ict.moscow/news/cards-open-source-tools-for-ai/ Так вот, помимо всего прочего, там есть и наша родная нейросеточка 😊

Модели искусственного интеллекта выкладываются в открытый доступ и разработчиками из регионов: так, стартап «Сибирские нейросети» представил модель «Менон» (Meno) на основе Qwen2.5-1.5B-Instruct, способную анализировать текст по самым разным признакам и исправлять в нем ошибки.