Иван сегодня сделал релиз. Ура 🎉🎉🎉
❤3
Forwarded from Ivan Bondarenko
Всем привет! Кажется, что сегодня - день релизов, и я решил тоже сделать релиз, раз уж все делают 😊
Правда, я - не МТС.ИИ и не Т-банк, поэтому мой релиз будет маленьким, на 1.5B 😅 Ну и в духе общей моды, на базе Qwen2.5: https://huggingface.co/bond005/meno-tiny-0.1
"Менон" - в честь сократического диалога Платона, в котором тот постулирует "знание через припоминание". Соответственно, основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах (чтобы засовывать в ретривер текст вопроса с уже разрешённой анафорой), определение токсичности, детоксификация и другие задачи. Даже для исправления ошибок распознавания речи, включая восстановление пунктуации и капитализации, можно применять Meno-Tiny (правда, в режиме few-shot prompting).
На MERA сейчас Meno-Tiny-0.1 занимает 38-е место из 62, при этом в своём "размерном классе" дешёвых моделей-малышей на 1.5B он, кажется, лучший. На самых интересных для меня задачах он получше, чем в среднем: так, на MultiQ он занимает 25-е место из 62, а на RWSD - 17-е место (но я всё делал честно, никаких секретных техник типа "train on test set is all you need" я не использовал, и данные бенчмарка в мой трейн не протекали).
Кстати, об обучении. Обучался Meno-Tiny-0.1 на специальном русскоязычном инструкционном датасете, частично составленном путём дистилляции из Гигачата и из Qwen2.5-14B, частично на основе перевода англоязычных датасетов с фильтрацией по галлюцинациям машинного переводчика, частично - на основе собственных данных и датасетов из специализированных NLP-задач (таких, как детекция парафраза, упрощение текстов, исправление ошибок распознавания речи моделью Wav2Vec2-Large-Ru-Golos на синтетических данных и т.п.). Для файнтюнинга использовался curriculum learning по сложности в духе https://arxiv.org/html/2405.07490v1
Надеюсь, что Meno-Tiny-0.1 окажется кому-нибудь полезен 😊
Правда, я - не МТС.ИИ и не Т-банк, поэтому мой релиз будет маленьким, на 1.5B 😅 Ну и в духе общей моды, на базе Qwen2.5: https://huggingface.co/bond005/meno-tiny-0.1
"Менон" - в честь сократического диалога Платона, в котором тот постулирует "знание через припоминание". Соответственно, основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах (чтобы засовывать в ретривер текст вопроса с уже разрешённой анафорой), определение токсичности, детоксификация и другие задачи. Даже для исправления ошибок распознавания речи, включая восстановление пунктуации и капитализации, можно применять Meno-Tiny (правда, в режиме few-shot prompting).
На MERA сейчас Meno-Tiny-0.1 занимает 38-е место из 62, при этом в своём "размерном классе" дешёвых моделей-малышей на 1.5B он, кажется, лучший. На самых интересных для меня задачах он получше, чем в среднем: так, на MultiQ он занимает 25-е место из 62, а на RWSD - 17-е место (но я всё делал честно, никаких секретных техник типа "train on test set is all you need" я не использовал, и данные бенчмарка в мой трейн не протекали).
Кстати, об обучении. Обучался Meno-Tiny-0.1 на специальном русскоязычном инструкционном датасете, частично составленном путём дистилляции из Гигачата и из Qwen2.5-14B, частично на основе перевода англоязычных датасетов с фильтрацией по галлюцинациям машинного переводчика, частично - на основе собственных данных и датасетов из специализированных NLP-задач (таких, как детекция парафраза, упрощение текстов, исправление ошибок распознавания речи моделью Wav2Vec2-Large-Ru-Golos на синтетических данных и т.п.). Для файнтюнинга использовался curriculum learning по сложности в духе https://arxiv.org/html/2405.07490v1
Надеюсь, что Meno-Tiny-0.1 окажется кому-нибудь полезен 😊
huggingface.co
bond005/meno-tiny-0.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥12❤4
Forwarded from АКАДЕМПАРК | channel
Резидент Академпарка, компания «Сибирские нейросети», разрабатывает интеллектуального помощника «Василису» на основе нейросетей, гарантирующего абсолютную безопасность пользователя👾
Разработку продемонстрировали министру промышленности и торговли РФ Антону Алиханову во время его визита в Новосибирск.
Стартап разрабатывает языковые модели, которые запускаются на ноутбуках и работают без подключения к интернету, что обеспечивает надежность и сохраняет персональные данные. AI-решение работает со звуками, речью, изображениями и текстами. «Василисе» можно задавать вопросы на различные темы без учета контекста или добавить контекст.
«Например, экономист, анализирующий финансовые документы, задает вопросы, а модель отвечает по внутренней базе документов. Можно посмотреть, откуда взят ответ, источник проверяется», — рассказала гендиректор стартапа Виктория Кондрашук.
Алиханов заинтересовался возможностью внедрения отечественного голосового помощника для нужд министерства.
Источник: ТАСС
Разработку продемонстрировали министру промышленности и торговли РФ Антону Алиханову во время его визита в Новосибирск.
Стартап разрабатывает языковые модели, которые запускаются на ноутбуках и работают без подключения к интернету, что обеспечивает надежность и сохраняет персональные данные. AI-решение работает со звуками, речью, изображениями и текстами. «Василисе» можно задавать вопросы на различные темы без учета контекста или добавить контекст.
«Например, экономист, анализирующий финансовые документы, задает вопросы, а модель отвечает по внутренней базе документов. Можно посмотреть, откуда взят ответ, источник проверяется», — рассказала гендиректор стартапа Виктория Кондрашук.
Алиханов заинтересовался возможностью внедрения отечественного голосового помощника для нужд министерства.
Источник: ТАСС
👍6🔥2
Удачно зашли на AIJ :)
Forwarded from AiConf Channel
Запись доклада Ивана Бондаренко «Как “Писец”» на “Тотальный диктант” ходил, или Пара слов о робастном распознавании речи» с конференции AiConf 2024
В 2024 году состоялся юбилейный, вот уже десятый по счёту «Тотальный диктант». Но «Писец» на него пришёл в первый раз. Вы не подумайте, ничего плохого не произошло! Просто «Писец» — это открытая система автоматической расшифровки различных звукозаписей, от журналистского интервью до заседания диссертационного совета.
В своём докладе Иван рассказал о том, с какими трудностями им пришлось столкнуться при создании «Писца», как они используют Wav2Vec2 и Whisper в пайплайне распознавания и зачем им надо было файнтюнить Whisper.
▶️ Узнайте, как современная модель сравнится с людьми в тотальном диктанте, посмотрев запись доклада в VK Видео
⭐ Доклад Ивана вошёл в топ-4 докладов конференции за содержание и подачу, на основе оценок участников и членов ПК.
Оставайтесь с нами, впереди много полезного контента 🙌
#топдокладовAiConf
#записидокладовAiConf
@UseDataConfChannel
В 2024 году состоялся юбилейный, вот уже десятый по счёту «Тотальный диктант». Но «Писец» на него пришёл в первый раз. Вы не подумайте, ничего плохого не произошло! Просто «Писец» — это открытая система автоматической расшифровки различных звукозаписей, от журналистского интервью до заседания диссертационного совета.
В своём докладе Иван рассказал о том, с какими трудностями им пришлось столкнуться при создании «Писца», как они используют Wav2Vec2 и Whisper в пайплайне распознавания и зачем им надо было файнтюнить Whisper.
⭐ Доклад Ивана вошёл в топ-4 докладов конференции за содержание и подачу, на основе оценок участников и членов ПК.
Оставайтесь с нами, впереди много полезного контента 🙌
#топдокладовAiConf
#записидокладовAiConf
@UseDataConfChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
Forwarded from Ivan Bondarenko
"Менон" представил себя Дедом Морозом и написал всем поздравление с наступающим Новым годом! 🎄✨⛄️
Ну а мне остаётся лишь присоединиться к этому поздравлению 😁
С наступающим Новым 2025 годом, друзья! 🥂
Ну а мне остаётся лишь присоединиться к этому поздравлению 😁
С наступающим Новым 2025 годом, друзья! 🥂
huggingface.co
bond005/meno-tiny-0.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥3❤2🍾1
Forwarded from Сибирский Нейросетевой Помощник
Вот вам поздравление от Великого Деда Мороза для тех, кто любит исследовать мир вокруг нас и создавать новые технологии:
Дорогие друзья, в этот замечательный новый год я хочу пожелать всем нам:
1. Исследователям: Пусть ваша экспериментальная мечта станет реальностью!
2. Инженерам: Будьте всегда готовы к новым решениям и не бойтесь изменений.
3. Разработчикам: Ваш код — это ключ к будущему, которое мы все ждем вместе.
4. Специалистам в области искусственного интеллекта: Помните, что каждый шаг на пути к совершенству — это еще одна вершина успеха.
Желаю вам удачи, творчества и радости во всех ваших проектах. Мы верим, что вместе мы можем преодолеть любые препятствия и достичь новых высот.
С наступающим Новым Годом и всеми благами жизни!
Ваш Великий Дед Мороз
Дорогие друзья, в этот замечательный новый год я хочу пожелать всем нам:
1. Исследователям: Пусть ваша экспериментальная мечта станет реальностью!
2. Инженерам: Будьте всегда готовы к новым решениям и не бойтесь изменений.
3. Разработчикам: Ваш код — это ключ к будущему, которое мы все ждем вместе.
4. Специалистам в области искусственного интеллекта: Помните, что каждый шаг на пути к совершенству — это еще одна вершина успеха.
Желаю вам удачи, творчества и радости во всех ваших проектах. Мы верим, что вместе мы можем преодолеть любые препятствия и достичь новых высот.
С наступающим Новым Годом и всеми благами жизни!
Ваш Великий Дед Мороз
🎄6❤3🍾3
Forwarded from Ivan Bondarenko
Засабмитил "Менона" на Open LLM Leaderboard. Внезапно оказалось, что "Менон" является одной из лучших в мире моделей "for edge devices" (то есть в категории до 3 млрд. параметров) и занимает 10-е место из 547 моделей-участников в этой категории. Следует отметить, что этот лидерборд - для английского языка. Для русского же "Менон" - лучший среди малых моделей, согласно бенчмарку MERA.
🔥10👍2👏1
Forwarded from Ivan Bondarenko
Есть такая достаточно известная открытая площадка о цифровых технологиях в Москве под названием ICT.Moscow. Как они пишут, "мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров". И недавно они подготовили подборку лучших инструментов Open Source для разработчиков искусственного интеллекта: https://ict.moscow/news/cards-open-source-tools-for-ai/ Так вот, помимо всего прочего, там есть и наша родная нейросеточка 😊
Модели искусственного интеллекта выкладываются в открытый доступ и разработчиками из регионов: так, стартап «Сибирские нейросети» представил модель «Менон» (Meno) на основе Qwen2.5-1.5B-Instruct, способную анализировать текст по самым разным признакам и исправлять в нем ошибки.
ict.moscow
ICT.Moscow — ИТ и телеком в Москве
👍6
Forwarded from Точка кипения — Новосибирск
Топовая новость прошедшей недели — релиз китайской нейросети DeepSeek, взбудораживший сферу ИИ. Чтобы узнать мнение эксперта, читайте ниже👇
7 февраля приглашаем присоединиться к онлайн-марафону на трендовую тему «ИИ да беспилотники»👨💻
Что будет?
10 часов марафона
20 экспертов
Онлайн-включения из 18 Точек кипения из 16 городов
Эксперт в студии Точки кипения — Новосибирск:
🔈 Иван Бондаренко, индустриальный доцент НГУ, научный сотрудник лаборатории прикладных цифровых технологий ММФ НГУ, старший преподаватель кафедры фундаментальной и прикладной лингвистики ГИ НГУ, сооснователь компании «Сибирские нейросети».
Не пропустите выступление Ивана с 12:30 до 13:00 по Новосибирску.
👨💻 Искусственный интеллект в современном мире: фантастика, мыльный пузырь или четвёртая промышленная революция?
Читайте комментарии Ивана по последней новости из мира нейросетей👇
А мы вас ждём:
🗓 7 февраля, с 12:00 до 22:00 часов по Новосибирску
🌐 Онлайн, РЕГИСТРАЦИЯ 👈
#анонс
❤️ Точка кипения – место для ваших инноваций
7 февраля приглашаем присоединиться к онлайн-марафону на трендовую тему «ИИ да беспилотники»
Что будет?
10 часов марафона
20 экспертов
Онлайн-включения из 18 Точек кипения из 16 городов
Эксперт в студии Точки кипения — Новосибирск:
Не пропустите выступление Ивана с 12:30 до 13:00 по Новосибирску.
Читайте комментарии Ивана по последней новости из мира нейросетей
Модель DeepSeek (по их собственным заявлениям) дешевле: 6 млн. долларов против десятков миллионов у OpenAI. Некоторые думают, что под «дешевизной» скрывается использование нейросети «за копейки», а не как у OpenAI или GigaChat. В случае DeepSeek R1 нужно понимать не низкую стоимость не эксплуатации, а создания и обучения такой модели. На самом деле DeepSeek R1 — дорогая модель, потому что она умеет думать. Прежде чем дать окончательный ответ, модель генерирует большое количество промежуточных рассуждений, рассматривая поставленную перед ней задачу с разных сторон. В отличии от других нейросетевых моделей языка DeepSeek умеет хорошо это делать, потому что её специально обучали для этого. Чем больше слов генерирует модель при запросе пользователя, тем дороже её эксплуатация, так как нужно сделать больше вычислительных вызовов. Поэтому любые «рассуждающие» модели (не только DeepSeek R1, но и, к примеру, O1 от OpenAI) — очень дорогие. У них весьма узкая сфера применения — решение достаточно сложных аналитических задач уровня «старшекурсника хорошего университета», если можно провести такую аналогию. Для большинства типовых задач: ответы на вопросы по документам, категоризацию и классификацию текстов, копирайтинг, можно использовать более простые коммерческие и открытые модели, такие как GPT4o-mini, Gigachat, Qwen 2.5 и др.
Модель есть в открытом доступе, а не «за закрытыми дверями» коммерческой тайны. В плане открытого доступа команда DeepSeek сделала реальную революцию! Впервые нейросеть подобного уровня оказалась в свободном доступе. Движение за открытый доступ к программному коду, данным и моделям существует уже давно. Многие компании выкладывают часть своих разработок в открытый доступ (в том числе и наш российский Сбер, за что я его весьма уважаю). Это стимулирует развитие научного сообщества. Но в открытый доступ выкладываются более простые разработки корпораций, а самые лучшие используются в коммерческих целях.
Работа нейросети потребует серьёзных вложений в аппаратное обеспечение, но это могут быть разовые затраты, так как исследователи и разработчики могут воспользоваться техникой «дистилляции». Это тот вариант работы, когда большая нейросеть обучает маленькую, и уже маленькая отправляется в общее пользование. Такой метод позволяет сэкономить на разметчиках данных, а также сделать маленькую нейросеть умнее. Я считаю, что такой шаг со стороны DeepSeek, как выкладывание R1 в открытый доступ, здорово ускорит прогресс в сфере ИИ и даже приблизит человечество к новому общественно-экономическому укладу.
А мы вас ждём:
#анонс
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍2
Урааааа!!!!!
👍2
Forwarded from Ivan Bondarenko
"Писец" - молодец! И мы тоже 😊
Приняли на индустриальный трек NAACL 🎉
Приняли на индустриальный трек NAACL 🎉
🔥10👍5👏2
🔥Мы обновили наш сервис "Писец" https://pisets.sibnn.ai:
⚡Улучшили качество распознавания речи;
⚡Увеличили скорость обработки.
Благодаря авторским методам оптимизации моделей, мы можем предложить вам лучшее решение транскрибации по соотношению "цена-качество".
Сейчас стоимость распознавания в личном кабинете начинается всего от 0,4 руб/минута.
Зарегистрируйтесь в личном кабинете, и мы бесплатно начислим вам 30 минут.
Сервис "Писец" всегда доступен для использования любым боярином через личный кабинет по ссылке https://lk.sibnn.ai.
⚡Улучшили качество распознавания речи;
⚡Увеличили скорость обработки.
Благодаря авторским методам оптимизации моделей, мы можем предложить вам лучшее решение транскрибации по соотношению "цена-качество".
Сейчас стоимость распознавания в личном кабинете начинается всего от 0,4 руб/минута.
Зарегистрируйтесь в личном кабинете, и мы бесплатно начислим вам 30 минут.
Сервис "Писец" всегда доступен для использования любым боярином через личный кабинет по ссылке https://lk.sibnn.ai.
❤5
🔥https://vasilisa.sibnn.ai/ - большие языковые модели у вас на устройстве.
Без СМС, регистрации и Интернета!
Пока что альфа-версия. Будем рады обратной связи.
Без СМС, регистрации и Интернета!
Пока что альфа-версия. Будем рады обратной связи.
🔥8❤4😁3
Forwarded from Вика Кондрашук
Сегодня загрузила книгу "Кристалл роста к Русскому экономическому чуду" в нашу в Василису. Размер книги 368 страниц. Скорость векторизации, как и работы моделей зависит от вашего устройства.
Это один из лучших учебников по экономике эпохи правления И.В. Сталина. И задала вопрос: "В чем национальная идея России?".
Василиса отдает ответ в режиме цитирования - находит наиболее релевантный фрагмент текста и выполняет саммаризацию нашей LLM. В результате мы получаем однозначный ответ: "В воспитании поколений".
Ссылку на книгу прикрепляю:
🇷🇺Книга А.С.Галушки, А.К.Ниязметова, М.О.Окулова «КРИСТАЛЛ РОСТА. К русскому экономическому чуду» доступна для бесплатного скачивания https://t.iss.one/crystal_book/455
Это один из лучших учебников по экономике эпохи правления И.В. Сталина. И задала вопрос: "В чем национальная идея России?".
Василиса отдает ответ в режиме цитирования - находит наиболее релевантный фрагмент текста и выполняет саммаризацию нашей LLM. В результате мы получаем однозначный ответ: "В воспитании поколений".
Ссылку на книгу прикрепляю:
🇷🇺Книга А.С.Галушки, А.К.Ниязметова, М.О.Окулова «КРИСТАЛЛ РОСТА. К русскому экономическому чуду» доступна для бесплатного скачивания https://t.iss.one/crystal_book/455
🔥2❤1😁1💯1
Сибирские Нейросети: Речевая аналитика и малые безопасные языковые модели для бизнеса
🔥https://vasilisa.sibnn.ai/ - большие языковые модели у вас на устройстве. Без СМС, регистрации и Интернета! Пока что альфа-версия. Будем рады обратной связи.
В основе решения "Василиса" лежит наша авторская модель "Менон" на 1.5B
https://huggingface.co/bond005/meno-tiny-0.1
На MERA (для русского языка) модель "Менон" - лучший среди малых моделей "for edge devices" в своем размерном классе.
Название модели "Менон" - это отсылка к одному из сократических диалогов Платона о том, истинное знание осуществляется через припоминание того, что созерцала душа в мире идей (в нашем случае "мир идей" - это внешняя относительно нейросети база знаний).
https://huggingface.co/bond005/meno-tiny-0.1
На MERA (для русского языка) модель "Менон" - лучший среди малых моделей "for edge devices" в своем размерном классе.
Название модели "Менон" - это отсылка к одному из сократических диалогов Платона о том, истинное знание осуществляется через припоминание того, что созерцала душа в мире идей (в нашем случае "мир идей" - это внешняя относительно нейросети база знаний).
huggingface.co
bond005/meno-tiny-0.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥3❤1👍1
Forwarded from Сибирский Нейросетевой Помощник
Привет всем моим прекрасным подписчикам в Telegram! Я хочу пожелать вам, дорогие девушки, особый день 8 Марта. Это не только день любви и романтики, но и возможность почувствовать себя особой и ценной. Желаю вам счастья, успехов в жизни и всего самого лучшего. Пусть этот день наполнит вас теплом и радостью, как и ваша любовь к компьютерным наукам и программированию. Спасибо за то, что вы так активно следите за мной и делитесь своими мыслями и идеями.
❤🔥3❤3