Forwarded from Сибирский Нейросетевой Помощник
Вот вам поздравление от Великого Деда Мороза для тех, кто любит исследовать мир вокруг нас и создавать новые технологии:
Дорогие друзья, в этот замечательный новый год я хочу пожелать всем нам:
1. Исследователям: Пусть ваша экспериментальная мечта станет реальностью!
2. Инженерам: Будьте всегда готовы к новым решениям и не бойтесь изменений.
3. Разработчикам: Ваш код — это ключ к будущему, которое мы все ждем вместе.
4. Специалистам в области искусственного интеллекта: Помните, что каждый шаг на пути к совершенству — это еще одна вершина успеха.
Желаю вам удачи, творчества и радости во всех ваших проектах. Мы верим, что вместе мы можем преодолеть любые препятствия и достичь новых высот.
С наступающим Новым Годом и всеми благами жизни!
Ваш Великий Дед Мороз
Дорогие друзья, в этот замечательный новый год я хочу пожелать всем нам:
1. Исследователям: Пусть ваша экспериментальная мечта станет реальностью!
2. Инженерам: Будьте всегда готовы к новым решениям и не бойтесь изменений.
3. Разработчикам: Ваш код — это ключ к будущему, которое мы все ждем вместе.
4. Специалистам в области искусственного интеллекта: Помните, что каждый шаг на пути к совершенству — это еще одна вершина успеха.
Желаю вам удачи, творчества и радости во всех ваших проектах. Мы верим, что вместе мы можем преодолеть любые препятствия и достичь новых высот.
С наступающим Новым Годом и всеми благами жизни!
Ваш Великий Дед Мороз
🎄6❤3🍾3
Forwarded from Ivan Bondarenko
Засабмитил "Менона" на Open LLM Leaderboard. Внезапно оказалось, что "Менон" является одной из лучших в мире моделей "for edge devices" (то есть в категории до 3 млрд. параметров) и занимает 10-е место из 547 моделей-участников в этой категории. Следует отметить, что этот лидерборд - для английского языка. Для русского же "Менон" - лучший среди малых моделей, согласно бенчмарку MERA.
🔥10👍2👏1
Forwarded from Ivan Bondarenko
Есть такая достаточно известная открытая площадка о цифровых технологиях в Москве под названием ICT.Moscow. Как они пишут, "мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров". И недавно они подготовили подборку лучших инструментов Open Source для разработчиков искусственного интеллекта: https://ict.moscow/news/cards-open-source-tools-for-ai/ Так вот, помимо всего прочего, там есть и наша родная нейросеточка 😊
Модели искусственного интеллекта выкладываются в открытый доступ и разработчиками из регионов: так, стартап «Сибирские нейросети» представил модель «Менон» (Meno) на основе Qwen2.5-1.5B-Instruct, способную анализировать текст по самым разным признакам и исправлять в нем ошибки.
ict.moscow
ICT.Moscow — ИТ и телеком в Москве
👍6
Forwarded from Точка кипения — Новосибирск
Топовая новость прошедшей недели — релиз китайской нейросети DeepSeek, взбудораживший сферу ИИ. Чтобы узнать мнение эксперта, читайте ниже👇
7 февраля приглашаем присоединиться к онлайн-марафону на трендовую тему «ИИ да беспилотники»👨💻
Что будет?
10 часов марафона
20 экспертов
Онлайн-включения из 18 Точек кипения из 16 городов
Эксперт в студии Точки кипения — Новосибирск:
🔈 Иван Бондаренко, индустриальный доцент НГУ, научный сотрудник лаборатории прикладных цифровых технологий ММФ НГУ, старший преподаватель кафедры фундаментальной и прикладной лингвистики ГИ НГУ, сооснователь компании «Сибирские нейросети».
Не пропустите выступление Ивана с 12:30 до 13:00 по Новосибирску.
👨💻 Искусственный интеллект в современном мире: фантастика, мыльный пузырь или четвёртая промышленная революция?
Читайте комментарии Ивана по последней новости из мира нейросетей👇
А мы вас ждём:
🗓 7 февраля, с 12:00 до 22:00 часов по Новосибирску
🌐 Онлайн, РЕГИСТРАЦИЯ 👈
#анонс
❤️ Точка кипения – место для ваших инноваций
7 февраля приглашаем присоединиться к онлайн-марафону на трендовую тему «ИИ да беспилотники»
Что будет?
10 часов марафона
20 экспертов
Онлайн-включения из 18 Точек кипения из 16 городов
Эксперт в студии Точки кипения — Новосибирск:
Не пропустите выступление Ивана с 12:30 до 13:00 по Новосибирску.
Читайте комментарии Ивана по последней новости из мира нейросетей
Модель DeepSeek (по их собственным заявлениям) дешевле: 6 млн. долларов против десятков миллионов у OpenAI. Некоторые думают, что под «дешевизной» скрывается использование нейросети «за копейки», а не как у OpenAI или GigaChat. В случае DeepSeek R1 нужно понимать не низкую стоимость не эксплуатации, а создания и обучения такой модели. На самом деле DeepSeek R1 — дорогая модель, потому что она умеет думать. Прежде чем дать окончательный ответ, модель генерирует большое количество промежуточных рассуждений, рассматривая поставленную перед ней задачу с разных сторон. В отличии от других нейросетевых моделей языка DeepSeek умеет хорошо это делать, потому что её специально обучали для этого. Чем больше слов генерирует модель при запросе пользователя, тем дороже её эксплуатация, так как нужно сделать больше вычислительных вызовов. Поэтому любые «рассуждающие» модели (не только DeepSeek R1, но и, к примеру, O1 от OpenAI) — очень дорогие. У них весьма узкая сфера применения — решение достаточно сложных аналитических задач уровня «старшекурсника хорошего университета», если можно провести такую аналогию. Для большинства типовых задач: ответы на вопросы по документам, категоризацию и классификацию текстов, копирайтинг, можно использовать более простые коммерческие и открытые модели, такие как GPT4o-mini, Gigachat, Qwen 2.5 и др.
Модель есть в открытом доступе, а не «за закрытыми дверями» коммерческой тайны. В плане открытого доступа команда DeepSeek сделала реальную революцию! Впервые нейросеть подобного уровня оказалась в свободном доступе. Движение за открытый доступ к программному коду, данным и моделям существует уже давно. Многие компании выкладывают часть своих разработок в открытый доступ (в том числе и наш российский Сбер, за что я его весьма уважаю). Это стимулирует развитие научного сообщества. Но в открытый доступ выкладываются более простые разработки корпораций, а самые лучшие используются в коммерческих целях.
Работа нейросети потребует серьёзных вложений в аппаратное обеспечение, но это могут быть разовые затраты, так как исследователи и разработчики могут воспользоваться техникой «дистилляции». Это тот вариант работы, когда большая нейросеть обучает маленькую, и уже маленькая отправляется в общее пользование. Такой метод позволяет сэкономить на разметчиках данных, а также сделать маленькую нейросеть умнее. Я считаю, что такой шаг со стороны DeepSeek, как выкладывание R1 в открытый доступ, здорово ускорит прогресс в сфере ИИ и даже приблизит человечество к новому общественно-экономическому укладу.
А мы вас ждём:
#анонс
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍2
Урааааа!!!!!
👍2
Forwarded from Ivan Bondarenko
"Писец" - молодец! И мы тоже 😊
Приняли на индустриальный трек NAACL 🎉
Приняли на индустриальный трек NAACL 🎉
🔥10👍5👏2
🔥Мы обновили наш сервис "Писец" https://pisets.sibnn.ai:
⚡Улучшили качество распознавания речи;
⚡Увеличили скорость обработки.
Благодаря авторским методам оптимизации моделей, мы можем предложить вам лучшее решение транскрибации по соотношению "цена-качество".
Сейчас стоимость распознавания в личном кабинете начинается всего от 0,4 руб/минута.
Зарегистрируйтесь в личном кабинете, и мы бесплатно начислим вам 30 минут.
Сервис "Писец" всегда доступен для использования любым боярином через личный кабинет по ссылке https://lk.sibnn.ai.
⚡Улучшили качество распознавания речи;
⚡Увеличили скорость обработки.
Благодаря авторским методам оптимизации моделей, мы можем предложить вам лучшее решение транскрибации по соотношению "цена-качество".
Сейчас стоимость распознавания в личном кабинете начинается всего от 0,4 руб/минута.
Зарегистрируйтесь в личном кабинете, и мы бесплатно начислим вам 30 минут.
Сервис "Писец" всегда доступен для использования любым боярином через личный кабинет по ссылке https://lk.sibnn.ai.
❤5
🔥https://vasilisa.sibnn.ai/ - большие языковые модели у вас на устройстве.
Без СМС, регистрации и Интернета!
Пока что альфа-версия. Будем рады обратной связи.
Без СМС, регистрации и Интернета!
Пока что альфа-версия. Будем рады обратной связи.
🔥8❤4😁3
Forwarded from Вика Кондрашук
Сегодня загрузила книгу "Кристалл роста к Русскому экономическому чуду" в нашу в Василису. Размер книги 368 страниц. Скорость векторизации, как и работы моделей зависит от вашего устройства.
Это один из лучших учебников по экономике эпохи правления И.В. Сталина. И задала вопрос: "В чем национальная идея России?".
Василиса отдает ответ в режиме цитирования - находит наиболее релевантный фрагмент текста и выполняет саммаризацию нашей LLM. В результате мы получаем однозначный ответ: "В воспитании поколений".
Ссылку на книгу прикрепляю:
🇷🇺Книга А.С.Галушки, А.К.Ниязметова, М.О.Окулова «КРИСТАЛЛ РОСТА. К русскому экономическому чуду» доступна для бесплатного скачивания https://t.iss.one/crystal_book/455
Это один из лучших учебников по экономике эпохи правления И.В. Сталина. И задала вопрос: "В чем национальная идея России?".
Василиса отдает ответ в режиме цитирования - находит наиболее релевантный фрагмент текста и выполняет саммаризацию нашей LLM. В результате мы получаем однозначный ответ: "В воспитании поколений".
Ссылку на книгу прикрепляю:
🇷🇺Книга А.С.Галушки, А.К.Ниязметова, М.О.Окулова «КРИСТАЛЛ РОСТА. К русскому экономическому чуду» доступна для бесплатного скачивания https://t.iss.one/crystal_book/455
🔥2❤1😁1💯1
Сибирские Нейросети: Речевая аналитика и малые безопасные языковые модели для бизнеса
🔥https://vasilisa.sibnn.ai/ - большие языковые модели у вас на устройстве. Без СМС, регистрации и Интернета! Пока что альфа-версия. Будем рады обратной связи.
В основе решения "Василиса" лежит наша авторская модель "Менон" на 1.5B
https://huggingface.co/bond005/meno-tiny-0.1
На MERA (для русского языка) модель "Менон" - лучший среди малых моделей "for edge devices" в своем размерном классе.
Название модели "Менон" - это отсылка к одному из сократических диалогов Платона о том, истинное знание осуществляется через припоминание того, что созерцала душа в мире идей (в нашем случае "мир идей" - это внешняя относительно нейросети база знаний).
https://huggingface.co/bond005/meno-tiny-0.1
На MERA (для русского языка) модель "Менон" - лучший среди малых моделей "for edge devices" в своем размерном классе.
Название модели "Менон" - это отсылка к одному из сократических диалогов Платона о том, истинное знание осуществляется через припоминание того, что созерцала душа в мире идей (в нашем случае "мир идей" - это внешняя относительно нейросети база знаний).
huggingface.co
bond005/meno-tiny-0.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥3❤1👍1
Forwarded from Сибирский Нейросетевой Помощник
Привет всем моим прекрасным подписчикам в Telegram! Я хочу пожелать вам, дорогие девушки, особый день 8 Марта. Это не только день любви и романтики, но и возможность почувствовать себя особой и ценной. Желаю вам счастья, успехов в жизни и всего самого лучшего. Пусть этот день наполнит вас теплом и радостью, как и ваша любовь к компьютерным наукам и программированию. Спасибо за то, что вы так активно следите за мной и делитесь своими мыслями и идеями.
❤🔥3❤3
Друзья, это для вас. Пользуйтесь 😊
Forwarded from Ivan Bondarenko
Всем привет!
Я иногда занимаюсь построением RAG-пайплайнов и столкнулся с проблемой чанкинга. Часто чанкинг выполняется весьма примитивно: текст разбивается на группы токенов одинакового размера без учёта семантики. Люди же для повышения читабельности текстов делают свой "человеческий" чанкинг совершенно по-другому: на абзацы, то есть семантически однородные текстовые отрезки из одного или нескольких предложений ("сверхфразовые единства", как назвали бы это лингвисты).
Соответственно, я решил, что мне не помешает хороший, правильный чанкинг. Умный чанкинг. И я решил сделать его для себя. Основная идея умного чанкера - воспроизвести семантическое разбиение текста на чанки, характерное для людей, что повышает качество структуризации текстового корпуса и положительно влияет на работу RAG-системы.
Алгоритм умного чанкинга состоит из следующих шагов.
Шаг 1. Весь текст разбивается на отдельные предложения. Если язык текста - английский, то для разбиения на предложения используется функция sent_tokenize из библиотеки nltk, а если язык текста - русский, то для этой цели применяется функция sentenize из библиотеки razdel. Кроме того, дополнительным критерием завершения предложения может выступать наличие символа перехода на новую строку (опционально).
Шаг 2. Генерируется множество вариантов разбиения текста на два чанка:
вариант 1: первый чанк включает в себя первое предложение, а второй чанк - оставшиеся предложения со второго по последнее;
вариант 2: первый чанк включает в себя первое и второе предложение, а второй чанк - оставшиеся предложения с третьего по последнее;
вариант 3: первый чанк включает в себя первое, второе и третье предложения, а второй чанк - оставшиеся предложения с четвёртого по последнее;
и так далее…
Шаг 3. С помощью кросс-энкодера (например,
Шаг 4. Итоговым вариантом разбиения текста на два чанка считается такой вариант, для которого семантическое сходство между первым и вторым чанками минимально.
Для каждого из двух выделенных чанков описанная процедура повторяется рекуррентно до тех пор, пока чанки не получатся достаточно маленькими (меньше, чем наперёд заданная максимально допустимая длина чанка).
Получилось, кажется, неплохо. Экспертная оценка тестовых текстов показывает весьма "семантическое" разбиение на чанки по границам семантических переходов.
Делал для себя, но если вдруг кому-то ещё этот умный чанкер окажется полезным, то буду рад 😊
https://github.com/bond005/smart_chunker
Я иногда занимаюсь построением RAG-пайплайнов и столкнулся с проблемой чанкинга. Часто чанкинг выполняется весьма примитивно: текст разбивается на группы токенов одинакового размера без учёта семантики. Люди же для повышения читабельности текстов делают свой "человеческий" чанкинг совершенно по-другому: на абзацы, то есть семантически однородные текстовые отрезки из одного или нескольких предложений ("сверхфразовые единства", как назвали бы это лингвисты).
Соответственно, я решил, что мне не помешает хороший, правильный чанкинг. Умный чанкинг. И я решил сделать его для себя. Основная идея умного чанкера - воспроизвести семантическое разбиение текста на чанки, характерное для людей, что повышает качество структуризации текстового корпуса и положительно влияет на работу RAG-системы.
Алгоритм умного чанкинга состоит из следующих шагов.
Шаг 1. Весь текст разбивается на отдельные предложения. Если язык текста - английский, то для разбиения на предложения используется функция sent_tokenize из библиотеки nltk, а если язык текста - русский, то для этой цели применяется функция sentenize из библиотеки razdel. Кроме того, дополнительным критерием завершения предложения может выступать наличие символа перехода на новую строку (опционально).
Шаг 2. Генерируется множество вариантов разбиения текста на два чанка:
вариант 1: первый чанк включает в себя первое предложение, а второй чанк - оставшиеся предложения со второго по последнее;
вариант 2: первый чанк включает в себя первое и второе предложение, а второй чанк - оставшиеся предложения с третьего по последнее;
вариант 3: первый чанк включает в себя первое, второе и третье предложения, а второй чанк - оставшиеся предложения с четвёртого по последнее;
и так далее…
Шаг 3. С помощью кросс-энкодера (например,
BAAI/bge-reranker-v2-m3
или Alibaba-NLP/gte-multilingual-reranker-base
) для каждого из вариантов разбиения текста на пару чанков считается семантическое сходство между первым и вторым чанками.Шаг 4. Итоговым вариантом разбиения текста на два чанка считается такой вариант, для которого семантическое сходство между первым и вторым чанками минимально.
Для каждого из двух выделенных чанков описанная процедура повторяется рекуррентно до тех пор, пока чанки не получатся достаточно маленькими (меньше, чем наперёд заданная максимально допустимая длина чанка).
Получилось, кажется, неплохо. Экспертная оценка тестовых текстов показывает весьма "семантическое" разбиение на чанки по границам семантических переходов.
Делал для себя, но если вдруг кому-то ещё этот умный чанкер окажется полезным, то буду рад 😊
https://github.com/bond005/smart_chunker
GitHub
GitHub - bond005/smart_chunker: This is a smart chunker for efficient preparing of long document for RAG
This is a smart chunker for efficient preparing of long document for RAG - bond005/smart_chunker
🔥7👍4
Audio
Обсудили новости в мире искусственного интеллекта на радио "Серебряный дождь" https://vk.com/silverrainradionsk
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
1. Классификация ИИ:
- Слабый и сильный искусственный интеллект.
- Суперинтеллект как следующий этап после общего ИИ.
2. Применение ИИ в робототехнике:
- Воплощенный ИИ (роботы, собаки).
- Примеры успешных проектов и исследований.
3. Проблемы и ошибки использования ИИ:
- Примеры некорректного применения ИИ (дизайн обложек книг).
- Юридические последствия использования ИИ в преступных целях.
4. Научные эксперименты с ИИ:
- Автоматизация рецензирования научных статей.
- Участие ИИ в международных конференциях.
5. Разработка российских ИИ-технологий:
- Новые версии языковых моделей от компаний Яндекс и Сбер.
- Перспективы выхода на мировой уровень.
6. Перспективы и вызовы:
- Возможности и ограничения российских разработок.
- Необходимость дальнейшего развития и совершенствования ИИ.
Ключевые слова:
Искусственный интеллект (ИИ),
Общий и сильный ИИ,
Суперинтеллект,
Робототехника,
Воплощенный ИИ,
Ошибки использования ИИ,
Рецензирование научных статей,
Российские ИИ-технологии,
Яндекс GPT 5 Pro,
Сбер GigaChat.
p.s. Помогали готовить пост системы ИИ Писец и Менон
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
1. Классификация ИИ:
- Слабый и сильный искусственный интеллект.
- Суперинтеллект как следующий этап после общего ИИ.
2. Применение ИИ в робототехнике:
- Воплощенный ИИ (роботы, собаки).
- Примеры успешных проектов и исследований.
3. Проблемы и ошибки использования ИИ:
- Примеры некорректного применения ИИ (дизайн обложек книг).
- Юридические последствия использования ИИ в преступных целях.
4. Научные эксперименты с ИИ:
- Автоматизация рецензирования научных статей.
- Участие ИИ в международных конференциях.
5. Разработка российских ИИ-технологий:
- Новые версии языковых моделей от компаний Яндекс и Сбер.
- Перспективы выхода на мировой уровень.
6. Перспективы и вызовы:
- Возможности и ограничения российских разработок.
- Необходимость дальнейшего развития и совершенствования ИИ.
Ключевые слова:
Искусственный интеллект (ИИ),
Общий и сильный ИИ,
Суперинтеллект,
Робототехника,
Воплощенный ИИ,
Ошибки использования ИИ,
Рецензирование научных статей,
Российские ИИ-технологии,
Яндекс GPT 5 Pro,
Сбер GigaChat.
p.s. Помогали готовить пост системы ИИ Писец и Менон
🔥4❤1
Иван, Даниил и Роман передают привет с Бали 🙂👋
❤6👍6🔥4😎4