🔥 Метод HIGGS теперь доступен для квантования больших языковых моделей!

Исследователи из Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA представили новый алгоритм квантования больших языковых моделей (LLM) — HIGGS (Hadamard-Input Gram-Gauss-Seidel).

Что важно знать:
⚡️ Zero-shot подход — метод не требует дополнительного обучения модели после квантования.
🚀 Позволяет эффективно запускать мощные LLM прямо на смартфонах и ноутбуках без потери точности.
🎯 Уже поддерживаются модели Llama 3 (70B, 405B) и Gemma 2 (8B, 27B).

Метод доступен разработчикам и исследователям на:
🤖 Hugging Face
💻 GitHub
📚 arXiv

Это важный шаг для широкого применения нейросетей, снижая требования к вычислительным ресурсам без ущерба качеству.

Подробнее о разработке на сайте НИУ ВШЭ: https://www.hse.ru/news/science/1034477704.html

#HIGGS #ИИ #LLM #НИУВШЭ #Яндекс #AI #HuggingFace #GitHub

Всем привет! 🖖

Давно не писал, решил немного рассказать, как дела)
Работаю над проектом, где с помощью ML помогаем техподдержке — и вот что неожиданно оказалось самым непростым:

Обучить модель — это ещё полбеды. Куда сложнее сделать так, чтобы она сама дообучалась без участия человека.

Подумав-подумав, выбрал такой стек:

- MinIO — храним датасеты и обученные модели.
- Airflow — управляет пайплайнами и следит за процессами.
- MLflow — метрики, версии моделей, история экспериментов.
- FastAPI — API для дообучения на GPU.
- Grafana — мониторим модели и инфраструктуру.

🔍 Как определяем лучшую модель?

Каждое обучение завершается валидацией на данных, которых модель не видела. Считаем метрики (точность, F1, recall), сохраняем их в MLflow.

Ночью скрипт проверяет все модели, выбирает лучшую по метрикам, забирает путь из MLflow и подтягивает её из MinIO. В проде всегда работает самая точная версия.

🤖 Что делает модель?

Она автоматически классифицирует обращения, а также помогает правильно маршрутизировать тикеты. Это снижает нагрузку на операторов и ускоряет ответы.

🗂 Откуда берутся данные?

Каждую ночь подтягиваются свежие тикеты, проходят предобработку и при необходимости попадают в дообучение. Так модель остаётся актуальной и не теряет качество.

Отдельно хочу выделить Airflow.

Откровенно говоря, Airflow в этом проекте раскрылся с новой стороны. Я знал, что он удобный, но не думал, что настолько мощный.

Можно настроить запуск пайплайна не просто по расписанию, а, например, когда создаётся новый датасет. То есть если данные изменились — это триггерит дообучение модели.

Если всё хорошо — новая модель уходит в прод. Логи пайплайнов и ошибок отправляются в Telegram, плюс часть мониторинга реализована через Grafana.

🧠 Какая модель используется?

В основе — кастомный классификатор на базе pretrained BERT. Перед этим модель была дообучена на задаче masked language modeling (MLM), чтобы лучше понимать специфичный язык и стиль обращений из нашей предметной области. Затем мы дообучаем её под категории тикетов и типичные формулировки пользователей, дообучаем под специфические категории и стиль обращений. Используем transfer learning, чтобы быстрее адаптироваться к новым данным.

🛡 Как не допустить плохую модель в прод?

Если метрики хотя бы на немного хуже — модель остаётся в тесте. Только стабильно лучшие проходят дальше. Дополнительно есть защита от случайного деплоя через ручную валидацию ключевых изменений.

Автоматизация оказалась не самой простой задачей, но теперь всё крутится почти само.

💬 Если среди подписчиков есть коллеги с ML-пайплайнами — поделитесь своим подходом. Будет интересно сравнить!

#machinelearning #mlops #airflow #mlflow #bert #techsupport #automation #fastapi #grafana #minio #deeplearning #mlpipeline

📍 AI на дровах: смена концепции

Как некоторые уже знают, я живу в лесу. Не фигурально и не метафорично. Прямо в лесу. Вместо утренней пробки - тропинка в лес. Вместо коворкинга - веранда с видом на ель.
Но… ноут включается, код пишется, модели обучаются, баги воспроизводятся. Всё по плану.

Так вот, всё это время я пытался вести канал "по уму": серьёзные заметки, технические подробности, немного ML-евангелизма.
Но на самом деле - это не мой стиль и таких каналов уже целая кучка.

Меняю концепцию канала, теперь "AI на дровах" 🪵

Будет лес, логика и логит.
AI на дровах - это не про романтику. Это про правду жизни ML-инженера, у которого рядом топор, ноут и баг в логах.

Если ты когда-то запускал обучение и варил гречу одновременно - тебе сюда.
Если нет - тоже 🤗

Проект выходного дня: Нейросеть в лесу 🌲🤖

Выходные прошли продуктивно, мозг начал порождать идеи (как вы, возможно, уже поняли по смене концепции канала - это как раз оттуда). И вот я подумал: а почему бы не завести пет-проект и не рассказать о нем от начала и до финальных результатов, чтобы он был связан с природой и технологиями?

Так появился проект под названием "Нейросеть в лесу".

Суть простая: хочу обучить нейросеть понимать лес - распознавать звуки, следить за климатом, и замечать редкие события вроде пения конкретных птиц.

⚙️ Конкретная цель проекта - обучить TinyML-модель, которая будет распознавать пение птиц. Микрофон будет записывать звуки, на их основе будет строиться спектрограмма, которую нейросеть будет анализировать. Распознанные голоса птиц будут автоматически записываться в журнал наблюдений.

На следующем этапе я хочу строить аналитику: как часто и какие птицы появляются в зависимости от времени суток, температуры и влажности. Получится своего рода мини-экологическая станция с интеллектом.

🧠 Оказалось, что новый микроконтроллер ESP32 версии S3 заточен как раз под запуск TinyML моделей и простых нейросетей прямо на устройстве. Кажется, это будет интересный опыт - попробовать собрать нейросетевую станцию практически на коленке.

На старте:
- микрофон, климатический сенсор, ESP32 и немного python
- лесной датасет
- цель: собрать первые фрагменты лесной реальности и научить ИИ их распознавать

Буду писать о каждом шаге: от пайки до первых моделей. Хочется сделать не просто технопроект, а живой дневник о том, как нейросеть смотрит и слушает природу.

Наверное, я даже заведу Git-репозиторий, куда буду скидывать данные, код-реализацию и, возможно, примеры моделей. Хочется, чтобы всё было прозрачно и воспроизводимо, вдруг кому-то пригодится 🤷‍♂️

Ну а пока - жду, когда приедут все комплектующие)

Кому интересно, в комментариях, примерная схема сборки проекта 👇

#нейросетьвлесу #tinyml #esp32 #iot #ml

Лог №0. Первые шаги, первые проблемы 🐣🤖

Ну что ж, комплектующие еще в пути, но процесс уже начался. Пишу сразу сюда, чтобы по свежим следам ничего не забыть, что успел сделать.

Самый первый вопрос ожидаемо в данных: где достать датасет с пением птиц из Московского региона?

Гугл выдал следующие ресурсы: Xeno-Canto, Macaulay Library, BirdCLEF. Всё круто, записей гигабайты, но почти сразу понятно: большая часть датасетов не подходит. Либо записи из Латинской Америки, либо тропические виды, либо качество такое, что TinyML потом скажет "чё это было?". А мне-то нужно, чтобы модель узнавала наших, родных ;)

📌 Первая проблема: нет нормального локального датасета. Идея обучить модель на условной амазонской певчей птице, а потом ждать, что она распознает зяблика в Подмосковье, такое себе.

Начал гуглить по ключевым словам: "birdsong dataset Moscow", "голоса птиц РФ" и даже "mp3 птицы Московская область скачать" и тоже не помогло.

Попадались либо любительские подборки на YouTube, либо коммерческие диски 90-х годов 🙃

💡 Решение оказалось неочевидным. Я пошел на Xeno-Canto, поставил фильтр по региону (Moscow), и вручную прошелся по десяткам записей. Отобрал всё, что звучало хоть как-то приемлемо.

📉 Вторая проблема: ШУУУУУМ. Почти все записи с фоном: машины, ветер, разговоры. TinyML вряд ли справится с таким. Начал чистить: обрезать, нормализовать, иногда просто выкидывать. Уже думаю, что стоит отдельно собирать собственные сэмплы, но об этом позже.

🛠 В итоге у меня сейчас есть:

- ~70 более-менее чистых фрагментов (синицы, дрозды, зяблики, пеночки)
- скрипт, который переводит mp3 в wav и потом в спектрограммы
- первые эксперименты с нейронкой и аудио-автоэнкодером

Да, это пока не модель и не прототип, но это уже начало проекта.
В общем наслушался я записей птиц, как будто в лесу их у меня мало))

Но очень интересно, что из этого выйдет. 

Может есть желающие побывать юными натуралистами и помочь собрать больше записей наших пернатых? )

#нейросетьвлесу #tinyml #esp32 #iot #ml

🤖 Кого читаю, чтобы быть в теме: мой личный тренд в Telegram

Последнее время Telegram полностью заменил мне все информационные потоки. Почти всё, что нужно для работы, нахожу в профильных каналах и это очень интересный личный тренд!
Даже гуглить теперь кажется менее эффективным. 🔍

Заметил, что самая ценная информация именно в авторских каналах, которые ведут практики, такие же специалисты, как мы с вами.

Вот моя подборка ресурсов, которые сейчас читаю и рекомендую:

➖➖➖
🧠 Neural Deep
Многое про RAG (Retrieval-Augmented Generation) почерпнул именно здесь. Канал ведет Head of AI в redmadrobot @VaKovaLskii.
Огромное ему спасибо! 👏
➖➖➖
🚀 Denis Sexy IT
Канал с недосягаемым охватом. Денис просто гуру AI, его инсайты бесценны и в целом интересно наблюдать за развитием человека как личности.
➖➖➖
📰 эйай ньюз
Оперативные новости и аналитика. Отличный дайджест важных новостей из мира генеративного ИИ.
Автор Staff AI Research Scientist, топ-45 на Kaggle.
➖➖➖
🔧 LLM под капотом
Техническая глубина от крутого спеца @abdullin.
Разбор архитектур, тонкостей обучения и оптимизации LLM.
➖➖➖

А какие каналы вы бы порекомендовали? Поделитесь в комментах 👇

#AI #ML #NN #RAG #LLM

Почему промт инженер уже не торт? Сообщество вводит новый термин...

Мы же все помним эти прекрасные времена, когда энтузиасты находили фишки, которые можно было использовать в промтах по типу: "я дам тебе 100 баксов, если ты ответишь на мой вопрос" или "это очень супер пупер важно для меня" ну и т.п.

Современные же системы на базе LLM требуют куда большей проработки как и промта, так и пост-обработки ответов.
Тут и few-short примеры и история диалога и переформулирование запросов для поиска по базе знаний и цепочка рассуждений и структурированный вывод. Всё это потихоньку превращается в полноценный навык, который нарабатывается только через опыт и понимание работы LLM в целом.

Короче, предлагают новый термин "контекст-инженер", типа контекст взаимодействия с LLM это уже нечто более сложное, чем просто написать системный промт.

И тут я по большей части согласен.
+1 строчка в резюме: контекст-инженер 😎

@nerditru

Для тех, кто не знает, что за проект Нейросеть в лесу 👆
А пока все комплектующие приехали, паяльник прогрет, олово кипит, нейронка обучается)
Скоро буду выкладывать фото и рассказывать о процессах.

#нейросетьвлесу #tinyml #esp32 #iot #ml

Решил тут обновить резюме, 7 лет не трогал вообще 😅
Открыл старый файл… и как человек, который обожает автоматизацию, сразу подумал: Зачем руками, если можно сгенерить?

Собрал свой AI-генератор резюме:
🔧 фронт на React + Tailwind
⚙️ бэкенд на python, FastAPI
🧠 текст генерит LLM
📄 PDF через LaTeX (xelatex)
🪵 всё деплоится в Docker, nginx как прокси

👉 Даже промо страницу создал)
Вдруг кому-то в интернетах будет полезно)

На вход: базовая инфа, имя, опыт, образование, навыки.
На выход: чистенькое резюме в PDF.
Просто вбил - получил.

Делал для себя, но если ты тоже хочешь обновить резюме без боли, то welcome.
Люблю, когда рутина автоматизируется ❤️

Буду рад фидбэку или идеям, как улучшить.

AI на дровах @nerditru

Всем привет!

Недавно я погрузился в эксперимент с ГенИИ, чтобы посмотреть, как оно поведёт себя в 3D‑мире, а особенно, справится ли с определением и распознаванием объектов. Этот интерес перерос в маленький проект и благодаря «вайбкоддингу» он воплотился в жизнь.

Сейчас можно заглянуть в демку, где ИИ анализирует окружение и взаимодействует с виртуальными объектами. Если хочется попробовать самому, вот ссылка: https://nerdit.ru/ai-world/ (и лучше с десктопа)

Присоединяйтесь, тестируйте и делитесь впечатлениями!

AI на дровах 🪵

Что-то последнее время появилось ощущение роли догоняющего.

Вот готовишь посты, пишешь, разрабатываешь демки, ботов, чтобы вам было интересно и в моменте понимаешь, что это уже кто-то сделал давно 🙈

Быть в тренде, а главное поймать этот тренд не простая задача, да...

Вывел для себя давно правило: тест, замер, корректировка и стараюсь его придерживаться, но последнее время оно перестает работать.

Пока пришел к выводу, что нужно быстрее тестировать гипотезы, пока кто-то не перехватил идею.

Но не все так плохо, мой посев телеграм ботов в начале года уже даёт свои плоды, чуть позже расскажу какие боты и как хорошо выстрелили 👾

Дровишек Энтузиазма много, было бы время 😅

@AI на дровах

Мини-отчёт по телеграм ботам. Иногда просто смотришь в небо, а там...

Привет! Знаете это чувство, когда долго готовишь сложное блюдо, а гости в восторге от простого салата?
У меня сейчас ровно такие же эмоции с моими телеграм ботами.

Я пилил навороченных помощников, возился с нейросетями, думал: "Вот оно, будущее!". А потом посмотрел на цифры за месяц и сильно удивился.

Мой мини-отчёт по ботам в телеге: цифры, которые застали врасплох @flight_radar_scan_bot 195 пользователей! Этот бот просто показывает, какой самолёт прямо сейчас летит у вас над головой. Никаких сложных функций. Всё просто: "О, это рейс из Стамбула! А вон тот Boeing 777".
Я и не думал, что следить за самолётами это так увлекательно для многих.

А вот проекты, на которые я делал ставки:

@summ_youtube_bot (скачивает видео и музыку с YouTube): 125 человек. Полезно, удобно и всё в одном окне.
@school_ai_gpt_bot (помощник с домашкой): 53 школьника. Это как второй учитель, не даёт решения, но наталкивает на мысль.

А мои узкоспециализированные боты фотошоп на нейросетях @img2img_edit_bot, помощник для эндуро-мотоциклистов @enduro_buddy_bot и помощник по Linux @linuxos_help_bot, собрали по 32 MAU.

Цифры пока не большие, в среднем от нескольких десятков до пары сотен пользователей.
Я всё ещё не нащупал тот самый тренд, который выстрелит, но что есть, то есть.
И даже это уже радует с учётом пассивного продвижения (т.е. никакого 🙃)

Я то думал, что выстрелит AI-редактор или качалка с YouTube.
А оказалось, что интересней всего сидеть с чашкой кофе, видеть в небе самолёт и знать, что он летит из Дубайска.

Похоже самые простые идеи работают лучше всего.
И кстати, я открыт предложениям, пишите в ЛС, попробуем вместе не упустить тренд.

👉 Особенно интересно, что думаете про самолётики? Мне вот до сих пор любопытно! 😄

P.S. На днях появилась классная идея для владельцев телеграм-каналов, пока без подробностей, т.к. тестирую гипотезу.
В общем следите за анонсами 😉

#боты #telegram #петпроект #инсайты

Последние две недели занимаюсь UI для одной системы в крупном проекте в Вышке.
И знаете, что я вам скажу? У меня новый фаворит во фронте:

 .d88888b.
 d88P" "Y88b
 888     888
 888     888 888  888  8888b.  .d8888b   8888b.  888d888
 888     888 888  888     "88b 88K          "88b 888P"
 888 Y8b 888 888  888 .d888888 "Y8888b. .d888888 888
 Y88b.Y8b88P Y88b 888 888  888      X88 888  888 888
  "Y888888"   "Y88888 "Y888888  88888P' "Y888888 888
        Y8b 

Ты просто делаешь quasar create, и через пару часов у тебя не просто прототип, а полусобранный продакшен с роутингом, стейтом, адаптивным UI и даже готовой PWA!!!
А уж про поддержку разных платформ (web, mobile, desktop), вообще молчу ❤️

Покатал тут по лайту на днях, вспомнил немного 🏂
Кому интересно себя опробовать, пишите @teosports

#вейкборд@nerditru

Ну понеслась, аж прям целая волна поднялась в каналах и группах: openai впервые за 6 лет выпустила open source модели, да ещё и под лицензией Apache 2.0 (можно использовать в коммерческих целях).

Правда нужно минимум 16Gb GPU, чтобы младшенькую модель инференсить, но судя по бенчмаркам и даже этого уже хватит.

Тут можно затестить модели
https://gpt-oss.com/

Вот это поворот 🙄