Тут в соседнем канале запостили про https://tv.garden решил поделиться, сам тв не смотрю, но тут исследовательский интерес 🙃
Можно "попутешествовать" по телеканалам разных (похоже всех) стран и посмотреть, что сейчас показывают, например в Индии 🇮🇳
Можно "попутешествовать" по телеканалам разных (похоже всех) стран и посмотреть, что сейчас показывают, например в Индии 🇮🇳
👍2🔥1
Почти всё последнее время варюсь в задаче мультиклассовой классификации тестовых данных.
Хочу поделиться инсайтом (хотя, может, для кого-то это и очевидно).
🔑 Самое важное в любой ML-задаче — это данные. Чем лучше вы подготовите исходный датасет, тем лучше и стабильнее будет обучаться модель. Очистка — это только первый шаг. Тут важно учитывать особенности самой модели: cased/uncased, максимальная длина токенов, распределение классов и прочие нюансы.
Но один из самых недооценённых этапов — оптимизация датасета. Особенно, если у вас не 10к строк, а, скажем, как у меня — почти 200к.
💡 Что я сделал: применил кластеризацию KMeans на эмбеддингах, чтобы "сжать" датасет и отобрать наиболее репрезентативные примеры. Конкретно:
- Разбил данные на кластеры по эмбеддингам;
- Для каждого класса взял по 5000 наиболее типичных примеров (ближайших к центру кластера);
- Ввёл score threshold = 0.5, чтобы отсеять шумные и нетипичные точки.
📈 В итоге получил компактный, чистый и сбалансированный датасет, который реально помог модели лучше обобщать и ускорил обучение.
Если кто-то использует похожие подходы — делитесь, интересно будет сравнить идеи 👇
Хочу поделиться инсайтом (хотя, может, для кого-то это и очевидно).
🔑 Самое важное в любой ML-задаче — это данные. Чем лучше вы подготовите исходный датасет, тем лучше и стабильнее будет обучаться модель. Очистка — это только первый шаг. Тут важно учитывать особенности самой модели: cased/uncased, максимальная длина токенов, распределение классов и прочие нюансы.
Но один из самых недооценённых этапов — оптимизация датасета. Особенно, если у вас не 10к строк, а, скажем, как у меня — почти 200к.
💡 Что я сделал: применил кластеризацию KMeans на эмбеддингах, чтобы "сжать" датасет и отобрать наиболее репрезентативные примеры. Конкретно:
- Разбил данные на кластеры по эмбеддингам;
- Для каждого класса взял по 5000 наиболее типичных примеров (ближайших к центру кластера);
- Ввёл score threshold = 0.5, чтобы отсеять шумные и нетипичные точки.
📈 В итоге получил компактный, чистый и сбалансированный датасет, который реально помог модели лучше обобщать и ускорил обучение.
Если кто-то использует похожие подходы — делитесь, интересно будет сравнить идеи 👇
👍2
🛠 Как я организовал оркестрацию данных с помощью Airflow
Недавно собрал пайплайн на Apache Airflow для автоматизации обработки батчей данных. Вот как это устроено:
📦 Каждый батч (например, 2025_01, 2024_12 и т.д.) проходит через три стадии:
- Extract — тянем данные
- Preprocess — подготавливаем к сохранению
- Save — сохраняем в хранилище
⚙️ После завершения всех батчей запускаются финальные таски:
- optimize_clickhouse_table — оптимизация таблицы в ClickHouse
- cleanup_tmp_files — очистка временных файлов
Airflow отлично справляется с зависимостями и параллелизмом — как видно на скрине, задачи исполняются по мере готовности данных.
Теперь мониторинг и управление всем пайплайном занимает минуты, а не часы. Люблю, когда система работает за тебя! 💻⚡️
📲 Все алерты по фейлам летят мне в Telegram через кастомный callback + Telegram API. Уведомления чёткие — сразу вижу, на каком таске упало и с каким exception.
#DataEngineering #Airflow #ClickHouse #ETL #Automation
Недавно собрал пайплайн на Apache Airflow для автоматизации обработки батчей данных. Вот как это устроено:
📦 Каждый батч (например, 2025_01, 2024_12 и т.д.) проходит через три стадии:
- Extract — тянем данные
- Preprocess — подготавливаем к сохранению
- Save — сохраняем в хранилище
⚙️ После завершения всех батчей запускаются финальные таски:
- optimize_clickhouse_table — оптимизация таблицы в ClickHouse
- cleanup_tmp_files — очистка временных файлов
Airflow отлично справляется с зависимостями и параллелизмом — как видно на скрине, задачи исполняются по мере готовности данных.
Теперь мониторинг и управление всем пайплайном занимает минуты, а не часы. Люблю, когда система работает за тебя! 💻⚡️
#DataEngineering #Airflow #ClickHouse #ETL #Automation
🔥5👍2
🔥 Метод HIGGS теперь доступен для квантования больших языковых моделей!
Исследователи из Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA представили новый алгоритм квантования больших языковых моделей (LLM) — HIGGS (Hadamard-Input Gram-Gauss-Seidel).
Что важно знать:
⚡️ Zero-shot подход — метод не требует дополнительного обучения модели после квантования.
🚀 Позволяет эффективно запускать мощные LLM прямо на смартфонах и ноутбуках без потери точности.
🎯 Уже поддерживаются модели Llama 3 (70B, 405B) и Gemma 2 (8B, 27B).
Метод доступен разработчикам и исследователям на:
🤖 Hugging Face
💻 GitHub
📚 arXiv
Это важный шаг для широкого применения нейросетей, снижая требования к вычислительным ресурсам без ущерба качеству.
Подробнее о разработке на сайте НИУ ВШЭ: https://www.hse.ru/news/science/1034477704.html
#HIGGS #ИИ #LLM #НИУВШЭ #Яндекс #AI #HuggingFace #GitHub
Исследователи из Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA представили новый алгоритм квантования больших языковых моделей (LLM) — HIGGS (Hadamard-Input Gram-Gauss-Seidel).
Что важно знать:
⚡️ Zero-shot подход — метод не требует дополнительного обучения модели после квантования.
🚀 Позволяет эффективно запускать мощные LLM прямо на смартфонах и ноутбуках без потери точности.
🎯 Уже поддерживаются модели Llama 3 (70B, 405B) и Gemma 2 (8B, 27B).
Метод доступен разработчикам и исследователям на:
🤖 Hugging Face
💻 GitHub
📚 arXiv
Это важный шаг для широкого применения нейросетей, снижая требования к вычислительным ресурсам без ущерба качеству.
Подробнее о разработке на сайте НИУ ВШЭ: https://www.hse.ru/news/science/1034477704.html
#HIGGS #ИИ #LLM #НИУВШЭ #Яндекс #AI #HuggingFace #GitHub
www.hse.ru
Большие языковые модели теперь не требуют мощных серверов
Ученые «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA совершили прорыв в оптимизации LLM. Лаборатория исследований искусственного интеллекта Yandex Research совместно с ведущими научно-технологическими…
👍2
AI на дровах 🪵
Почти всё последнее время варюсь в задаче мультиклассовой классификации тестовых данных. Хочу поделиться инсайтом (хотя, может, для кого-то это и очевидно). 🔑 Самое важное в любой ML-задаче — это данные. Чем лучше вы подготовите исходный датасет, тем лучше…
Всем привет! 🖖
Давно не писал, решил немного рассказать, как дела)
Работаю над проектом, где с помощью ML помогаем техподдержке — и вот что неожиданно оказалось самым непростым:
Обучить модель — это ещё полбеды. Куда сложнее сделать так, чтобы она сама дообучалась без участия человека.
Подумав-подумав, выбрал такой стек:
- MinIO — храним датасеты и обученные модели.
- Airflow — управляет пайплайнами и следит за процессами.
- MLflow — метрики, версии моделей, история экспериментов.
- FastAPI — API для дообучения на GPU.
- Grafana — мониторим модели и инфраструктуру.
🔍 Как определяем лучшую модель?
Каждое обучение завершается валидацией на данных, которых модель не видела. Считаем метрики (точность, F1, recall), сохраняем их в MLflow.
Ночью скрипт проверяет все модели, выбирает лучшую по метрикам, забирает путь из MLflow и подтягивает её из MinIO. В проде всегда работает самая точная версия.
🤖 Что делает модель?
Она автоматически классифицирует обращения, а также помогает правильно маршрутизировать тикеты. Это снижает нагрузку на операторов и ускоряет ответы.
🗂 Откуда берутся данные?
Каждую ночь подтягиваются свежие тикеты, проходят предобработку и при необходимости попадают в дообучение. Так модель остаётся актуальной и не теряет качество.
Отдельно хочу выделить Airflow.
Откровенно говоря, Airflow в этом проекте раскрылся с новой стороны. Я знал, что он удобный, но не думал, что настолько мощный.
Можно настроить запуск пайплайна не просто по расписанию, а, например, когда создаётся новый датасет. То есть если данные изменились — это триггерит дообучение модели.
Если всё хорошо — новая модель уходит в прод. Логи пайплайнов и ошибок отправляются в Telegram, плюс часть мониторинга реализована через Grafana.
🧠 Какая модель используется?
В основе — кастомный классификатор на базе pretrained BERT. Перед этим модель была дообучена на задаче masked language modeling (MLM), чтобы лучше понимать специфичный язык и стиль обращений из нашей предметной области. Затем мы дообучаем её под категории тикетов и типичные формулировки пользователей, дообучаем под специфические категории и стиль обращений. Используем transfer learning, чтобы быстрее адаптироваться к новым данным.
🛡 Как не допустить плохую модель в прод?
Если метрики хотя бы на немного хуже — модель остаётся в тесте. Только стабильно лучшие проходят дальше. Дополнительно есть защита от случайного деплоя через ручную валидацию ключевых изменений.
Автоматизация оказалась не самой простой задачей, но теперь всё крутится почти само.
💬 Если среди подписчиков есть коллеги с ML-пайплайнами — поделитесь своим подходом. Будет интересно сравнить!
#machinelearning #mlops #airflow #mlflow #bert #techsupport #automation #fastapi #grafana #minio #deeplearning #mlpipeline
Давно не писал, решил немного рассказать, как дела)
Работаю над проектом, где с помощью ML помогаем техподдержке — и вот что неожиданно оказалось самым непростым:
Обучить модель — это ещё полбеды. Куда сложнее сделать так, чтобы она сама дообучалась без участия человека.
Подумав-подумав, выбрал такой стек:
- MinIO — храним датасеты и обученные модели.
- Airflow — управляет пайплайнами и следит за процессами.
- MLflow — метрики, версии моделей, история экспериментов.
- FastAPI — API для дообучения на GPU.
- Grafana — мониторим модели и инфраструктуру.
🔍 Как определяем лучшую модель?
Каждое обучение завершается валидацией на данных, которых модель не видела. Считаем метрики (точность, F1, recall), сохраняем их в MLflow.
Ночью скрипт проверяет все модели, выбирает лучшую по метрикам, забирает путь из MLflow и подтягивает её из MinIO. В проде всегда работает самая точная версия.
🤖 Что делает модель?
Она автоматически классифицирует обращения, а также помогает правильно маршрутизировать тикеты. Это снижает нагрузку на операторов и ускоряет ответы.
🗂 Откуда берутся данные?
Каждую ночь подтягиваются свежие тикеты, проходят предобработку и при необходимости попадают в дообучение. Так модель остаётся актуальной и не теряет качество.
Отдельно хочу выделить Airflow.
Откровенно говоря, Airflow в этом проекте раскрылся с новой стороны. Я знал, что он удобный, но не думал, что настолько мощный.
Можно настроить запуск пайплайна не просто по расписанию, а, например, когда создаётся новый датасет. То есть если данные изменились — это триггерит дообучение модели.
Если всё хорошо — новая модель уходит в прод. Логи пайплайнов и ошибок отправляются в Telegram, плюс часть мониторинга реализована через Grafana.
🧠 Какая модель используется?
В основе — кастомный классификатор на базе pretrained BERT. Перед этим модель была дообучена на задаче masked language modeling (MLM), чтобы лучше понимать специфичный язык и стиль обращений из нашей предметной области. Затем мы дообучаем её под категории тикетов и типичные формулировки пользователей, дообучаем под специфические категории и стиль обращений. Используем transfer learning, чтобы быстрее адаптироваться к новым данным.
🛡 Как не допустить плохую модель в прод?
Если метрики хотя бы на немного хуже — модель остаётся в тесте. Только стабильно лучшие проходят дальше. Дополнительно есть защита от случайного деплоя через ручную валидацию ключевых изменений.
Автоматизация оказалась не самой простой задачей, но теперь всё крутится почти само.
💬 Если среди подписчиков есть коллеги с ML-пайплайнами — поделитесь своим подходом. Будет интересно сравнить!
#machinelearning #mlops #airflow #mlflow #bert #techsupport #automation #fastapi #grafana #minio #deeplearning #mlpipeline
🔥5
📍 AI на дровах: смена концепции
Как некоторые уже знают, я живу в лесу. Не фигурально и не метафорично. Прямо в лесу. Вместо утренней пробки - тропинка в лес. Вместо коворкинга - веранда с видом на ель.
Но… ноут включается, код пишется, модели обучаются, баги воспроизводятся. Всё по плану.
Так вот, всё это время я пытался вести канал "по уму": серьёзные заметки, технические подробности, немного ML-евангелизма.
Но на самом деле - это не мой стиль и таких каналов уже целая кучка.
Меняю концепцию канала, теперь "AI на дровах" 🪵
Будет лес, логика и логит.
AI на дровах - это не про романтику. Это про правду жизни ML-инженера, у которого рядом топор, ноут и баг в логах.
Если ты когда-то запускал обучение и варил гречу одновременно - тебе сюда.
Если нет - тоже 🤗
Как некоторые уже знают, я живу в лесу. Не фигурально и не метафорично. Прямо в лесу. Вместо утренней пробки - тропинка в лес. Вместо коворкинга - веранда с видом на ель.
Но… ноут включается, код пишется, модели обучаются, баги воспроизводятся. Всё по плану.
Так вот, всё это время я пытался вести канал "по уму": серьёзные заметки, технические подробности, немного ML-евангелизма.
Но на самом деле - это не мой стиль и таких каналов уже целая кучка.
Меняю концепцию канала, теперь "AI на дровах" 🪵
Будет лес, логика и логит.
AI на дровах - это не про романтику. Это про правду жизни ML-инженера, у которого рядом топор, ноут и баг в логах.
Если ты когда-то запускал обучение и варил гречу одновременно - тебе сюда.
Если нет - тоже 🤗
2🔥8
Проект выходного дня: Нейросеть в лесу 🌲🤖
Выходные прошли продуктивно, мозг начал порождать идеи (как вы, возможно, уже поняли по смене концепции канала - это как раз оттуда). И вот я подумал: а почему бы не завести пет-проект и не рассказать о нем от начала и до финальных результатов, чтобы он был связан с природой и технологиями?
Так появился проект под названием "Нейросеть в лесу".
Суть простая: хочу обучить нейросеть понимать лес - распознавать звуки, следить за климатом, и замечать редкие события вроде пения конкретных птиц.
⚙️ Конкретная цель проекта - обучить TinyML-модель, которая будет распознавать пение птиц. Микрофон будет записывать звуки, на их основе будет строиться спектрограмма, которую нейросеть будет анализировать. Распознанные голоса птиц будут автоматически записываться в журнал наблюдений.
На следующем этапе я хочу строить аналитику: как часто и какие птицы появляются в зависимости от времени суток, температуры и влажности. Получится своего рода мини-экологическая станция с интеллектом.
🧠 Оказалось, что новый микроконтроллер ESP32 версии S3 заточен как раз под запуск TinyML моделей и простых нейросетей прямо на устройстве. Кажется, это будет интересный опыт - попробовать собрать нейросетевую станцию практически на коленке.
На старте:
- микрофон, климатический сенсор, ESP32 и немного python
- лесной датасет
- цель: собрать первые фрагменты лесной реальности и научить ИИ их распознавать
Буду писать о каждом шаге: от пайки до первых моделей. Хочется сделать не просто технопроект, а живой дневник о том, как нейросеть смотрит и слушает природу.
Наверное, я даже заведу Git-репозиторий, куда буду скидывать данные, код-реализацию и, возможно, примеры моделей. Хочется, чтобы всё было прозрачно и воспроизводимо, вдруг кому-то пригодится 🤷♂️
Ну а пока - жду, когда приедут все комплектующие)
Кому интересно, в комментариях, примерная схема сборки проекта 👇
#нейросетьвлесу #tinyml #esp32 #iot #ml
Выходные прошли продуктивно, мозг начал порождать идеи (как вы, возможно, уже поняли по смене концепции канала - это как раз оттуда). И вот я подумал: а почему бы не завести пет-проект и не рассказать о нем от начала и до финальных результатов, чтобы он был связан с природой и технологиями?
Так появился проект под названием "Нейросеть в лесу".
Суть простая: хочу обучить нейросеть понимать лес - распознавать звуки, следить за климатом, и замечать редкие события вроде пения конкретных птиц.
⚙️ Конкретная цель проекта - обучить TinyML-модель, которая будет распознавать пение птиц. Микрофон будет записывать звуки, на их основе будет строиться спектрограмма, которую нейросеть будет анализировать. Распознанные голоса птиц будут автоматически записываться в журнал наблюдений.
На следующем этапе я хочу строить аналитику: как часто и какие птицы появляются в зависимости от времени суток, температуры и влажности. Получится своего рода мини-экологическая станция с интеллектом.
🧠 Оказалось, что новый микроконтроллер ESP32 версии S3 заточен как раз под запуск TinyML моделей и простых нейросетей прямо на устройстве. Кажется, это будет интересный опыт - попробовать собрать нейросетевую станцию практически на коленке.
На старте:
- микрофон, климатический сенсор, ESP32 и немного python
- лесной датасет
- цель: собрать первые фрагменты лесной реальности и научить ИИ их распознавать
Буду писать о каждом шаге: от пайки до первых моделей. Хочется сделать не просто технопроект, а живой дневник о том, как нейросеть смотрит и слушает природу.
Наверное, я даже заведу Git-репозиторий, куда буду скидывать данные, код-реализацию и, возможно, примеры моделей. Хочется, чтобы всё было прозрачно и воспроизводимо, вдруг кому-то пригодится 🤷♂️
Ну а пока - жду, когда приедут все комплектующие)
Кому интересно, в комментариях, примерная схема сборки проекта 👇
#нейросетьвлесу #tinyml #esp32 #iot #ml
🔥5👍4👏2
Лог №0. Первые шаги, первые проблемы 🐣🤖
Ну что ж, комплектующие еще в пути, но процесс уже начался. Пишу сразу сюда, чтобы по свежим следам ничего не забыть, что успел сделать.
Самый первый вопрос ожидаемо в данных: где достать датасет с пением птиц из Московского региона?
Гугл выдал следующие ресурсы: Xeno-Canto, Macaulay Library, BirdCLEF. Всё круто, записей гигабайты, но почти сразу понятно: большая часть датасетов не подходит. Либо записи из Латинской Америки, либо тропические виды, либо качество такое, что TinyML потом скажет "чё это было?". А мне-то нужно, чтобы модель узнавала наших, родных ;)
📌 Первая проблема: нет нормального локального датасета. Идея обучить модель на условной амазонской певчей птице, а потом ждать, что она распознает зяблика в Подмосковье, такое себе.
Начал гуглить по ключевым словам: "birdsong dataset Moscow", "голоса птиц РФ" и даже "mp3 птицы Московская область скачать" и тоже не помогло.
Попадались либо любительские подборки на YouTube, либо коммерческие диски 90-х годов 🙃
💡 Решение оказалось неочевидным. Я пошел на Xeno-Canto, поставил фильтр по региону (Moscow), и вручную прошелся по десяткам записей. Отобрал всё, что звучало хоть как-то приемлемо.
📉 Вторая проблема: ШУУУУУМ. Почти все записи с фоном: машины, ветер, разговоры. TinyML вряд ли справится с таким. Начал чистить: обрезать, нормализовать, иногда просто выкидывать. Уже думаю, что стоит отдельно собирать собственные сэмплы, но об этом позже.
🛠 В итоге у меня сейчас есть:
- ~70 более-менее чистых фрагментов (синицы, дрозды, зяблики, пеночки)
- скрипт, который переводит mp3 в wav и потом в спектрограммы
- первые эксперименты с нейронкой и аудио-автоэнкодером
Да, это пока не модель и не прототип, но это уже начало проекта.
В общем наслушался я записей птиц, как будто в лесу их у меня мало))
Но очень интересно, что из этого выйдет.
Может есть желающие побывать юными натуралистами и помочь собрать больше записей наших пернатых? )
#нейросетьвлесу #tinyml #esp32 #iot #ml
Ну что ж, комплектующие еще в пути, но процесс уже начался. Пишу сразу сюда, чтобы по свежим следам ничего не забыть, что успел сделать.
Самый первый вопрос ожидаемо в данных: где достать датасет с пением птиц из Московского региона?
Гугл выдал следующие ресурсы: Xeno-Canto, Macaulay Library, BirdCLEF. Всё круто, записей гигабайты, но почти сразу понятно: большая часть датасетов не подходит. Либо записи из Латинской Америки, либо тропические виды, либо качество такое, что TinyML потом скажет "чё это было?". А мне-то нужно, чтобы модель узнавала наших, родных ;)
📌 Первая проблема: нет нормального локального датасета. Идея обучить модель на условной амазонской певчей птице, а потом ждать, что она распознает зяблика в Подмосковье, такое себе.
Начал гуглить по ключевым словам: "birdsong dataset Moscow", "голоса птиц РФ" и даже "mp3 птицы Московская область скачать" и тоже не помогло.
Попадались либо любительские подборки на YouTube, либо коммерческие диски 90-х годов 🙃
💡 Решение оказалось неочевидным. Я пошел на Xeno-Canto, поставил фильтр по региону (Moscow), и вручную прошелся по десяткам записей. Отобрал всё, что звучало хоть как-то приемлемо.
📉 Вторая проблема: ШУУУУУМ. Почти все записи с фоном: машины, ветер, разговоры. TinyML вряд ли справится с таким. Начал чистить: обрезать, нормализовать, иногда просто выкидывать. Уже думаю, что стоит отдельно собирать собственные сэмплы, но об этом позже.
🛠 В итоге у меня сейчас есть:
- ~70 более-менее чистых фрагментов (синицы, дрозды, зяблики, пеночки)
- скрипт, который переводит mp3 в wav и потом в спектрограммы
- первые эксперименты с нейронкой и аудио-автоэнкодером
Да, это пока не модель и не прототип, но это уже начало проекта.
В общем наслушался я записей птиц, как будто в лесу их у меня мало))
Но очень интересно, что из этого выйдет.
Может есть желающие побывать юными натуралистами и помочь собрать больше записей наших пернатых? )
#нейросетьвлесу #tinyml #esp32 #iot #ml
❤3👍1🔥1
🤖 Кого читаю, чтобы быть в теме: мой личный тренд в Telegram
Последнее время Telegram полностью заменил мне все информационные потоки. Почти всё, что нужно для работы, нахожу в профильных каналах и это очень интересный личный тренд!
Даже гуглить теперь кажется менее эффективным. 🔍
Заметил, что самая ценная информация именно в авторских каналах, которые ведут практики, такие же специалисты, как мы с вами.
Вот моя подборка ресурсов, которые сейчас читаю и рекомендую:
➖➖➖
🧠 Neural Deep
Многое про RAG (Retrieval-Augmented Generation) почерпнул именно здесь. Канал ведет Head of AI в redmadrobot @VaKovaLskii.
Огромное ему спасибо! 👏
➖➖➖
🚀 Denis Sexy IT
Канал с недосягаемым охватом. Денис просто гуру AI, его инсайты бесценны и в целом интересно наблюдать за развитием человека как личности.
➖➖➖
📰 эйай ньюз
Оперативные новости и аналитика. Отличный дайджест важных новостей из мира генеративного ИИ.
Автор Staff AI Research Scientist, топ-45 на Kaggle.
➖➖➖
🔧 LLM под капотом
Техническая глубина от крутого спеца @abdullin.
Разбор архитектур, тонкостей обучения и оптимизации LLM.
➖➖➖
А какие каналы вы бы порекомендовали? Поделитесь в комментах 👇
#AI #ML #NN #RAG #LLM
Последнее время Telegram полностью заменил мне все информационные потоки. Почти всё, что нужно для работы, нахожу в профильных каналах и это очень интересный личный тренд!
Даже гуглить теперь кажется менее эффективным. 🔍
Заметил, что самая ценная информация именно в авторских каналах, которые ведут практики, такие же специалисты, как мы с вами.
Вот моя подборка ресурсов, которые сейчас читаю и рекомендую:
➖➖➖
🧠 Neural Deep
Многое про RAG (Retrieval-Augmented Generation) почерпнул именно здесь. Канал ведет Head of AI в redmadrobot @VaKovaLskii.
Огромное ему спасибо! 👏
➖➖➖
🚀 Denis Sexy IT
Канал с недосягаемым охватом. Денис просто гуру AI, его инсайты бесценны и в целом интересно наблюдать за развитием человека как личности.
➖➖➖
📰 эйай ньюз
Оперативные новости и аналитика. Отличный дайджест важных новостей из мира генеративного ИИ.
Автор Staff AI Research Scientist, топ-45 на Kaggle.
➖➖➖
🔧 LLM под капотом
Техническая глубина от крутого спеца @abdullin.
Разбор архитектур, тонкостей обучения и оптимизации LLM.
➖➖➖
А какие каналы вы бы порекомендовали? Поделитесь в комментах 👇
#AI #ML #NN #RAG #LLM
🔥4❤2👍2
Буквально вчера вышла новая txt/img2video модель Hailuo2 (по названию сразу же понятно, что китайская? )
Решил попробовать, как работает. Разработчики утверждают, что модель поддерживает сложную физику и телодвижения.
Промт:
Попробовать можно тут https://hailuoai.video
На старте дают бесплатные 500 монет, одно видео стоит 25🪙
#img2video #text2video
Решил попробовать, как работает. Разработчики утверждают, что модель поддерживает сложную физику и телодвижения.
Промт:
На основе этого селфи: мотоциклист в мотоэкипировке стоит в живописном поле на фоне низкого солнца. Постепенно он садится на свой мотоцикл, заводит его, фары загораются. Затем мотоциклист плавно трогается с места и уезжает вдоль пыльной просёлочной дороги в сторону закатного солнца. Камера плавно отъезжает вверх, показывая золотистый пейзаж, пока фигура мотоциклиста уменьшается на фоне оранжево-розового неба. Ветер слегка колышет траву.
Попробовать можно тут https://hailuoai.video
На старте дают бесплатные 500 монет, одно видео стоит 25
#img2video #text2video
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3😁2❤🔥1
Почему промт инженер уже не торт? Сообщество вводит новый термин...
Мы же все помним эти прекрасные времена, когда энтузиасты находили фишки, которые можно было использовать в промтах по типу: "я дам тебе 100 баксов, если ты ответишь на мой вопрос" или "это очень супер пупер важно для меня" ну и т.п.
Современные же системы на базе LLM требуют куда большей проработки как и промта, так и пост-обработки ответов.
Тут и few-short примеры и история диалога и переформулирование запросов для поиска по базе знаний и цепочка рассуждений и структурированный вывод. Всё это потихоньку превращается в полноценный навык, который нарабатывается только через опыт и понимание работы LLM в целом.
Короче, предлагают новый термин "контекст-инженер", типа контекст взаимодействия с LLM это уже нечто более сложное, чем просто написать системный промт.
И тут я по большей части согласен.
+1 строчка в резюме: контекст-инженер 😎
@nerditru
Мы же все помним эти прекрасные времена, когда энтузиасты находили фишки, которые можно было использовать в промтах по типу: "я дам тебе 100 баксов, если ты ответишь на мой вопрос" или "это очень супер пупер важно для меня" ну и т.п.
Современные же системы на базе LLM требуют куда большей проработки как и промта, так и пост-обработки ответов.
Тут и few-short примеры и история диалога и переформулирование запросов для поиска по базе знаний и цепочка рассуждений и структурированный вывод. Всё это потихоньку превращается в полноценный навык, который нарабатывается только через опыт и понимание работы LLM в целом.
Короче, предлагают новый термин "контекст-инженер", типа контекст взаимодействия с LLM это уже нечто более сложное, чем просто написать системный промт.
И тут я по большей части согласен.
+1 строчка в резюме: контекст-инженер 😎
@nerditru
❤2👍2🔥2👌1🍓1🎄1
AI на дровах 🪵
Проект выходного дня: Нейросеть в лесу 🌲🤖 Выходные прошли продуктивно, мозг начал порождать идеи (как вы, возможно, уже поняли по смене концепции канала - это как раз оттуда). И вот я подумал: а почему бы не завести пет-проект и не рассказать о нем от начала…
Для тех, кто не знает, что за проект Нейросеть в лесу 👆
А пока все комплектующие приехали, паяльник прогрет, олово кипит, нейронка обучается)
Скоро буду выкладывать фото и рассказывать о процессах.
#нейросетьвлесу #tinyml #esp32 #iot #ml
А пока все комплектующие приехали, паяльник прогрет, олово кипит, нейронка обучается)
Скоро буду выкладывать фото и рассказывать о процессах.
#нейросетьвлесу #tinyml #esp32 #iot #ml
🔥2
Решил тут обновить резюме, 7 лет не трогал вообще 😅
Открыл старый файл… и как человек, который обожает автоматизацию, сразу подумал: Зачем руками, если можно сгенерить?
Собрал свой AI-генератор резюме:
🔧 фронт на React + Tailwind
⚙️ бэкенд на python, FastAPI
🧠 текст генерит LLM
📄 PDF через LaTeX (xelatex)
🪵 всё деплоится в Docker, nginx как прокси
👉 Даже промо страницу создал)
Вдруг кому-то в интернетах будет полезно)
На вход: базовая инфа, имя, опыт, образование, навыки.
На выход: чистенькое резюме в PDF.
Просто вбил - получил.
Делал для себя, но если ты тоже хочешь обновить резюме без боли, то welcome.
Люблю, когда рутина автоматизируется ❤️
Буду рад фидбэку или идеям, как улучшить.
AI на дровах @nerditru
Открыл старый файл… и как человек, который обожает автоматизацию, сразу подумал: Зачем руками, если можно сгенерить?
Собрал свой AI-генератор резюме:
🔧 фронт на React + Tailwind
⚙️ бэкенд на python, FastAPI
🧠 текст генерит LLM
📄 PDF через LaTeX (xelatex)
🪵 всё деплоится в Docker, nginx как прокси
👉 Даже промо страницу создал)
Вдруг кому-то в интернетах будет полезно)
На вход: базовая инфа, имя, опыт, образование, навыки.
На выход: чистенькое резюме в PDF.
Просто вбил - получил.
Делал для себя, но если ты тоже хочешь обновить резюме без боли, то welcome.
Люблю, когда рутина автоматизируется ❤️
Буду рад фидбэку или идеям, как улучшить.
AI на дровах @nerditru
Nerd IT
AI-Генератор резюме
Создайте профессиональное резюме за 2 минуты — без стресса и шаблонов Word
1❤5👍3
🎉 Мега супер-пупер анонс: бот NeuroPix! 🤖
Я давно хотел себе простой, удобный фоторедактор: без сложных приложений, без промптов на английском и чтобы всё в пару кликов.
Ну и вот сделал и решил поделиться с вами)
Это такой AI-редактор фото, который:
📸 не судит тебя за селфи с утра,
🧠 думает быстрее нас с тобой,
🎨 и делает магию с фотками прямо в Telegram.
Что умеет?
- Удаляет всё лишнее (в том числе бывших с фоток)
- Делает мультяшки (чтобы ты был как в Pixar)
- Улучшает лицо (но не характер, увы)
- Меняет прическу (без риска пожалеть через 5 минут)
- И даже реставрирует бабушкины снимки 👵🖼
- Да и много чего ещё)
🧾 Никаких сложных промптов писать не нужно.
Просто отправь фото, выбери, что хочешь сделать и получи результат.
Если хочется быть конкретным, можешь добавить короткую инструкцию.
Работает как магия🪄
🔗 Попробовать тут: @NeuroPix
⚠️ Только для подписчиков канала.
🎯 Лимит 10 фото в день. Идеально, чтобы не зависнуть навсегда 😅
Я давно хотел себе простой, удобный фоторедактор: без сложных приложений, без промптов на английском и чтобы всё в пару кликов.
Ну и вот сделал и решил поделиться с вами)
Это такой AI-редактор фото, который:
📸 не судит тебя за селфи с утра,
🧠 думает быстрее нас с тобой,
🎨 и делает магию с фотками прямо в Telegram.
Что умеет?
- Удаляет всё лишнее (в том числе бывших с фоток)
- Делает мультяшки (чтобы ты был как в Pixar)
- Улучшает лицо (но не характер, увы)
- Меняет прическу (без риска пожалеть через 5 минут)
- И даже реставрирует бабушкины снимки 👵🖼
- Да и много чего ещё)
🧾 Никаких сложных промптов писать не нужно.
Просто отправь фото, выбери, что хочешь сделать и получи результат.
Если хочется быть конкретным, можешь добавить короткую инструкцию.
Работает как магия
🔗 Попробовать тут: @NeuroPix
⚠️ Только для подписчиков канала.
🎯 Лимит 10 фото в день. Идеально, чтобы не зависнуть навсегда 😅
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
NeuroPix
🤖 Умный AI-редактор фото в Telegram.
—-
🤖 Smart AI photo editor in Telegram.
—-
🤖 Smart AI photo editor in Telegram.
3🔥3🎉3
Media is too big
VIEW IN TELEGRAM
Всем привет!
Недавно я погрузился в эксперимент с ГенИИ, чтобы посмотреть, как оно поведёт себя в 3D‑мире, а особенно, справится ли с определением и распознаванием объектов. Этот интерес перерос в маленький проект и благодаря «вайбкоддингу» он воплотился в жизнь.
Сейчас можно заглянуть в демку, где ИИ анализирует окружение и взаимодействует с виртуальными объектами. Если хочется попробовать самому, вот ссылка: https://nerdit.ru/ai-world/ (и лучше с десктопа)
Присоединяйтесь, тестируйте и делитесь впечатлениями!
AI на дровах 🪵
Недавно я погрузился в эксперимент с ГенИИ, чтобы посмотреть, как оно поведёт себя в 3D‑мире, а особенно, справится ли с определением и распознаванием объектов. Этот интерес перерос в маленький проект и благодаря «вайбкоддингу» он воплотился в жизнь.
Сейчас можно заглянуть в демку, где ИИ анализирует окружение и взаимодействует с виртуальными объектами. Если хочется попробовать самому, вот ссылка: https://nerdit.ru/ai-world/ (и лучше с десктопа)
Присоединяйтесь, тестируйте и делитесь впечатлениями!
AI на дровах 🪵
🔥1
Что-то последнее время появилось ощущение роли догоняющего.
Вот готовишь посты, пишешь, разрабатываешь демки, ботов, чтобы вам было интересно и в моменте понимаешь, что это уже кто-то сделал давно 🙈
Быть в тренде, а главное поймать этот тренд не простая задача, да...
Вывел для себя давно правило: тест, замер, корректировка и стараюсь его придерживаться, но последнее время оно перестает работать.
Пока пришел к выводу, что нужно быстрее тестировать гипотезы, пока кто-то не перехватил идею.
Но не все так плохо, мой посев телеграм ботов в начале года уже даёт свои плоды, чуть позже расскажу какие боты и как хорошо выстрелили 👾
Дровишек Энтузиазма много, было бы время 😅
@AI на дровах
Вот готовишь посты, пишешь, разрабатываешь демки, ботов, чтобы вам было интересно и в моменте понимаешь, что это уже кто-то сделал давно 🙈
Быть в тренде, а главное поймать этот тренд не простая задача, да...
Вывел для себя давно правило: тест, замер, корректировка и стараюсь его придерживаться, но последнее время оно перестает работать.
Пока пришел к выводу, что нужно быстрее тестировать гипотезы, пока кто-то не перехватил идею.
Но не все так плохо, мой посев телеграм ботов в начале года уже даёт свои плоды, чуть позже расскажу какие боты и как хорошо выстрелили 👾
@AI на дровах
Telegram
AI на дровах 🪵
Привет! Меня зовут Семён, я работаю в сфере ML и аналитики данных, пишу в блог nerdit.ru статьи о своем опыте и том, что может пригодиться начинающим в начале их пути изучения больших данных.
👾HSE ML Unit Head⚡
👾HSE ML Unit Head⚡
👍4❤🔥1❤1
Мини-отчёт по телеграм ботам. Иногда просто смотришь в небо, а там...
Привет! Знаете это чувство, когда долго готовишь сложное блюдо, а гости в восторге от простого салата?
У меня сейчас ровно такие же эмоции с моими телеграм ботами.
Я пилил навороченных помощников, возился с нейросетями, думал: "Вот оно, будущее!". А потом посмотрел на цифры за месяц и сильно удивился.
Мой мини-отчёт по ботам в телеге: цифры, которые застали врасплох @flight_radar_scan_bot195 пользователей! Этот бот просто показывает, какой самолёт прямо сейчас летит у вас над головой. Никаких сложных функций. Всё просто: "О, это рейс из Стамбула! А вон тот Boeing 777".
Я и не думал, что следить за самолётами это так увлекательно для многих.
А вот проекты, на которые я делал ставки:
@summ_youtube_bot (скачивает видео и музыку с YouTube): 125 человек. Полезно, удобно и всё в одном окне.
@school_ai_gpt_bot (помощник с домашкой): 53 школьника. Это как второй учитель, не даёт решения, но наталкивает на мысль.
А мои узкоспециализированные боты фотошоп на нейросетях @img2img_edit_bot, помощник для эндуро-мотоциклистов @enduro_buddy_bot и помощник по Linux @linuxos_help_bot, собрали по 32 MAU.
Цифры пока не большие, в среднем от нескольких десятков до пары сотен пользователей.
Я всё ещё не нащупал тот самый тренд, который выстрелит, но что есть, то есть.
И даже это уже радует с учётом пассивного продвижения (т.е. никакого 🙃)
Я то думал, что выстрелит AI-редактор или качалка с YouTube.
А оказалось, что интересней всего сидеть с чашкой кофе, видеть в небе самолёт и знать, что он летит из Дубайска.
Похоже самые простые идеи работают лучше всего.
И кстати, я открыт предложениям, пишите в ЛС, попробуем вместе не упустить тренд.
👉 Особенно интересно, что думаете про самолётики? Мне вот до сих пор любопытно! 😄
P.S. На днях появилась классная идея для владельцев телеграм-каналов, пока без подробностей, т.к. тестирую гипотезу.
В общем следите за анонсами 😉
#боты #telegram #петпроект #инсайты
Привет! Знаете это чувство, когда долго готовишь сложное блюдо, а гости в восторге от простого салата?
У меня сейчас ровно такие же эмоции с моими телеграм ботами.
Я пилил навороченных помощников, возился с нейросетями, думал: "Вот оно, будущее!". А потом посмотрел на цифры за месяц и сильно удивился.
Мой мини-отчёт по ботам в телеге: цифры, которые застали врасплох @flight_radar_scan_bot
Я и не думал, что следить за самолётами это так увлекательно для многих.
А вот проекты, на которые я делал ставки:
@summ_youtube_bot (скачивает видео и музыку с YouTube): 125 человек. Полезно, удобно и всё в одном окне.
@school_ai_gpt_bot (помощник с домашкой): 53 школьника. Это как второй учитель, не даёт решения, но наталкивает на мысль.
А мои узкоспециализированные боты фотошоп на нейросетях @img2img_edit_bot, помощник для эндуро-мотоциклистов @enduro_buddy_bot и помощник по Linux @linuxos_help_bot, собрали по 32 MAU.
Цифры пока не большие, в среднем от нескольких десятков до пары сотен пользователей.
Я всё ещё не нащупал тот самый тренд, который выстрелит, но что есть, то есть.
И даже это уже радует с учётом пассивного продвижения (т.е. никакого 🙃)
Я то думал, что выстрелит AI-редактор или качалка с YouTube.
А оказалось, что интересней всего сидеть с чашкой кофе, видеть в небе самолёт и знать, что он летит из Дубайска.
Похоже самые простые идеи работают лучше всего.
И кстати, я открыт предложениям, пишите в ЛС, попробуем вместе не упустить тренд.
👉 Особенно интересно, что думаете про самолётики? Мне вот до сих пор любопытно! 😄
P.S. На днях появилась классная идея для владельцев телеграм-каналов, пока без подробностей, т.к. тестирую гипотезу.
В общем следите за анонсами 😉
#боты #telegram #петпроект #инсайты
👍6❤2🔥2