AI на дровах 🪵
237 subscribers
76 photos
19 videos
1 file
130 links
Привет! Меня зовут Семён, я работаю в сфере ML и аналитики данных, пишу в блог nerdit.ru статьи о своем опыте и том, что может пригодиться начинающим в начале их пути изучения больших данных.

👾HSE ML Unit Head⚡️
❤️Litres DS Team
Download Telegram
🚀 Как создать Telegram бота с помощью библиотеки Aiogram 3?

Хотите создать своего Telegram бота и не знаете, с чего начать?
В новом посте подробно рассказываю, как с нуля разработать бота на базе библиотеки Aiogram 3!

🔥 Узнайте:
- Как создать Telegram бота с помощью библиотеки Aiogram 3
- Как настроить бота в Telegram с BotFather
- Почему Aiogram 3 — это отличный выбор для разработки
- Как добавить команды, обработку сообщений и клавиатуры
- Примеры кода, готовые к использованию!

Не теряйте времени — переходите по ссылке и начните создавать своих ботов уже сегодня!

👉 Пост тут: Как создать Telegram бота с помощью библиотеки Aiogram 3

#aiogram #telegramBot #программирование #python
11👍1
Что такое Random Seed и зачем он нужен? 🌱

Random Seed — это начальное значение для генератора случайных чисел. Несмотря на название, компьютеры создают псевдослучайные числа — последовательности, которые кажутся случайными, но воспроизводимы при использовании одного и того же seed.

Как работает Random Seed? 🔄

Seed определяет, какие числа будут сгенерированы. Например, в Python:

import random
random.seed(42)
print(random.random())


Каждый раз при одинаковом seed генерация чисел будет идентичной.
Почему это важно? 🔑

📍 Воспроизводимость. В исследованиях и машинном обучении важно воспроизвести результаты. Один и тот же seed гарантирует одинаковые выводы.
📍 Тестирование. Для проверки программ, которые зависят от случайных данных, seed помогает получить повторяемые результаты.
📍 Игры и приложения. Seed позволяет воссоздавать случайно сгенерированные уровни или события.
📍 Безопасность. В некоторых случаях seed используется в шифровании, но его знание может сделать систему уязвимой.

Как выбирать seed? 🎲

Часто используется текущее время, если seed не задан явно. Но для воспроизводимости лучше задавать seed вручную.
Итог 📝

Random Seed важен для воспроизводимости, особенно в науке и программировании. Он контролирует случайность и гарантирует предсказуемость, сохраняя элемент "случайности".
👍3
Магическое число 42 🪬

Число 42 часто используется в качестве значения random seed не просто случайно, а по культурным причинам.

Оно стало популярным благодаря знаменитой книге Дугласа Адамса «Автостопом по Галактике» (The Hitchhiker’s Guide to the Galaxy). В книге говорится, что 42 — это "Ответ на главный вопрос жизни, вселенной и всего такого", который был вычислен суперкомпьютером после семи с половиной миллионов лет вычислений. Однако, при этом, никто не знал, каков был сам вопрос.

Причины использования 42 в программировании:

1. Поп-культурный символ: После выхода книги и фильма, число 42 стало символом абсурдного ответа на великие вопросы и получило культовый статус среди фанатов научной фантастики и программистов.

2. Лёгкость запоминания: Благодаря своей известности, это число легко вспомнить и часто используется как простое, но "весёлое" значение по умолчанию в примерах кода и при установке random seed.

3. Традиция: Со временем 42 стало настолько популярным, что многие разработчики и исследователи в машинном обучении используют его для демонстрации или в обучающих материалах.

Таким образом, использование 42 — это своеобразная дань юмору и традиции в мире программирования и науки.

#ml #python #random
🔥3
🔥 Запустил на nerdit.ru новый инструмент для выбора и сравнения моделей машинного обучения 🚀

Мне частенько самому приходилось искать, какую модель и для какой задачи лучше выбрать.
Важно еще было понимать, какая модель лучше справится на том наборе данных который есть, сколько времени займёт обучение, какой фреймворк использовать.

Собрал все в одну базу данных и делюсь с вами 🙏

💡 Подробности о возможностях сервиса:

- Автоматический подбор моделей под задачи: классификация, регрессия, кластеризация, генерация текста, обработка изображений и другие 🎯
- Встроенный рейтинг моделей 📈: в зависимости от выбранного приоритета — точности или скорости обучения, система предлагает наилучшие варианты для работы
- Возможность сравнить различные модели по фреймворкам, размерам датасета, времени обучения и другим важным характеристикам
- Подробное описание каждой модели с примерами кода, что облегчает интеграцию в проект 📜💻

Инструмент позволяет быстро подобрать оптимальную модель для разных задач машинного обучения и провести их подробное сравнение на основе самых важных параметров.

https://nerdit.ru/compare-ml-models/

#машиннообучение #AI #ML #data #автоматизация #сравнениемоделей #DataScience
🔥2
Как часто, сидя на даче и глядя в небо, вы задумывались, куда летит пролетающий самолёт?

Теперь у вас есть возможность узнать это с лёгкостью! ✈️

Познакомьтесь с FlightRadarBot — удобным Telegram-ботом для любителей авиации и всех, кто интересуется полётами! С помощью бота вы сможете в режиме реального времени отслеживать самолёты, которые пролетают прямо над вами, и получать подробную информацию о каждом рейсе.
Что умеет бот? 🤖

📍 Уведомления о самолётах рядом с вами: Просто отправьте свою геолокацию, и бот покажет все рейсы, пролетающие в указанном радиусе.
✈️ Полная информация о рейсе: Узнавайте позывной самолёта, высоту, скорость, маршрут, а также аэропорты вылета и прилёта.
🗺 Интерактивная карта: Одним нажатием вы можете открыть карту с точным местоположением самолёта прямо в Telegram.
Настройка частоты уведомлений: Выбирайте удобный интервал для обновления данных — бот будет автоматически присылать свежие данные о ближайших самолётах.

Как это работает? 🚀

1. Отправьте свою геолокацию.
2. Установите радиус поиска и интервал уведомлений.
3. Получайте информацию о каждом самолёте в вашем небе!

Уже хотите попробовать? Просто запустите бот и посмотрите, что происходит над вашей головой прямо сейчас! 🌍

Не упустите шанс стать настоящим авиационным экспертом у себя на даче! 🛩

🔗 Запускать бота: FlightRadarBot
Сегодня занимался изучением графовых баз данных в рамках одной из задач на работе. Графовые базы отлично справляются с моделированием сложных взаимосвязей, например, в социальных сетях или рекомендательных системах. Для себя нашёл много преимуществ, но также увидел, где они могут уступать другим базам.

Поэтому решил написать статью, где сравнил графовые и векторные базы данных: их плюсы и минусы, а также примеры применения. Думаю, это будет полезно многим, кто занимается поиском данных или работой с большими объёмами информации.

Если вам интересно, чем графовые базы могут быть полезны или когда стоит выбирать векторные — обязательно загляните:

https://nerdit.ru/sravnieniie-viektornykh-i-ghrafovykh-baz/

#базыданных #графы #векторныебазы #поискданных #большиданные #data #работасданными #нейросети #технологии #машинноенобучение #рекомендательныесистемы #ИТ #блокчейн #AI #BigData #DataScience
🤝2
AI на дровах 🪵
Сегодня занимался изучением графовых баз данных в рамках одной из задач на работе. Графовые базы отлично справляются с моделированием сложных взаимосвязей, например, в социальных сетях или рекомендательных системах. Для себя нашёл много преимуществ, но также…
Сегодня делюсь мощным инструментом — GraphRAG! Это технология, которая объединяет графы и Retrieval-Augmented Generation (RAG) для суперэффективного поиска и генерации ответов.

📊 Как это работает?
GraphRAG строит граф данных, где факты — это узлы, а связи между ними — рёбра. Это позволяет не просто искать релевантные документы, а выявлять связи между ними. Запрос пользователя проходит через генеративную модель, которая обращается к этим графам, получая не только релевантные данные, но и связанные факты. Это создаёт более контекстуальные и точные ответы на сложные запросы.

Преимущества:

📍Быстрый поиск за счёт графовой структуры.

📍Выявление скрытых связей между данными.

📍Возможность анализа больших объёмов данных и построения выводов на основе множества источников.

📚 Пример: Поиск в базе знаний. Если у вас есть большая база данных или документов, GraphRAG помогает находить не просто отдельные статьи или файлы, а выявлять связи между разными документами. Например, при запросе можно увидеть, как один документ связан с другим через общие темы или упомянутые факты, что делает поиск гораздо эффективнее и глубже.

📖 Связь текстовой информации. Текстовые данные могут быть связаны между собой по различным признакам — по общим темам, ключевым словам, цитатам или контексту. GraphRAG позволяет выявлять эти скрытые связи, создавая полноценную картину информации, которая может быть разбросана по разным источникам.

#технологии #AI #bigdata #инновации #GraphRAG #базазнаний #будущее #графы #RAG #поиск
🔥2
Привет! 🚀

Недавно столкнулся с необходимостью автоматизировать процесс SEO-аудита для одной задачи. Ручная проверка всех критериев отнимала слишком много времени, да и не все ошибки удавалось выявить сразу. Я решил копнуть глубже и написал несколько полезных скриптов на Python для автоматической проверки SEO — от мета-тегов до мобильной адаптации и битых ссылок.

Если вам тоже надоело вручную проводить SEO-аудит или вы хотите упростить этот процесс, рекомендую ознакомиться с моей статьей, где я разобрал все основные аспекты. Вы узнаете, как с помощью Python автоматизировать рутинные задачи и сделать ваш сайт еще более оптимизированным для поисковых систем.

👉 Читайте статью здесь: Автоматическая проверка SEO

Если у вас есть свой проект, уверен, эта информация точно пригодится! 💻

#SEO #Python #Автоматизация #ПродвижениеСайта #ТехническийSEO #WebDev #SEOАнализ #IT
👍1
А вы знали, что можно открыть любой репозиторий на GitHub прямо в браузере в виде VSCode? 🚀 Это невероятно просто и быстро!

Как это сделать:

1. Откройте репозиторий, с которым хотите работать.
2. В адресной строке замените github.com на github.dev и нажмите Enter. 🎯

Пример:
https://github.com/username/repository
меняется на
https://github.dev/username/repository

После этого перед вами откроется онлайн-версия VSCode прямо в браузере! 🖥 Теперь можно просматривать, редактировать и работать с кодом без необходимости установки дополнительных программ.

Преимущества:

- Доступ к коду из любого места 🌍.
- Полная интеграция с GitHub: ветки, коммиты, pull-реквесты — всё на месте! 🔄
- Поддержка расширений и привычного функционала VSCode 🔧.

Попробуйте сами и убедитесь, насколько это удобно! 😊

#GitHub #VSCode #DevTips #Программирование #Кодинг #GitHubDev #WebDevelopment #Программист #Разработка #Frontend #Backend #Код
🔥2
🤷
💯3
📢 Новый дайджест интересных статей в блоге!

В начале недели собрал все популярные запросы, которые начинались со слов "Как в python...".
В итоге получился целый список полезных статей, делюсь:

🔹 Как в Python обрабатывать исключения
Узнайте, как правильно использовать try-except для обработки ошибок в Python.
👉 Читать статью

🔹 Как в Python писать тесты
Подробное руководство по тестированию вашего кода с использованием библиотеки unittest.
👉 Читать статью

🔹 Как в Python работать с JSON
Научитесь парсить и генерировать JSON-данные в Python.
👉 Читать статью

🔹 Как в Python использовать lambda-функции
Пример того, как эффективно использовать анонимные функции в коде.
👉 Читать статью

🔹 Как в Python работать с датой и временем
Руководство по использованию модуля datetime для работы с временными данными.
👉 Читать статью

🔹 Как в Python делать веб-скрапинг
Узнайте, как собирать данные с сайтов с помощью BeautifulSoup.
👉 Читать статью

🔹 Как в Python написать функцию
Основы и примеры написания функций в Python.
👉 Читать статью

🔹 Как создать список в Python и работать с ним
Полное руководство по созданию списков и операциям с ними.
👉 Читать статью

Подписывайтесь на обновления и следите за новыми статьями!
🔥32
✍️ Привет всем! Сегодня я хочу поделиться с вами небольшим, но очень интересным экспериментом, который я начал. Я решил создать блог про идеи для путешествий по России, но не просто блог... Этот блог полностью ведёт GPT! Да-да, искусственный интеллект придумывает заголовки, пишет статьи, подбирает теги и даже картинки в стиле пиксель арт для каждого поста. 🎨🖼

Суть эксперимента проста: я задал GPT направление — путешествия по России. Он создаёт всё сам — от креативного заголовка до последних штрихов в тексте. Статьи получаются увлекательными и даже с полезными советами для самостоятельных путешественников! 🚂🌍

Что делает GPT:

📝 Придумывает оригинальные заголовки
✍️ Пишет полноценные статьи о путешествиях и приключениях в России
📌 Подбирает релевантные теги, чтобы посты находили свою аудиторию в поиске
🎨 Генерирует уникальные картинки в стиле пиксель арт для каждого поста

#gpt_эксперимент
👀5👍2
AI на дровах 🪵
✍️ Привет всем! Сегодня я хочу поделиться с вами небольшим, но очень интересным экспериментом, который я начал. Я решил создать блог про идеи для путешествий по России, но не просто блог... Этот блог полностью ведёт GPT! Да-да, искусственный интеллект придумывает…
Как GPT не повторяется?
В начале каждого цикла GPT автоматически получает список заголовков, которые уже опубликованы в блоге, и анализирует их, чтобы избежать повторов. Таким образом, каждый заголовок, который придумывает GPT, является уникальным и не пересекается с уже существующими постами. Это помогает создавать свежий контент для блога, который не только увлекает читателей, но и расширяет тематику путешествий по России. 🔄💡

#gpt_эксперимент
Ну и самый главный вопрос: как поисковые системы будут взаимодействовать с таким контентом 🔍

Эксперимент с SEO: GPT не только придумывает контент, но и создаёт его с учётом ключевых слов и фраз, которые помогут постам лучше ранжироваться в поисковых системах. Это особенно важно для того, чтобы больше людей могли найти блог через Google или Яндекс. 📈

Посты выходят каждый день в 8 утра по Москве , но думаю стоит рандомизировать его🗺

Автоматическая публикация в Telegram: Каждая новая статья также автоматически публикуется Telegram-канале. Присоединяйтесь по ссылке: t.iss.one/travel_pla, чтобы не пропустить свежие материалы и вдохновение для ваших путешествий и следить за экспериментом! 🚀

Будет интересно увидеть, как алгоритмы ИИ взаимодействуют с алгоритмами поисковых систем. Может ли GPT улучшить видимость сайта в сети без вмешательства человека?

Этот вопрос меня очень увлекает, и я планирую делиться результатами с вами!

Сайт эксперимента: traveltripster.ru

#Путешествия #Россия #ИскусственныйИнтеллект #GPT #ПиксельАрт #ИдеиДляОтдыха #Маршруты #SEO #Оптимизация #ЕжедневныеПосты #TelegramКанал #gpt_эксперимент
🔥4
AI на дровах 🪵
Ну и самый главный вопрос: как поисковые системы будут взаимодействовать с таким контентом 🔍 Эксперимент с SEO: GPT не только придумывает контент, но и создаёт его с учётом ключевых слов и фраз, которые помогут постам лучше ранжироваться в поисковых системах.…
Планы на будущее:

⭐️ Разнообразие контента: В планах расширить форматы публикаций, добавляя в посты не только текстовую информацию, но и полезные ссылки, интерактивные карты, галереи изображений и видеоролики. Это позволит пользователям получать более полное представление о маршрутах и местах.

⭐️SEO-эксперимент с ИИ: Продолжу исследовать возможности ИИ в создании контента с учётом SEO-оптимизации. Планирую расширить использование ключевых слов, заголовков и метаданных, чтобы улучшить позиции в поисковых системах. Также хочу протестировать, как регулярное обновление старых статей с помощью GPT может повлиять на SEO.

#gpt_эксперимент
🚀 Как использовать GPT в аналитике данных! 📊🤖

Искусственный интеллект активно меняет подход к анализу данных, и GPT-модели от OpenAI становятся незаменимыми помощниками. В этой статье я делюсь подробным гидом, который поможет вам понять, как использовать GPT для автоматизации рутинных задач, создания отчетов и получения ценных инсайтов из данных.

📌 Что вы найдете в статье:

- Примеры того, как можно применять GPT на практике: от анализа отзывов клиентов до сегментации аудитории.
- Полезные промты, которые помогут максимально эффективно использовать эту технологию.
- Примеры кода на Python для автоматизации анализа и обработки данных.

Почему это важно?
GPT может работать с огромными объемами данных и переводить сложные цифры в понятные и четкие рекомендации. Это отличный инструмент для аналитиков, маркетологов и всех, кто хочет принимать обоснованные решения на основе данных.

🔥 Если вам интересно, как ИИ помогает бизнесу становиться эффективнее и успешнее — обязательно загляните в статью!

👉 Перейти к статье: https://nerdit.ru/gpt-v-analitike-dannyh-gid-s-primerami-promty/

#AI #GPT #Аналитика #BigData #Python #OpenAI #БизнесАналитика
🔥3
Контекстуальный RAG: сокращение галлюцинаций на 35% 🎉

Недавно исследователи представили улучшение для RAG: аннотирование чанков контекстом и комбинация семантических эмбеддингов с TF-IDF. Этот подход снижает количество галлюцинаций на 35% по сравнению с классическими методами RAG!

А теперь появился шанс изучить этот подход на практике! Together AI выложили опенсорсную реализацию, в которой они используют Llama 3.2 3B для аннотирования, а Llama 3.1 405B в качестве основной модели.

Кратко, как это работает ⬅️

🧩 1. Контекстуализация для каждого фрагмента:
Каждому фрагменту добавляется небольшое пояснение, помогающее модели лучше понять, как этот кусок текста связан с другими частями документа. Это достигается с помощью небольших и более доступных моделей, которые способны быстро и недорого создавать такие контекстные пояснения.

🔍 2. Гибридный поиск (Hybrid Search):
Каждый фрагмент индексируется с использованием как разреженных (ключевые слова), так и плотных (семантических) эмбеддингов, что позволяет более точно захватывать смысл текста. Такой подход делает процесс поиска более глубоким и релевантным.

📊 3. Объединение рейтингов (Rank Fusion) с помощью Reciprocal Rank Fusion (RRF):
Используя RRF, мы объединяем ранжирование по ключевым и семантическим признакам, чтобы получить наиболее точные фрагменты. Это помогает достичь баланса между поверхностным и глубоким поиском, исключая нерелевантные результаты.

🎯 4. Двойное ранжирование:
Сначала извлекается 150 топовых фрагментов, которые затем проходят повторное ранжирование (Reranker). После этого остаётся 20 лучших, которые используются для создания ответа. Это позволяет модели работать с релевантными данными и генерировать более точные и информативные ответы.

Код доступен по ссылке. Исследователям будет полезно поэкспериментировать с этим пайплайном, а тем, кто внедряет RAG в продакшене — сохранить имплементацию для изучения.

#RAG #OpenSource #ML #NLP #AIResearch #DataScience #SemanticSearch
👍1
AI на дровах 🪵
✍️ Привет всем! Сегодня я хочу поделиться с вами небольшим, но очень интересным экспериментом, который я начал. Я решил создать блог про идеи для путешествий по России, но не просто блог... Этот блог полностью ведёт GPT! Да-да, искусственный интеллект придумывает…
🚀 Эксперимент с тревел-блогом, который ведёт GPT – Первая неделя 🌍

На прошлой неделе я запустил проект, в котором весь контент создаётся исключительно искусственным интеллектом!
Хочу сразу уточнить, что этот блог — не совсем тревел-блог в привычном понимании. Он больше ориентирован на тех, кто ищет свежие идеи для следующего отпуска, интересные и малоизвестные места по всей России. 🌄

Вместо обычных путеводителей здесь можно найти вдохновение для путешествий — от красивых уголков природы и уютных городков до необычных маршрутов, которые не так широко известны. 🎒

Делюсь первыми результатами:

📅 Первая неделя:

🔹 Запуск проекта и регулярное размещение постов.
🔹 Подключение системы аналитики для отслеживания динамики.
🔹 Добавление сайта в Яндекс.Вебмастер и Google Search Console.

📊 Результаты: Все страницы уже проиндексированы в Яндексе и Google! 🎉
И это уже большое достижение для нового сайта.
В очередной раз убедился, что регулярное размещение постов на сайте "прикармливает" поисковых ботов.

🔄 Что было сделано после первой недели:

🔹 Добавил интерактивную карту с местами, которые упоминаются в статьях.
🔹 Упрощение заголовков — теперь они короче и понятнее.
🔹 Увеличение объёма статей до 1500 слов для более глубокого погружения.

📈 В планах:

🔹 Создать страницу с тегами по городам для удобной навигации.
🔹 Сгенерировать SEO-оптимизированные URL.
🔹 Анализ позиций статей, которые вошли в индекс за первую неделю, чтобы понять, какие улучшения можно внести.

Через неделю будет очередная аналитика и сравнение ситуации с постами из первой недели и второй.

Следим за результатами и надеемся, что проект продолжит набирать обороты!

#gpt_эксперимент #gpt #AI #ИИ
👍2👏1
🆕 Большое обновление функционала YouTube бота!

Всем привет!
Меня сильно расстраивала последнее время необходимость использовать VPN для доступа к YouTube.
И я подумал, а почему бы и нет и допилил функционал бота @summ_youtube_bot

Что нового:

1. Суммаризация видео по ссылке

Просто отправьте ссылку на YouTube, и бот сделает краткое описание содержания видео. Это удобно, если вы хотите быстро узнать суть, не тратя время на полный просмотр! 📋

🎶 2. Скачивание видео и аудио

Добавил возможность скачать видео или аудио (MP3)! Теперь после описания видео под каждым сообщением у вас будут две кнопки:

- Скачать видео — чтобы загрузить видео в формате MP4.
- Скачать MP3 — чтобы получить только аудио из видео.

🔍 3. Поиск по YouTube

Не знаете точную ссылку? Просто введите ключевые слова, и бот найдёт видео по вашему запросу! Под каждым найденным результатом также будут кнопки для скачивания в видео и аудио формате.

⚠️ Доступ к боту только для подписчиков этого канала.
https://t.iss.one/summ_youtube_bot
1🔥21👍1
💬 Всем привет!

Сегодня хочу поделиться мыслями по двум очень интересным темам в мире больших языковых моделей.

🔥 Агенты на основе больших языковых моделей (LLM)

Погрузился в тему создания агентов, которые работают на базе больших языковых моделей, и это действительно впечатляет!

Представьте себе систему, которая не только понимает запросы, но и может адаптироваться, анализировать и планировать задачи на основе прошлых взаимодействий.

Такие агенты находят применение в самых разных сферах: от автоматического написания кода до поддержки пользователей и анализа данных.

Это новый уровень гибкости и эффективности в ИИ, где агент может действовать как полноценный помощник, подстраиваясь под нужды пользователя и оставаясь при этом достаточно независимым.

🔧 Использование функций в GPT

Вторая тема – использование функций и API в GPT, что открывает массу новых возможностей. Одно дело – иметь модель, которая может ответить на текстовый запрос, и совсем другое – когда она может "общаться" с реальным миром, используя внешние функции.

Представьте, что GPT получает команду отправить письмо, проверить погоду или даже получить данные с биржи! Я провел исследования и примеры кода по тому, как можно интегрировать GPT с разными API для расширения его возможностей.

Это отличная возможность для создания более интерактивных и полезных решений, особенно когда нужна актуальная информация или специфические расчёты.

💡 В обеих статьях я разбираю примеры кода и подробно объясняю, как и где можно внедрить эти подходы.

Пишите, если интересно узнать больше! 😉

#ИИ #АгентыLLM #GPT #МашинноеОбучение #БольшиеЯзыковыеМодели #ИнтеграцияAPI #Технологии #Автоматизация #ФункцииGPT #ИскусственныйИнтеллект #DataScience #Python #Инновации #ML #Нейросети
👍2