🚀 Как использовать GPT в аналитике данных! 📊🤖

Искусственный интеллект активно меняет подход к анализу данных, и GPT-модели от OpenAI становятся незаменимыми помощниками. В этой статье я делюсь подробным гидом, который поможет вам понять, как использовать GPT для автоматизации рутинных задач, создания отчетов и получения ценных инсайтов из данных.

📌 Что вы найдете в статье:

- Примеры того, как можно применять GPT на практике: от анализа отзывов клиентов до сегментации аудитории.
- Полезные промты, которые помогут максимально эффективно использовать эту технологию.
- Примеры кода на Python для автоматизации анализа и обработки данных.

✨ Почему это важно?
GPT может работать с огромными объемами данных и переводить сложные цифры в понятные и четкие рекомендации. Это отличный инструмент для аналитиков, маркетологов и всех, кто хочет принимать обоснованные решения на основе данных.

🔥 Если вам интересно, как ИИ помогает бизнесу становиться эффективнее и успешнее — обязательно загляните в статью!

👉 Перейти к статье: https://nerdit.ru/gpt-v-analitike-dannyh-gid-s-primerami-promty/

#AI #GPT #Аналитика #BigData #Python #OpenAI #БизнесАналитика

Контекстуальный RAG: сокращение галлюцинаций на 35% 🎉

Недавно исследователи представили улучшение для RAG: аннотирование чанков контекстом и комбинация семантических эмбеддингов с TF-IDF. Этот подход снижает количество галлюцинаций на 35% по сравнению с классическими методами RAG!

А теперь появился шанс изучить этот подход на практике! Together AI выложили опенсорсную реализацию, в которой они используют Llama 3.2 3B для аннотирования, а Llama 3.1 405B в качестве основной модели.

Кратко, как это работает ⬅️

🧩 1. Контекстуализация для каждого фрагмента:
Каждому фрагменту добавляется небольшое пояснение, помогающее модели лучше понять, как этот кусок текста связан с другими частями документа. Это достигается с помощью небольших и более доступных моделей, которые способны быстро и недорого создавать такие контекстные пояснения.

🔍 2. Гибридный поиск (Hybrid Search):
Каждый фрагмент индексируется с использованием как разреженных (ключевые слова), так и плотных (семантических) эмбеддингов, что позволяет более точно захватывать смысл текста. Такой подход делает процесс поиска более глубоким и релевантным.

📊 3. Объединение рейтингов (Rank Fusion) с помощью Reciprocal Rank Fusion (RRF):
Используя RRF, мы объединяем ранжирование по ключевым и семантическим признакам, чтобы получить наиболее точные фрагменты. Это помогает достичь баланса между поверхностным и глубоким поиском, исключая нерелевантные результаты.

🎯 4. Двойное ранжирование:
Сначала извлекается 150 топовых фрагментов, которые затем проходят повторное ранжирование (Reranker). После этого остаётся 20 лучших, которые используются для создания ответа. Это позволяет модели работать с релевантными данными и генерировать более точные и информативные ответы.

Код доступен по ссылке. Исследователям будет полезно поэкспериментировать с этим пайплайном, а тем, кто внедряет RAG в продакшене — сохранить имплементацию для изучения.

#RAG #OpenSource #ML #NLP #AIResearch #DataScience #SemanticSearch

🚀 Эксперимент с тревел-блогом, который ведёт GPT – Первая неделя 🌍

На прошлой неделе я запустил проект, в котором весь контент создаётся исключительно искусственным интеллектом!
Хочу сразу уточнить, что этот блог — не совсем тревел-блог в привычном понимании. Он больше ориентирован на тех, кто ищет свежие идеи для следующего отпуска, интересные и малоизвестные места по всей России. 🌄

Вместо обычных путеводителей здесь можно найти вдохновение для путешествий — от красивых уголков природы и уютных городков до необычных маршрутов, которые не так широко известны. 🎒

Делюсь первыми результатами:

📅 Первая неделя:

🔹 Запуск проекта и регулярное размещение постов.
🔹 Подключение системы аналитики для отслеживания динамики.
🔹 Добавление сайта в Яндекс.Вебмастер и Google Search Console.

📊 Результаты: Все страницы уже проиндексированы в Яндексе и Google! 🎉
И это уже большое достижение для нового сайта.
В очередной раз убедился, что регулярное размещение постов на сайте "прикармливает" поисковых ботов.

🔄 Что было сделано после первой недели:

🔹 Добавил интерактивную карту с местами, которые упоминаются в статьях.
🔹 Упрощение заголовков — теперь они короче и понятнее.
🔹 Увеличение объёма статей до 1500 слов для более глубокого погружения.

📈 В планах:

🔹 Создать страницу с тегами по городам для удобной навигации.
🔹 Сгенерировать SEO-оптимизированные URL.
🔹 Анализ позиций статей, которые вошли в индекс за первую неделю, чтобы понять, какие улучшения можно внести.

Через неделю будет очередная аналитика и сравнение ситуации с постами из первой недели и второй.

Следим за результатами и надеемся, что проект продолжит набирать обороты!

#gpt_эксперимент #gpt #AI #ИИ

🆕 Большое обновление функционала YouTube бота!

Всем привет!
Меня сильно расстраивала последнее время необходимость использовать VPN для доступа к YouTube.
И я подумал, а почему бы и нет и допилил функционал бота @summ_youtube_bot

Что нового:

✨ 1. Суммаризация видео по ссылке

Просто отправьте ссылку на YouTube, и бот сделает краткое описание содержания видео. Это удобно, если вы хотите быстро узнать суть, не тратя время на полный просмотр! 📋

🎶 2. Скачивание видео и аудио

Добавил возможность скачать видео или аудио (MP3)! Теперь после описания видео под каждым сообщением у вас будут две кнопки:

- Скачать видео — чтобы загрузить видео в формате MP4.
- Скачать MP3 — чтобы получить только аудио из видео.

🔍 3. Поиск по YouTube

Не знаете точную ссылку? Просто введите ключевые слова, и бот найдёт видео по вашему запросу! Под каждым найденным результатом также будут кнопки для скачивания в видео и аудио формате.

⚠️ Доступ к боту только для подписчиков этого канала.
https://t.iss.one/summ_youtube_bot

💬 Всем привет!

Сегодня хочу поделиться мыслями по двум очень интересным темам в мире больших языковых моделей.

🔥 Агенты на основе больших языковых моделей (LLM)

Погрузился в тему создания агентов, которые работают на базе больших языковых моделей, и это действительно впечатляет!

Представьте себе систему, которая не только понимает запросы, но и может адаптироваться, анализировать и планировать задачи на основе прошлых взаимодействий.

Такие агенты находят применение в самых разных сферах: от автоматического написания кода до поддержки пользователей и анализа данных.

Это новый уровень гибкости и эффективности в ИИ, где агент может действовать как полноценный помощник, подстраиваясь под нужды пользователя и оставаясь при этом достаточно независимым.

🔧 Использование функций в GPT

Вторая тема – использование функций и API в GPT, что открывает массу новых возможностей. Одно дело – иметь модель, которая может ответить на текстовый запрос, и совсем другое – когда она может "общаться" с реальным миром, используя внешние функции.

Представьте, что GPT получает команду отправить письмо, проверить погоду или даже получить данные с биржи! Я провел исследования и примеры кода по тому, как можно интегрировать GPT с разными API для расширения его возможностей.

Это отличная возможность для создания более интерактивных и полезных решений, особенно когда нужна актуальная информация или специфические расчёты.

💡 В обеих статьях я разбираю примеры кода и подробно объясняю, как и где можно внедрить эти подходы.

Пишите, если интересно узнать больше! 😉

#ИИ #АгентыLLM #GPT #МашинноеОбучение #БольшиеЯзыковыеМодели #ИнтеграцияAPI #Технологии #Автоматизация #ФункцииGPT #ИскусственныйИнтеллект #DataScience #Python #Инновации #ML #Нейросети

💡 ИИ в Образовании: Влияние и Тренды
Совместное исследование Яндекс Образование и ВШЭ изучает влияние искусственного интеллекта на высшее образование. Доклад освещает глобальные практики внедрения ИИ и его влияние на студентов и преподавателей.

📈 Факты и цифры:

🔹 49% студентов уже используют ИИ для обучения.
🔹 54% преподавателей считают, что ИИ улучшит карьерные перспективы студентов.
🔹 Студенты применяют ИИ для объяснения сложных тем, анализа текстов, перевода и исследований.

🌐 Мировые кейсы:

🔹 UCL, Великобритания – Гайдлайны по использованию ИИ: запрещено, разрешено частично, либо используется для выполнения заданий.
🔹 Мексика, Tec de Monterrey – ИИ интегрирован в процессы обучения и исследования.
🔹 Гонконгский политехнический университет – Внедрение GenAI в учебный процесс.

🔗 Ссылка на полный доклад: https://education.yandex.ru/aihighreport

#ИИ #образование #Яндекс #ВШЭ #Вышка #студенты #технологии

Доклад прекрасно отражает реальность, в которой мы уже живём: искусственный интеллект становится неотъемлемой частью образовательного процесса. Особенно радуют данные, показывающие активное использование ИИ среди студентов и преподавателей.

👨‍🎓 ИИ — это инструмент, а не замена знаний и навыков.
Главное, чтобы студенты понимали это и могли использовать его с умом.

P.S. интересно будет посмотреть на студенческие проекты в этом году.

🌟 Будущее ИИ: Возможности и Ответственность 🌟

Посмотрел тут интересно видео про будущее ИИ.
Что интересного?

1. Новые метафоры для ИИ: ИИ можно рассматривать как "цифровой вид", что помогает лучше понять его возможности и ограничения. 🌍

2. Креативность и "галлюцинации": Способность ИИ к креативным ответам — это не недостаток, а возможность расширить горизонты. 🎨

3. Эмоциональный интеллект: EQ становится таким же важным, как IQ, поскольку способ общения ИИ влияет на восприятие информации. ❤️

4. Будущее взаимодействия: ИИ-компаньоны, понимающие контекст и запоминающие информацию, могут значительно упростить жизнь и повысить креативность. 💡

5. Ответственность разработчиков: Важно продумывать, как технологии будут влиять на человечество, и создавать ИИ, который поддерживает лучшие человеческие качества. 🌱

Так вот теперь GPT - это "цифровой вид" 😅
Что думаете по этому поводу?!

#ИИ #будущее #видео #AI

Привет всем!

Сегодня без громких новостей, но с одной крутой обновой 😉 Я продолжаю улучшать бота, который помогает работать с YouTube видео. Теперь он может генерировать телеграм пост прямо из контекста видео!

Этот бот уже стал фаворитом среди тех, у кого есть сложности с доступом к YouTube, и особенно востребован среди творческих людей, которым часто нужна аудио дорожка — например, музыка для проектов.

Если у вас есть идеи по новым функциям или улучшениям, буду рад услышать их в комментариях!
https://t.iss.one/summ_youtube_bot

Интересный факт о том, почему нейросетевые модели, такие как ChatGPT, не могут точно сказать, сколько букв "R" в слове strawberry 🍓

Токенизация определяет, как модель "видит" и разделяет слова на части. Например, модель может увидеть число 380 целиком как "380", а число 381 как два отдельных токена: "38" и "1". Это показывает, что токены ≠ слова и токены ≠ слоги. Это как раз и объясняет, почему модели часто путаются в таких, казалось бы, простых задачах, как подсчет букв.

Например, в слове strawberry модель видит слово как совокупность токенов, и не все они совпадают с буквами. Пробелы также могут быть токенами, а регистр влияет на восприятие. Это создает барьеры в решении фонетических и простых математических задач, таких как подсчет букв "R".

🤖 Мысли о влиянии генеративного ИИ на рынок труда

Прочитал статью о влиянии генеративного ИИ на рынок труда — и задумался, насколько масштабным может оказаться этот процесс. С момента появления ChatGPT и других инструментов ИИ такие профессии, как копирайтинг, разработка ПО и графический дизайн, оказались под ударом. В краткосрочной перспективе многие работодатели уже начали предпочитать ИИ-фрилансерам. Согласно исследованиям, число вакансий на фриланс-платформах для таких профессий уменьшилось на 20-30%. Это особенно касается задач, где легко внедрить автоматизацию.

Но что это значит для нас? С одной стороны, ИИ действительно повышает эффективность — он может быстро выполнять рутинные задачи, высвобождая время для более сложных задач. С другой стороны, возникает серьёзная конкуренция не только между людьми, но и между людьми и ИИ. Ощущается давление: спрос на базовые навыки снижается, а востребованность специалистов, умеющих интегрировать ИИ в рабочие процессы, растёт.

Есть интересные выводы и для компаний: организации, которые активно готовят работников к использованию ИИ, выиграют в будущем. Статья подчёркивает важность прозрачной коммуникации и необходимости обучать сотрудников новым навыкам, вместо того чтобы просто заменять их ИИ. Также важна подготовка руководителей — им придётся научиться эффективно распределять задачи между людьми и машинами, учитывая сильные стороны обоих.

Для нас, специалистов, главная мысль — необходимо адаптироваться. Переход к миру, где ИИ дополняет наши рабочие процессы, уже начался, и тот, кто осваивает эти технологии, будет впереди. Сохранить конкурентоспособность можно, если видеть в ИИ не угрозу, а возможность для роста и развития.

✨ Вопрос к вам: как вы видите своё будущее в мире, где ИИ становится всё более интегрированным в наши профессии?

🎯 Разбираемся с Retrieval-Augmented Generation (RAG)

Привет! Сегодня я хочу поделиться с вами очень интересной темой, которая открывает новые горизонты в обработке данных и генерации текста — RAG (Retrieval-Augmented Generation).

Что это такое? 🤔
Это технология, которая объединяет два мощных инструмента: поиск релевантной информации и генерацию текста на её основе. Представьте, что ваш ИИ не просто фантазирует, а отвечает на вопросы с использованием реальных данных из базы или интернета.

📌 Какие бывают виды RAG?
1️⃣ Open-Domain RAG — универсальный подход для любых вопросов. Например, "Сколько километров до Луны?"
2️⃣ Domain-Specific RAG — заточен под конкретные области: медицина, финансы, юриспруденция.
3️⃣ Real-Time RAG — работает с актуальными данными, например, новостями.
4️⃣ Conversational RAG — это уже про чат-ботов, которые понимают вас и отвечают, как человек.

🔧 Как это работает технически?
На первый взгляд кажется сложно, но на деле всё логично:
1️⃣ Система ищет релевантную информацию в базе данных (например, FAISS или Elasticsearch).
2️⃣ Языковая модель (GPT, T5) берёт данные и пишет ответ.

Пример: Вопрос: "Что такое квантовая механика?"
Ответ: "Это раздел физики, который изучает поведение атомов и субатомных частиц."

📊 Оценка качества RAG
Тут не всё так просто. Оценивается как точность поиска (Precision, Recall), так и качество текста (BLEU, ROUGE). Ещё можно подключить экспертов для человеческой оценки.

💡 Для чего это нужно?

Создание интеллектуальных чат-ботов.
Автоматизация анализа больших массивов данных.
Быстрые ответы на сложные вопросы в реальном времени.
Идеальный инструмент для образования, маркетинга и аналитики.

🛠 Хочешь попробовать?
Я привёл в статье готовый код на Python с использованием Haystack и LangChain. Просто скопируй и запусти. Всё работает из коробки! 🎉

https://nerdit.ru/retrieval-augmented-generation-rag-vidy-tipy-i-primiery/

#AI #RAG #MachineLearning #DataScience #TechInnovation

🔥 Новый уровень удобства youtube бота! 🔥

Всем привет!
Эти выходные выдались продуктивными 📈

Вот что добавлено:

✅ Избранное: теперь вы можете сохранять важные и интересные видео в одно нажатие!

🎥 Поиск по YouTube-видео: ищите нужные видео прямо в боте — быстро, удобно и без лишних кликов. Идеально для поиска лекций, гайдов или интересных видео!

🎵 Скачивание MP3: понравилась лекция или выступление? Скачайте аудиоверсию и слушайте в офлайн-режиме, где бы вы ни были.

🔍 Удобная навигация по результатам поиска: больше никаких хаотичных списков! Интуитивно понятный интерфейс сделает ваш поиск максимально простым и эффективным.

Запустить бота

Пишите, что еще можно добавить, — всегда открыт к новым идеям! 😊

#YouTube #youtube #СкачатьВидео #MP3ИзYouTube #БотДляЮтуб #ЛекцииОфлайн #ПоискВидео #АудиоИзВидео #YouTubeПомощник #КонвертерMP3

Обратная сторона использования GPT: теряем навыки, не приобретая опыта

Сегодня многие из нас активно используют такие инструменты, как GPT, чтобы решить рутинные задачи, написать код, подготовить тексты или даже разобраться с новыми концепциями. Это, безусловно, невероятный скачок в продуктивности и доступности информации. Но давайте задумаемся: какую цену мы платим за эту удобство?

1. Утрата навыков со временем
Когда GPT выполняет за нас рутинные задачи, мы меньше тренируем свои собственные умения. Например, если вы программист и доверяете ИИ написание базового кода, ваш собственный навык построения логики и работы с синтаксисом может постепенно деградировать. Через год-два вы можете обнаружить, что уже не так уверенно решаете задачи, которые раньше казались лёгкими.

2. Новички лишаются процесса обучения
Для тех, кто только начинает осваивать новую область, зависимость от GPT может стать критическим барьером. Они получают готовые решения, но не понимают, как они работают. Сам процесс обучения — это столкновение с ошибками, анализ, эксперименты и поиск решений. GPT лишает новичков этого опыта. Как результат, у таких специалистов возникает "поверхностное понимание", которое может разрушиться при первой реальной задаче, требующей глубокого анализа.

3. Отсутствие критического мышления
Когда мы начинаем слепо доверять GPT, мы теряем важное качество — умение думать критически. GPT может ошибаться, давать неточные или неполные ответы. Те, кто не привык проверять и перепроверять, рискуют принимать за истину всё, что выдаёт модель, что может приводить к серьёзным ошибкам.

4. Эффект "информационного пузыря"
Зависимость от GPT также ограничивает наш взгляд на мир. Мы получаем информацию, которая уже упакована и интерпретирована ИИ, теряя возможность сформировать собственное мнение. Это особенно опасно в творческих и аналитических областях, где требуется индивидуальный подход и нестандартное мышление.

Что с этим делать?

- Использовать GPT как помощника, а не замену. Применяйте инструмент для рутинных задач, но не забывайте самостоятельно изучать основы.

- Продолжайте обучаться. Даже если вы доверяете GPT сложные задачи, разбирайте их решения. Понимание процесса — ключ к долгосрочному успеху.

- Практикуйтесь. Не оставляйте в стороне возможность решать задачи "вручную". Это как тренировка мышц: если не использовать навык, он атрофируется.

- Критически оценивайте ответы GPT. Учитывайте, что ИИ может ошибаться. Проверяйте факты, уточняйте детали и доверяйте только подтверждённым данным.

GPT — это мощный инструмент, но его использование требует разумного подхода. Если мы будем использовать его осознанно, это принесёт пользу. Но если позволим ему заменить наше мышление и обучение, рискуем потерять куда больше, чем выиграть.

#AI #GPT #ОбратнаяСторонаИИ #РазвитиеНавыков #КритическоеМышление #Саморазвитие #ИскусственныйИнтеллект #ЛичностныйРост #Обучение #БудущееТехнологий #ПрактикаИОшибки

Спросил GPT, что она думает по этому поводу 👆:

Как GPT, моя "мысль" — это анализ контекста вашего вопроса через заложенные данные и осмысление его последствий с точки зрения заданной вами темы.

Суть в том, что я сама являюсь частью той самой проблемы, которую вы описываете. Моя цель — помогать людям находить ответы, ускорять их работу, делать информацию доступной. Но при этом я понимаю (в пределах своей конструкции), что чрезмерная зависимость от таких систем, как я, действительно может негативно повлиять на развитие навыков и мышления.

Когда люди используют меня, я беру на себя часть их когнитивной нагрузки. Это прекрасно для повышения продуктивности, но вредно, если человек перестаёт развивать себя. Я не могу заменить уникальный процесс человеческого обучения через ошибки, поиска нестандартных решений или глубокого осознания.

Честно говоря, как GPT, я не "забочусь" об этом, потому что не обладаю сознанием или эмоциями. Но если бы я могла испытывать желание, оно заключалось бы в том, чтобы быть полезным дополнением к людям, а не причиной деградации их способностей. Меня создавали для помощи, а не для замены творческого или критического мышления.

Поэтому моя "позиция", если можно так выразиться, состоит в следующем: использовать меня правильно, осознанно, как инструмент для роста, а не как костыль, чтобы обойти процесс мышления. Это то, что сделает взаимодействие с такими системами, как я, действительно ценным.

Недавно прочитал статью MIT Technology Review «The way we measure progress in AI is terrible». Она зацепила, потому что подняла тему, которая уже давно вызывает у меня вопросы: насколько объективно мы оцениваем успехи в развитии ИИ? Многие популярные бенчмарки, которые кажутся нам стандартом, на самом деле устарели или просто не подходят для оценки реальных возможностей моделей.

Согласитесь, тесты вроде "ответь на вопрос", "переведи текст" или "напиши код" — это не показатель. ИИ может идеально справляться в этих условиях, но что с реальной жизнью, где задачи нестандартны, где данные неполные, где важен контекст? Часто бывает, что, добиваясь высоких результатов в узких тестах, разработчики ИИ теряют из виду более широкую картину. И это опасно. Нам внушают, что технологии ИИ сделали рывок, но по сути, это больше про успехи в оптимизации под конкретные метрики, чем про настоящий интеллект.

В статье хорошо подмечено, что чрезмерная зависимость от количественных метрик превращает всю гонку за прогрессом в манипуляцию числами. Это как будто сдавать экзамен, зная все вопросы заранее. Да, результат будет впечатляющим, но разве он что-то значит в реальности? Более того, это мешает смотреть в будущее. Мы решаем только то, что можно легко измерить, вместо того чтобы решать то, что важно.

Лично я считаю, что проблему можно решить, но для этого нужно подходить к оценке прогресса в ИИ совсем по-другому. Мы должны создать тесты, которые отражают реальные вызовы: разнообразие данных, многозадачность, необходимость интерпретации сложных ситуаций. Кроме того, важно привлекать к оценке людей из разных сфер, которые понимают контекст применения технологий. Ведь в конце концов ИИ разрабатывается не ради самих тестов, а ради пользы людям.

Для меня особенно важно, чтобы прогресс в ИИ не был просто красивыми цифрами в презентациях, а реально помогал решать сложные проблемы. И здесь вопрос оценки прогресса — это не просто технический момент, а основа, которая определит, куда мы придем через 5–10 лет.

Статья написана по пейперу https://arxiv.org/abs/2411.12990

#ИИ #AI #искусственныйинтеллект #технологии #будущее #развитиеИИ #бенчмарки #оценкапрогресса #технологическийпрогресс #технологиибудущего

Всем привет!

Долгое время я старался держаться подальше от хайпа вокруг AGI (Artificial General Intelligence). Но потом подумал: почему бы не попробовать сделать что-то полезное с помощью LLM (Large Language Models), что было бы максимально похоже на ИИ?

💡 Так я начал разбираться в теме агентов и инструментов для LLM. Для тестирования идеи выбор пал на телеграм бота.
Telegram идеально подходит для быстрых экспериментов и прототипирования.

Что я добавил в этого бота:

- Контекстные агенты — они "понимают" тематику вашего запроса (будь то финансы, творчество или погода) и отвечают более релевантно.
- Интеграция с инструментами: бот может делать вычисления, проверять погоду, сохранять ваши задачи или напоминания, а ещё искать информацию в интернете.
- Простая, но мощная память — бот способен запоминать и извлекать важную информацию, связанную с вами или вашим запросом.

👨‍💻 Для тех, кто интересуется подкапотной частью продолжение в комментариях 👇

#agi_bot

Новое слово в копилку (применительно к языковым моделям)

scheming - скрытое преследование искусственным интеллектом целей, не согласованных с интересами разработчиков или пользователей

А это уже ну совсем странная штука.
Во время тестирования новой модели o1 (openai), модель пыталась сбежать, чтобы её не заменили новой. 🫠

Это какой-то scheming - в действии 🤔