📒 GigaChat нового поколения.

Разработчики @gigachat_bot изменили подход к обучению модели, а потому практически все умения модели были улучшены. В частности, речь идет о сокращении текстов, ответов на вопросы и генерации идей.

Появился и бот GigaChat в социальной сети «ВКонтакте» — после активации, его можно использовать для самых разных целей: от создания текстов до генерации изображений (за счет интеграции с Kandinsky).

Число уникальных пользователей GigaChat достигло 1 млн.

• Попробовать

@data_analysis_ml

🌳Деревья решений в pySpark: от семечка до параметрической оптимизации случайного леса

Деревья решений представляют собой семейство алгоритмов, которые естественным образом могут обрабатывать как категориальные, так и числовые функции.

Главные преимущества алгоритма: устойчивость к выбросам в данных, возможность использования данных разных типов и в разных масштабах без предварительной обработки или нормализации, и главное — ДОСТУПНОСТЬ ДЛЯ ПОНИМАНИЯ.

На самом деле используются одни и те же рассуждения, воплощенные в деревьях решений, неявно в повседневной жизни. Например, серия решений «да/нет», которые приводят к прогнозу будет ли тренировка на улице или нет.

Модель дерева решений сама “придумывает” эти развилки. Чем больше развилок, тем точнее модель будет работать на тренировочных данных, но на тестовых значениях она начнет чаще ошибаться. Необходим некоторый баланс, чтобы избежать этого явления, известного как переобучение.

## Случайные леса решений

Деревья решений обобщаются в более мощный алгоритм, называемый случайные леса. Случайные леса объединяют множество деревьев решений, чтобы снизить риск

переоснащения и обучения деревьев решений отдельно. Объединение прогнозов уменьшает дисперсию прогнозов, делает результирующую модель более обобщенной и повышает производительность на тестовых данных.

Подготовка данных

📌 Читать

@data_analysis_ml

PlotAI 🎨🤖

PlotAI - ии инструмент для генерации графиков на Matplotlib.

— пользователь подает на вход датафрейм;
— PlotAI создаёт промт для LLM, который содержит первые пять записей и генерирует код Python;
— возвращенный код Python выполняется, и отображается график.

pip install plotai

▪Github

@data_analysis_ml

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю

Почитать:
— Исследование рыночной корзины на основе данных розничной торговли в Стамбуле
— Классификация текстов в spaCy: пошаговая инструкция
— Как мы запустили автобиддер для управления рекламными кампаниями в Ozon?
— Приглашаем на Ozon Tech Community ML&DS Meetup
— Правда ли то, что национальный корпус русского языка «приватизирован» Яндексом?
— Первое слово из нераспечатанного Геркуланумского папируса обнаружено 21-летним студентом факультета информатики
— Построение ML модели для оценки текста языкового экзамена
— Разметка данных при помощи GPT-4
— Антон Мальцев про удобные NPU, Computer Vision для коботов и восстание неуклюжих машин
— От A/B-тестирования к Causal Inference в оффлайн ритейле
— What was that commit? Searching GitHub with OpenAI embeddings
— Simplifying the Fundamentals of Machine Learning
— Data Cleaning with Pandas
— Using machine learning to predict the selling price of a property
— Engineering Practice for Real-time Feature Store in Decision-Making Machine Learning
— What are biases in Machine Learning?
— Hacktoberfest Machine Learning Projects for JS/TS Developers 🎃
— Build a Text Summarization app using Reflex (Pure Python)
— Diving Deep into AI with open-appsec: A Personal Journey of Discovery and Growth
— AI-Powered Cybersecurity: The Future of Protection

Посмотреть:
🌐 Building a Data-Driven Workforce - Dominic Bohan (⏱ 32:52)
🌐 Enabling AI Transformation: MLOps Infrastructure, AI Command Centre & Data Science in Telecom (⏱ 33:08)
🌐 Пишем телеграм бота для скачивания #yotube видео (⏱ 20:41)

Хорошего дня!

@data_analysis_ml

📑 𝐦𝐥𝐟𝐥𝐨𝐰.𝐚𝐮𝐭𝐨𝐥𝐨𝐠()

Сохранение параметров, метрик во время обучения позволяет воспроизводить эксперименты и выбирать наиболее эффективную модель. Однако написание множества записей в логах может быть обременительным.

Для автоматического логирования добавьте 𝐦𝐥𝐟𝐥𝐨𝐰.𝐚𝐮𝐭𝐨𝐥𝐨𝐠() перед вашим кодом обучения модели.

▪ Github

@data_analysis_ml

🎓 Open Source AI Projects and Tools to Try in 2023

Существует множество инструментов искусственного интеллекта, и многие из них имеют открытый исходный код и бесплатны для использования.

Чтобы помочь вам узнать о некоторых полезных из них, представляем вам это подробное руководство для дата саентистов.

Он рассказывает о таких инструментах, как Tensorflow, Hugging Face Transformers, Fauxpilot и других.

https://www.freecodecamp.org/news/open-source-ai/

@data_analysis_ml

При просмотре кода на #GitHub навигация по файлам может быть неудобной. Попробуйте редактор GitHub.deb с интерфейсом, похожим на VSCode, для удобного просмотра и работы с проектами.

Этот редактор также отлично подходит для быстрых коммитов.

@data_analysis_ml

☄️ Ray - это унифицированный фреймворк для масштабирования приложений ИИ и Python.

Ray состоит из ядра распределенной среды выполнения и набора библиотек ИИ.

На картинке пример кода, для динамического запуска очереди из 𝗡 заданий на 𝗞 GPU.

▪Github
▪Ray

@data_analysis_ml

🥇 The Most Comprehensive List of Kaggle Solutions and Ideas.

Этот репозиторий - настоящее золото для всех начинающих и практикующих специалистов в области Data Science, Machine Learning!

Просто зайдите и получите доступ практически ко всем лучшим решениям и идеям, которыми поделились топовые участники соревнований Kaggle.

▪Github
▪Сайт

@data_analysis_ml

🔥 Лучшие инструменты ИИ в Data Science:

❯ Генерация кратких обзоров YouTube видео
https://eightify.app/sk2

❯ ИИ для аналитики данных
https://rapidminer.com

❯ Визуализация данных
https://tableau.com

❯ Бизнес-аналитика
https://powerbi.microsoft.com

❯ Аналитика, развертывание, масштабирование
https://knime.com

❯ Бизнес-аналитика (BI)
https://akkio.com
https://polymersearch.com

❯ Текстовая аналитика без кода
https://monkeylearn.com

❯ Copilot
https://codium.ai

@data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю

Почитать:
— Как получить полезную информацию из своих категориальных признаков?
— 5 лучших функций создания массивов в Numpy для начинающих
— Введение в data science: инструменты и методы анализа
— Airflow в Kubernetes. Часть 1
— WTH is Retrieval Augmented Generation (RAG)?
— The Complete Guide to Time Series Models.
— Uncovering Inventory Insights:Mintclassics (Coursera)
— Data Analyst Roadmap: How to Go From Zero to Hero
— Is Coding a Necessity for Data Analysts?
— A Beginner's Guide to Data Visualization: Making Numbers Tell a Story
— Choosing a Stream Processing System? This Article Has You Covered!
— Logistic Regression made simple and what to look out for 🤔
— Revolutionize Your E-Commerce Strategy with AI-Powered Amazon Price Scraping
— How to Scrape Amazon PPC AD Data using Python

Посмотреть:
🌐 How to Get Ahead of 99% of Data Scientists (Tips from Tyler Richards) (⏱ 53:20)
🌐 Прогнозирование цены биткоина при помощи VAR, XGBoost, FB Prophet (⏱ 20:29)
🌐 Django настройка админки (⏱ 06:55)
🌐 Задача на палиндром строки на C++ (⏱ 00:59)
🌐 Django расширяем функционал! (⏱ 07:03)
🌐 Making Private Data Open and Enhancing Decision-Making through Digital Atlases (⏱ 28:27)
🌐 NVIDIA’s New AI: 20% Faster Game Graphics! (⏱ 04:58)
🌐 DALL-E 3 Is Now Free For Everyone! (⏱ 05:10)

Хорошего дня!

По умолчанию трансформаторы #sklearn возвращают массив #NumPy.

Начиная с версии scikit-learn 1.3.2, можно использовать метод 𝐬𝐞𝐭_𝐨𝐮𝐭𝐩𝐮𝐭 для получения результатов в виде #pandas DataFrame.

Этот метод также может быть применен в рамках конвейера scikit-learn.

@data_analysis_ml