При просмотре кода на #GitHub навигация по файлам может быть неудобной. Попробуйте редактор GitHub.deb с интерфейсом, похожим на VSCode, для удобного просмотра и работы с проектами.

Этот редактор также отлично подходит для быстрых коммитов.

@data_analysis_ml

☄️ Ray - это унифицированный фреймворк для масштабирования приложений ИИ и Python.

Ray состоит из ядра распределенной среды выполнения и набора библиотек ИИ.

На картинке пример кода, для динамического запуска очереди из 𝗡 заданий на 𝗞 GPU.

▪Github
▪Ray

@data_analysis_ml

🥇 The Most Comprehensive List of Kaggle Solutions and Ideas.

Этот репозиторий - настоящее золото для всех начинающих и практикующих специалистов в области Data Science, Machine Learning!

Просто зайдите и получите доступ практически ко всем лучшим решениям и идеям, которыми поделились топовые участники соревнований Kaggle.

▪Github
▪Сайт

@data_analysis_ml

🔥 Лучшие инструменты ИИ в Data Science:

❯ Генерация кратких обзоров YouTube видео
https://eightify.app/sk2

❯ ИИ для аналитики данных
https://rapidminer.com

❯ Визуализация данных
https://tableau.com

❯ Бизнес-аналитика
https://powerbi.microsoft.com

❯ Аналитика, развертывание, масштабирование
https://knime.com

❯ Бизнес-аналитика (BI)
https://akkio.com
https://polymersearch.com

❯ Текстовая аналитика без кода
https://monkeylearn.com

❯ Copilot
https://codium.ai

@data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю

Почитать:
— Как получить полезную информацию из своих категориальных признаков?
— 5 лучших функций создания массивов в Numpy для начинающих
— Введение в data science: инструменты и методы анализа
— Airflow в Kubernetes. Часть 1
— WTH is Retrieval Augmented Generation (RAG)?
— The Complete Guide to Time Series Models.
— Uncovering Inventory Insights:Mintclassics (Coursera)
— Data Analyst Roadmap: How to Go From Zero to Hero
— Is Coding a Necessity for Data Analysts?
— A Beginner's Guide to Data Visualization: Making Numbers Tell a Story
— Choosing a Stream Processing System? This Article Has You Covered!
— Logistic Regression made simple and what to look out for 🤔
— Revolutionize Your E-Commerce Strategy with AI-Powered Amazon Price Scraping
— How to Scrape Amazon PPC AD Data using Python

Посмотреть:
🌐 How to Get Ahead of 99% of Data Scientists (Tips from Tyler Richards) (⏱ 53:20)
🌐 Прогнозирование цены биткоина при помощи VAR, XGBoost, FB Prophet (⏱ 20:29)
🌐 Django настройка админки (⏱ 06:55)
🌐 Задача на палиндром строки на C++ (⏱ 00:59)
🌐 Django расширяем функционал! (⏱ 07:03)
🌐 Making Private Data Open and Enhancing Decision-Making through Digital Atlases (⏱ 28:27)
🌐 NVIDIA’s New AI: 20% Faster Game Graphics! (⏱ 04:58)
🌐 DALL-E 3 Is Now Free For Everyone! (⏱ 05:10)

Хорошего дня!

По умолчанию трансформаторы #sklearn возвращают массив #NumPy.

Начиная с версии scikit-learn 1.3.2, можно использовать метод 𝐬𝐞𝐭_𝐨𝐮𝐭𝐩𝐮𝐭 для получения результатов в виде #pandas DataFrame.

Этот метод также может быть применен в рамках конвейера scikit-learn.

@data_analysis_ml

🐍 Если вы хотите быть в курсе того, что нового в PyTorch, у вас есть хорошие новости!

Видео с конференции PyTorch 2023 теперь доступны на YouTube.

Переговоры охватывают широкий спектр тем:
- Новые функции в PyTorch 2.1.
- TorchFix, инструмент, помогающий очистить ваш код PyTorch.
- Как ускорить вывод модели
- Советы по масштабному распределенному обучению
И многое другое.

📌 Смотреть

@data_analysis_ml

🔋 A unified platform for Accelerated Computing

Covalent - это Python синструмент для ученых, инженеров-программистов AI/ML и всех, кому необходимо проводить эксперименты на ограниченных или дорогих вычислительных ресурсах, включая квантовые компьютеры, кластеры HPC, мощные GPU и облачные сервисы.

Covalent позволяет исследователю выполнять вычислительные задачи на передовой аппаратной платформе - квантовом компьютере или бессерверном кластере HPC - с помощью нескольких строк кода.

pip install covalent

📌 Github

@data_analysis_ml

⚡️ Глубокое погружение в режим Copy-on-Write в pandas.
Часть 1

Как Copy-on-Write изменяет поведение pandas
Многие из вас наверняка знакомы со следующими предостережениями в pandas:
import pandas as pd

df = pd.DataFrame({"student_id": [1, 2, 3], "grade": ["A", "C", "D"]})

Выделим grade-столбец и перезапишем первую строку с "E".
grades = df["grade"]
grades.iloc[0] = "E"
df

student_id grade
0 1 E
1 2 C
2 3 D

К сожалению, при этом также обновляется df, а не только grades, что чревато появлением трудно обнаруживаемых ошибок. CoW запрещает такое поведение и обеспечивает обновление только df. Мы также видим ложноположительное предупреждение SettingWithCopyWarning, которое здесь нам не поможет.

Рассмотрим пример ChainedIndexing, в котором ничего не происходит:
df[df["student_id"] > 2]["grades"] = "F"
df

student_id grade
0 1 A
1 2 C
2 3 D

Снова получаем сообщение SettingWithCopyWarning, но в данном примере с df ничего не происходит. Все эти проблемы сводятся к правилам копий и представлений в NumPy, которые задействуются в pandas “под капотом”. Пользователи pandas должны знать эти правила и то, как они применяются к DataFrame pandas, чтобы понимать, почему похожие паттерны кода дают разные результаты.

CoW устраняет все эти несоответствия. В режиме CoW пользователи могут обновлять только один объект за раз. Например, в первом примере df не изменится, поскольку в это время обновляется только grades, а во втором примере, где прежде ничего не происходило, будет выдана ошибка ChainedAssignmentError. Как правило, обновить два объекта одновременно не удается: каждый объект ведет себя как копия предыдущего объекта.

Таких случаев гораздо больше, но их рассмотрение не входит в нашу задачу.

Как это работает
Углубимся в механизм Copy-on-Write и остановимся на некоторых фактах, которые полезно знать. Это основная часть статьи, и она будет носить достаточно технический характер.

📌 Читать

@data_analysis_ml

🚀 SQL для Data Science Полный учебный план.

План рассчитан на 28 дней, в течение которых необходимо уделять не менее 1,5 часов в день.

Неделя 1: Основы SQL

День 1-3: Знакомство с синтаксисом SQL, операторами SELECT, фильтрацией и сортировкой.
Ресурсы: Курс Khan Academy "Intro to SQL" на YouTube.
📌Python и базы данных

День 4-5: Работа с несколькими таблицами с помощью операций JOIN.
Ресурс: Курс DataCamp "Объединение данных в SQL".

День 6-7: Агрегирование данных с помощью GROUP BY, HAVING и понимание подзапросов.
Ресурс: Специализация Coursera "SQL for Data Science".

Неделя 2: Углубляемся в SQL

День 8-10: Изучение запросов(INSERT, UPDATE, DELETE) и работа со значениями NULL.
Ресурсы: Плейлист YouTube Калеба Карри на тему "Самоучители SQL".

День 11-12: Погружение в нормализацию данных и принципы проектирования баз данных.
Ресурсы: Плейлист YouTube - Базовая концепция нормализации баз данных

День 13-14: Знакомство с оконными функциями для расширенного манипулирования данными.
Ресурс: Самоучитель SQL - оконные функции от BeardedDev

Неделя 3: Расширенные методы работы с SQL

День 15-17: Освоение подзапросов и коррелированных подзапросов.
Ресурс: курс techTFQ "Подзапросы в SQL".

День 18-20: Изучение индексов, оптимизации производительности и настройки запросов.
Ресурс: Настройка производительности SQL и оптимизация запросов

День 21-22: Понимание хранимых процедур, определяемых пользователем функций и триггеров.

Неделя 4: Применение SQL в реальных условиях и практика

День 23-24: Реализация задач анализа данных, таких как очистка, преобразование и визуализация данных с помощью SQL.

День 25-28: Итоговый проект: Решение сложной задачи с использованием SQL и презентация результатов.
Ресурсы: Наборы данных Kaggle с задачами, связанными с SQL.

@data_analysis_ml

7 фреймворков для работы с LLM

1. vLLM
vLLM  —  быстрая и простая в использовании библиотека для вывода и поддержания LLM. Достигается 14-кратное  —  24-кратное увеличение производительности по сравнению с HuggingFace Transformers (HF) и 2,2-кратное  —  2,5-кратное по сравнению с HuggingFace Text Generation Inference (TGI).

2. Text Generation Inference
Text Generation Inference  —  сервер для вывода текстов, написанных на Rust, Python и gRPC. Используется в производстве в HuggingFace для управления виджетами API-вывода LLM.

3. CTranslate2
CTranslate2  —  это библиотека, написанная на языках C++ и Python, для эффективного вывода данных с помощью моделей-трансформеров.

4. DeepSpeed-MII
Благодаря DeepSpeed, MII обеспечивает вывод данных с низкой задержкой и высокой производительностью.

5. OpenLLM
OpenLLM  —  это открытая платформа для работы с большими языковыми моделями (LLM) в производственной среде.

6. Ray Serve
Ray Serve  —  это масштабируемая библиотека для создания API вывода в режиме онлайн. Serve не зависит от фреймворков, поэтому вы можете использовать один инструментарий для обслуживания любых моделей глубокого обучения.

7. MLC LLM
MLC LLM (Machine Learning Compilation LLM, компиляция машинного обучения для LLM)  —  это универсальное решение для развертывания, которое позволяет LLM эффективно работать на потребительских устройствах, используя нативное аппаратное ускорение.

@data_analysis_ml