🖥 Pandaral·lel

Если вы хотите распараллелить операции #Pandas на всех доступных процессорах, добавив всего одну строку кода, попробуйте pandarallel.

pip install pandarallel

from pandarallel import pandarallel

pandarallel.initialize(progress_bar=True)

# df.apply(func)
df.parallel_apply(func)

▪ Github
▪ Docs

@data_analysis_ml

🖥 Раньше в pandas, если в Series (серии) были пропущенные значения, то тип данных преобразовывался в float, что приводило к потенциальной потере данных.

С интеграцией Apache Arrow в #pandas 2.0 эта проблема была решена.

@data_analysis_ml

✅ DP-Auditorium - один из самых мощных фреймворков для защиты данных с открытым исходным кодом от Google.

▪Подробнее
▪Github

@data_analysis_ml

⚡️ Lightwood

При работе мы Дата Сентисты тратим много времени на написание одного и того же кода для очистки, подготовки данных и построения моделей ⌛️.

Рекомендую попробовать lightwood - AutoML фреймворк, который принимает на вход данные, целевую переменную и генерирует для вас целый конвейер машинного обучения.

pip3 install lightwood

▪Github

@data_analysis_ml

12 стратегий настройки готовых к производству RAG-приложений

В этой статье будем рассматривать конвейер RAG (Retrieval-Augmented Generation — генерация с расширенным извлечением) с точки зрения специалиста по изучению данных.

Мы обсудим потенциальные “гиперпараметры”, с которыми можно экспериментировать, чтобы улучшить производительность конвейера RAG. В качестве аналогии можно привести опыты в сфере глубокого обучения, где, например, методы расширения данных — это не гиперпараметры, а своеобразные рычаги, которые настраивают и с которыми проводят эксперименты.

В этой статье мы также рассмотрим различные применимые стратегии настроек, сами по себе не являющиеся гиперпараметрами.

Мы обсудим нижеуказанные гиперпараметры, распределенные по соответствующим этапам. На этапе поглощения данных конвейером RAG можно добиться повышения производительности за счет:

🟡очистки данных;
🟡разбивки на фрагменты;
🟡эмбеддинг-моделей;
🟡использования метаданных;
🟡мультииндексации;
🟡алгоритмов индексирования.

На этапе вывода (извлечения и генерации) вы можете воспользоваться:

🟢преобразованием запросов;
🟢оптимизацией параметров извлечения;
🟢продвинутыми стратегиями извлечения;
🟢моделями повторного ранжирования;
🟢LLM;
🟢промпт-инжинирингом.

Обратите внимание: в этой статье рассматриваются варианты использования RAG по отношению к текстам. Для мультимодальных RAG-приложений могут применяться иные соображения.

📌 Статья

@data_analysis_ml

🤖 DataDreamer - это мощная библиотека Python с открытым исходным кодом для легкого создания промптов, синтетических данных и рабочих процессов обучения.

Установка:

pip3 install datadreamer.dev

▪репо: https://github.com/datadreamer-dev/DataDreamer
▪документация: https://datadreamer.dev/docs/latest/#installation

@data_analysis_ml

🖥 Лучшие бесплатные курсы по искусственному интеллекту в 2024 году.

▪Читать

@data_analysis_ml

🎉 Андрей Карпати снова в деле!

Только что вышел новый двухчасовой туториал по созданию GPT Tokenizer.

В этой лекции вы с нуля построите свой токенизатор, используемый в GPT от OpenAI.

В процессе вы увидите, что многие странные поведения и проблемы LLM на самом деле связаны именно с токенизацией.

В лекции рассматривается ряд этих проблем, и обсуждается, почему именно токенизация виновата в них, и почему в идеале кто-то должен найти способ полностью удалить этот этап.

Video: https://www.youtube.com/watch?v=zduSFxRajkE

Colab: https://colab.research.google.com/drive/1y0KnCFZvGVf_odSfcNAws6kcDD7HsI0L?usp=sharing

@data_analysis_ml