🔖 Команда дня: продвинутые техники масштабирования признаков в Python

Часто мы используем стандартизацию или нормализацию — и этого достаточно.

Но если данные:
• имеют выбросы
• сильно смещены
• не похожи на нормальное распределение
➡️ тогда пора достать тяжёлую артиллерию.

Вот 4 метода масштабирования, которые спасают в таких ситуациях:

1️⃣ Квантильное преобразование (Quantile Transformer)

Преобразует распределение признака в нормальное или равномерное, используя эмпирические квантили:

from sklearn.preprocessing import QuantileTransformer
import numpy as np

X = np.array([[10], [200], [30], [40], [5000]])
qt = QuantileTransformer(output_distribution='normal', random_state=0)
X_trans = qt.fit_transform(X)

Преимущества:
• Устойчив к выбросам
• Не требует предположений о распределении
• Полезен перед алгоритмами, ожидающими нормальность (например, лин. регрессия)

2️⃣ Степенное преобразование (PowerTransformer)

Преобразует данные, делая их более похожими на нормальное распределение:

from sklearn.preprocessing import PowerTransformer
X = np.array([[1.0], [2.0], [3.0], [4.0], [5.0]])

pt = PowerTransformer(method='box-cox')
X_trans = pt.fit_transform(X)

• method='box-cox' — только для положительных значений
• Есть вариант yeo-johnson, если есть нули или отрицательные значения

Полезно, когда:
• Требуется нормальность для моделей
• Данные положительные или симметричные

3️⃣ Робастное масштабирование (RobustScaler)

Центрирует по медиане, масштабирует по интерквартильному размаху (IQR):

from sklearn.preprocessing import RobustScaler
X = np.array([[10], [20], [30], [40], [1000]])

scaler = RobustScaler()
X_trans = scaler.fit_transform(X)

Преимущества:
• Идеально при наличии выбросов
• Не страдает от смещения из-за экстремальных значений
• Альтернатива StandardScaler

4️⃣ Нормализация векторов (Unit Vector Scaling)

Масштабирует каждую строку так, чтобы её длина была равна 1 (L1 или L2-норма):

from sklearn.preprocessing import Normalizer
X = np.array([[1, 2, 3], [4, 5, 6]])

normalizer = Normalizer(norm='l2')
X_trans = normalizer.transform(X)

Когда использовать:
• При работе с векторами признаков
• Для алгоритмов, чувствительных к направлению, а не к масштабу (например, KNN, косинусное сходство)

Библиотека дата-сайентиста #буст

💹 Чек-лист: как обрабатывать большие объёмы данных

Если ваш DataFrame больше, чем ваша оперативка — вам сюда 👇

➖ How to: использовать Dask — Pandas на стероидах

— Обрабатывает данные по частям и параллельно
— Работает даже с файлами, не помещающимися в память
— Использует отложенные вычисления (операции запускаются только после .compute())

import dask.dataframe as dd

df = dd.read_csv("large_file.csv")
result = df.groupby("category")["sales"].mean().compute()

➖ How to: ускориться с помощью Polars

— Библиотека на Rust → невероятная скорость
— Ленивое API + оптимизация вычислений
— Отлично подходит для локальных ETL/дашбордов

import polars as pl

result = (
    pl.read_csv("large_file.csv").lazy()
    .filter(pl.col("sales") > 1000)
    .groupby("region")
    .agg(pl.col("sales").mean().alias("avg_sales"))
    .sort("avg_sales", descending=True)
    .collect()
)

➖ How to: передавать данные без копирования с Apache Arrow

— Формат хранения в памяти, оптимизированный под скорость
— Позволяет быстро передавать данные между Pandas, Polars и другими

import pandas as pd
import pyarrow as pa
import polars as pl

df_pandas = pd.DataFrame({"region": ["West", "East"], "sales": [100, 200]})
arrow_table = pa.Table.from_pandas(df_pandas)
df_polars = pl.from_arrow(arrow_table)

➖ How to: запускать SQL-запросы с DuckDB

— Работает как SQLite, но для аналитики
— Поддерживает прямой SQL по CSV/Parquet без загрузки в память
— Отличный выбор, если вы «мысленно на SQL»

import duckdb

query = """
SELECT category, AVG(sales) AS avg_sales
FROM 'data/transactions.parquet'
WHERE transaction_date >= '2023-01-01'
GROUP BY category
ORDER BY avg_sales DESC
"""
result = duckdb.query(query).to_df()

➖ How to: масштабировать обработку с PySpark

— Обработка огромных данных (даже в кластере)
— Поддержка отказоустойчивости и параллелизма из коробки
— Интерфейс похож на Pandas, но всё работает распределённо

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, avg

spark = SparkSession.builder.appName("SalesAnalysis").getOrCreate()
df = spark.read.csv("large_sales.csv", header=True, inferSchema=True)

result = (
    df.filter(col("region") == "West")
      .groupBy("category")
      .agg(avg("sales").alias("avg_sales"))
      .orderBy("avg_sales", ascending=False)
)

result.show()

➖ How to: ускориться локально с Vaex

— Поддерживает 100+ млн строк без загрузки в память
— Использует memory-mapped файлы и ленивые вычисления
— Удобен для локальной аналитики, визуализации, препроцессинга

import vaex

df = vaex.open("big_data.csv")
result = df[df.sales > 1000].groupby("category", agg=vaex.agg.mean("sales"))

➖ How to: стримить вручную с генераторами

— Идеально, если памяти совсем мало
— Построчная обработка без загрузки всего файла
— Полный контроль + низкий overhead

def process_csv(path):
    with open(path, "r") as f:
        header = next(f).strip().split(",")
        for line in f:
            row = line.strip().split(",")
            record = dict(zip(header, row))
            if float(record["sales"]) > 1000:
                yield {
                    "region": record["region"],
                    "sales": float(record["sales"]) * 1.1
                }

for item in process_csv("large_file.csv"):
    print(item)

Библиотека дата-сайентиста #буст

💬 Опыт подписчика: как потратить часы на очистку данных после парсинга

Один из наших подписчиков поделился своим опытом очистки грязных данных после веб-скрейпинга. Делимся его историей — вдруг вы узнаете в ней себя.

Думал, самое сложное — спарсить данные. А оказалось — привести их в порядок.

На выходных я собрал датасет для своего сайд-проекта. Парсинг прошёл без особых проблем — за пару часов всё было готово. А вот дальше началось настоящее веселье.

С чем я столкнулся:
— Пропуски в случайных местах
— Дубли из-за повторных запусков
— Даты в абсолютно разном формате
— Цены, записанные как строки, иногда даже словами ("twenty")

Потратив несколько часов на эксперименты (и выпив больше кофе, чем хотел бы признать), я кое-как вычистил всё с помощью Pandas. Делюсь, что сработало:

1️⃣ Работа с пропущенными значениями

Удалять всё подряд не хотелось, поэтому подход был аккуратным:

# Удаляю строки, где вообще нет данных
df_clean = df.dropna(how='all')

# Остальное заполняю заглушками
df_filled = df.fillna("N/A")

2️⃣ Удаление дублей

Повторные запуски скрипта дали одинаковые строки. Решается в одну строку:

df_unique = df.drop_duplicates()

3️⃣ Приведение к нужным форматам

Это спасло меня от последующих багов:

# Привожу названия товаров к нижнему регистру
df['product_name'] = df['product_name'].str.lower()

# Преобразую даты (если ошибка — получаю NaT)
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# Преобразую цену в числовой формат
df['price'] = pd.to_numeric(df['price'], errors='coerce')

4️⃣ Очистка шума

Избавился от ненужного мусора:

# Удаляю колонку, если она вообще есть
df = df.drop(columns=['unnecessary_column'], errors='ignore')

# Оставляю товары только с ценой > 10
df_filtered = df[df['price'] > 10]

5️⃣ Первые инсайты

Когда всё стало чисто, можно было наконец-то что-то анализировать:

# Средняя цена по категориям
avg_price = df_filtered.groupby('category')['price'].mean()
print(avg_price)

# Гистограмма распределения цен
df_filtered['price'].plot(kind='hist', bins=20, title='Price Distribution')
plt.xlabel("Price")
plt.show()

Что я понял:
🟣 Парсинг — это только начало. Основная боль начинается после.
🟣 Pandas — суперсила. С его помощью можно разгрести 80% хаоса.
🟣 errors='coerce' — спасение. Преобразования не падают, если формат неожиданный.
🟣 В следующий раз сначала изучу практики очистки данных, а потом буду парсить.

Сейчас ищу хорошие подходы к:
🟣 Распознаванию цен, написанных словами ("forty-two" и т.п.)
🟣 Объединению разных форматов дат (особенно с названиями месяцев в разных языках)

💬 Если у вас есть свои фишки по чистке «грязных» парсинг-данных — расскажите в комментариях.

Библиотека дата-сайентиста #междусобойчик

📹 Что посмотреть: OpenAI представила GPT-5

Прошла трансляция с официальным анонсом новой модели — GPT-5.

➡️ GPT-5 уже здесь. Новая ИИ-система от OpenAI собрала в себе всё лучшее от моделей o1 и o3. Обновлённая архитектура стала адаптивной и объединила опыт прошлых версий в единую платформу.

Что показали:
— Улучшения в reasoning и пошаговой логике
— Новый уровень качества в генерации текста и кода
— Улучшенное управление памятью и контекстом
— Демки в реальном времени
— И немного о будущем ChatGPT и API

🔗 Смотреть запись презентации: https://clc.to/vNmVGg

Библиотека дата-сайентиста #буст

🐬 Dolphin — превращает PDF в структурированные данные

Dolphin (Document Image Parsing via Heterogeneous Anchor Prompting) — 100% open source-модель для автоматического разбора PDF и сканов.

Зачем нужен:
— Конвертирует документы в готовые форматы: Markdown, HTML, LaTeX, JSON.
— Извлекает текст, таблицы, формулы и изображения.
— Полезен как для подготовки данных для LLM, так и для любых автоматизированных систем, архивов, поиска и аналитики.

Как работает:
1️⃣ Анализ макета страницы — определяет все элементы в естественном порядке чтения.
2️⃣ Параллельный парсинг — с «якорями» и промптами под каждый тип контента.

Представьте, что у вас есть 500 отчётов в PDF с финансовыми таблицами и графиками. Dolphin превращает их в аккуратный CSV или JSON, готовый для анализа в Pandas или загрузки в базу данных — без ручного копипаста и правок.

💡 Лёгкая архитектура + параллельная обработка = высокая скорость без потери качества.

🔗 Репозиторий с кодом и моделями: https://clc.to/6gPIwA

Библиотека дата-сайентиста #буст

🆕 Свежие новости для дата‑сайентистов

🚀 Ключевые анонсы и исследования
— Kaggle запускает Game Arena — cовместно с Google DeepMind представлена новая платформа для соревнований ИИ в стратегических играх.
— MIT разработал SEAL — фреймворк для того, чтобы LLM могли самообучаться, генерируя синтетические данные для собственного дообучения.
— OpenAI впервые с GPT-2 выпускает открытые веса — модели gpt-oss-120b и gpt-oss-20b доступны бесплатно для локального запуска.
— Новый инструмент Guided Learning в Google Gemini — AI-репетитор, помогающий строить глубокое понимание материала, а не просто давать ответы.
— GPT-5 официально представлен — 256k контекст, улучшенная маршрутизация, прорывы в кодинге и научных задачах.

👍 Опыт других
— Оптимизация LLM: LoRA и QLoRA
— Решение задачи коммивояжера в реальных приложениях
— Прогнозирование почасовых осадков: опыт Яндекса

Библиотека дата-сайентиста #свежак

💻 Топ-вакансий для дата-сайентистов за неделю

ML-инженер (NLP, LLM), удалёнка

Python ML Engineer — от 200 000 до 243 000 ₽, гибрид (Москва)

Data Scientist (LLM), удалёнка

Data Engineer (команда AI), удалёнка

ML-инженер (Интеграции с большими языковыми моделями) — от 280 000 до 350 000 ₽, гибрид (Москва, Санкт-Петербург)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

🐸 Библиотека дата-сайентиста

⌛ 7 приёмов в DBeaver, которые сэкономят часы дата-сайентисту

DBeaver — это не только «игрушка» для DBA. Он отлично подходит дата-сайентистам, которые часто работают с SQL-данными, готовят выборки и делают быстрый EDA до Python. Вот фичи, которые реально ускоряют работу.

1️⃣ Command Palette для всего
Ctrl + 3 (Windows) / Cmd + 3 (Mac) — мгновенный доступ к любой функции: от экспорта в CSV до поиска таблицы в схеме. Экономит тонны кликов.

2️⃣ Свой форматтер под ваш SQL
Любите, когда запросы читаются, как в учебнике? Подключите, например, pg_formatter и забудьте про хаос в SQL перед вставкой в ноутбук.

3️⃣ Раскрыть `SELECT *` в колонки
Хотите все колонки, кроме пары лишних? Ctrl + Space — и у вас полный список, без ручного переписывания.

4️⃣ Calc tab — мини Pandas прямо в IDE
Считает уникальные значения, min, max, mean, median и другие метрики прямо по результатам запроса. Можно прикинуть статистику, даже не открывая Jupyter.

5️⃣ Groupings tab — группировки без кода
Нужно быстро посчитать количество пользователей по странам или суммарный revenue? Клик — и готово, никакого GROUP BY руками.

6️⃣ SQL-шаблоны для повторяющихся запросов
Часто пишете одно и то же? Сделайте сниппет и вставляйте в один таб — например, для «SELECT \* FROM {table} WHERE date > {start}».

7️⃣ Advanced Copy для выгрузки данных
Быстрый экспорт выборки в CSV, JSON, Markdown или SQL Insert прямо из результата запроса. TSV тоже есть — открывается в Excel/Sheets без плясок с разделителями.

Как это помогает дата-сайентисту:
— Делать быстрый EDA до загрузки данных в Pandas.
— Готовить сэмплы и моковые датасеты для тестов.
— Экспортировать данные прямо в формат для ML-пайплайна.
— Сократить время между «запрос» и «первый график».

🐸 Библиотека дата-сайентиста

#буст

🖥 Вайб-кодинг: что это и как на него смотрят разработчики и работодатели

97 % программистов уже пробовали писать код с помощью ИИ.

Но облегчает ли это работу — или, наоборот, мешает расти? Как «код по вайбу» отражается на качестве, обучении и доверии к разработчику?

В статье:
— Что такое вайб-кодинг
— Почему джунам с ИИ проще, но опаснее
— Как работодатели относятся к ИИ-помощникам в коде
— Где проходит граница между полезной автоматизацией и потерей контроля

📖 Читать: https://proglib.io/sh/vtER5zUeOF

🐸 Библиотека дата-сайентиста