#dl #llm #courses

#ml #interview

Готовимся к собесу, шпаргалка по деревьям

Общее понимание градиентного бустинга

Изначальный алгоритм Фридмана (Friedman, 2001) задаёт базовый принцип.
Идея: мы берём функцию потерь (loss), которую нужно минимизировать ансамблем слабых моделей (обычно деревья решений).

Начинаем с базовой константы (например, среднее значение таргета).

На каждом шаге строим новое дерево по текущим градиентам функции потерь (первая производная по предсказанию).

Значения в листьях подбираются так, чтобы минимизировать loss в этой области (иногда используют и вторую производную для точности).

Каждое дерево добавляется в модель с коэффициентом обучения (learning rate), чтобы не переобучиться.

Фридман показал, что этот подход работает и для регрессии (MSE), и для классификации (логлосс/NLL).

Chen & Guestrin, 2016 — это про XGBoost.

В XGBoost формализовали общее выражение для прироста качества (gain) узла с учётом первых и вторых производных.

Значение листа считается по формуле:

w_j = - (sum(g_i)) / (sum(h_i) + lambda)

где
g_i — первый градиент,
h_i — второй градиент (Гессиан),
lambda — коэффициент регуляризации.

Прирост качества (gain) при разбиении узла:

gain = 0.5 * ( ( (sum(g_left))^2 / (sum(h_left) + lambda) )
             + ( (sum(g_right))^2 / (sum(h_right) + lambda) )
             - ( (sum(g_total))^2 / (sum(h_total) + lambda) ) ) - gamma

где
g_left, h_left — суммы градиентов и Гессианов для левого узла,
g_right, h_right — суммы для правого узла,
g_total, h_total — суммы для всего узла до разбиения,
gamma — минимальный прирост, чтобы оставить разбиение (если меньше, то узел схлопывается, читай прунинг).

Prokhorenkova et al., 2018 — про CatBoost.
Там основное — как бороться с переобучением и эффективно работать с категориальными признаками.

Категориальные фичи: кодирование делается через "средние по таргету", но с порядковым шифтом (ordered target encoding). То есть значение для объекта считается только по предыдущим объектам в случайной перестановке. Это сильно уменьшает target leakage.

Симметричные деревья: все разбиения на одном уровне одинаковые (level-wise). Это ускоряет инференс (можно SIMD/CPU оптимизации).

Очень много готовых функций потерь (MSE, логлосс, ранжирование, custom).

Для ранжирования — используют попарные лоссы (например, YetiRank, Pairwise). Данные группируются по запросам, и дерево строится так, чтобы правильно упорядочивать документы внутри группы.

Вопросы на собесе

1. Можно ли параллелить инференс?
Да. Каждое дерево считается независимо, потом результаты суммируются. Сумма — операция коммутативная, значит, можно распараллелить по деревьям.

2. Можно ли исключить дерево из ансамбля?
Формально да — это просто сумма функций. Но в отличие от бэггинга, деревья в бустинге строятся последовательно: каждое корректирует ошибки предыдущих. Если убрать дерево, качество почти всегда ухудшится.

3. В чём отличие от бэггинга/Random Forest?

В бустинге деревья строятся последовательно и учитывают ошибки прошлых шагов.

В RF деревья строятся независимо, а результат усредняется.

RF больше про снижение дисперсии, boosting — про уменьшение смещения.

4. Почему используют вторые производные (Hessian)?
Потому что это даёт более точную аппроксимацию loss при подборе весов листьев (аналог Ньютона вместо градиентного спуска).

#ml #interview

Готовимся к собесу: вопрос про баланс смещения и дисперсии

В классической терминологии bias–variance tradeoff — это интуитивный способ понять обобщающую способность (generalization) через разложение ошибок модели:
- Смещение (bias) — систематическая ошибка модели, часто ассоциируется с недостаточным обучением (underfitting).
- Дисперсия (variance) — ошибка, связанная с чувствительностью модели к данным; обычно её связывают с переобучением (overfitting).
- Sigma - алеаторическая ошибка (шум в данных).

В классической литературе часто приводят оценку обобщающей способности через математическое ожидание для среднеквадратичной ошибки:

E[(f_hat(x) - y)^2] = Bias(f_hat(x))**2 + Var(f_hat(x)) + sigma**2

Это выражение уходит корнями в классическую статистику и MSE-разложение. Например, в такой интерпретации линейная регрессия будет иметь высокий bias и низкую variance, а бустинг — наоборот.

Однако в современной ML-перспективе такой подход к оценке обобщающей способности используется всё реже. Явление двойного спуска (double descent) напрямую противоречит классическим выводам: с ростом сложности модели «дисперсия» не обязательно ухудшает обобщающую способность, а может снова её улучшать.

Сейчас в вопросе generalization опираются на более современные методологии:
* Оценка обобщающей способности: методы train–test gap, uniform convergence bounds, PAC-Bayes, stability, compression.
* Оценка неопределённостей (вот здесь с картинками):
- алеаторическая (aleatoric) — связана с данными,
- эпистемическая (epistemic) — связана с моделью.
* Калибровка моделей на онлайн-данных (например, модель рекомендаций).

Почему теория сместилась? Потому что для сложных нелинейных моделей невозможно адекватно описать обобщение только через «разложение ошибок по MSE», как это делалось в 80-х. Нужно получать количественные оценки generalization и uncertainty — инструменты, которые реально позволяют улучшать модели.

Таким образом, bias–variance tradeoff — это лишь частный случай общей картины:
- Bias (классика) — систематическая эпистемическая ошибка (wrong inductive bias), которую можно уменьшить улучшением модели.
- Variance (классика) — вариации ошибки эпистемической природы, также контролируемые моделью.
- σ² (классика) — алеаторическая ошибка, лежащая вне контроля модели.

#dl #cv #interview

Что такое свёртка в Graph Convolutional Networks?

Разберём на примере рекомендаций.
В рекомендациях мы оперируем явным откликом (лайк на item, покупка и т. д.) и неявным откликом (клик, просмотр видео). Если пользователь взаимодействовал с item, то в графе появляется ребро. Рёбра могут быть разных типов — в зависимости от действия. В итоге из данных формируется двудольный граф user–item.

Нейросетям на вход нужны матрицы, поэтому граф преобразуют в матрицу смежности (adjacency matrix). Кроме того, сами пользователи и items представлены эмбеддингами, которые, как правило, обучаются. В совокупности матрица смежности и эмбеддинги составляют вход для GNN.

Что есть convolution в слоях GNN?

Первый вопрос, который возникает при виде Graph Convolutional Networks (GCN) или их упрощённых вариантов вроде LightGCN: что именно здесь называется свёрткой?

Во-первых, матрица смежности A (симметричная в случае неориентированного графа) нормируется:

A′ = D^(−1/2) A D^(−1/2)

где D — диагональная матрица степеней вершин (node degree matrix). Такая нормализация нужна для уменьшения смещения при агрегации соседей.

Далее, операция свёртки на слое L в общем виде выглядит так:

H^(L+1) = σ(A′ H^(L) W^(L))

где

σ — функция активации,

H^(L) — матрица эмбеддингов на текущем слое,

W^(L) — обучаемая матрица весов слоя.

В упрощённых моделях, например LightGCN, матрицы весов W^(L) могут отсутствовать, то есть остаётся только агрегация через A′.

Почему это «свёртка»?

Популярные картинки в интернете часто проводят аналогию с классическими свёртками в CV, но она довольно условная.
Здесь «ядро свёртки» — это сама нормированная матрица смежности A′.

На первом слое она отражает прямые взаимодействия из данных (user <-> item).

На втором слое это уже (A′)^2 - то есть учёт путей длины два (user → item → user и наоборот).

На слое L это (A′)^L, что соответствует взаимодействиям на расстоянии L шагов в графе.

Важно: сама матрица смежности A′не меняется в процессе, но при возведении в степень она отражает более «дальние» связи.

Таким образом, эмбеддинги на слое L агрегируют информацию от соседей через A′ и (опционально) линейно преобразуются весами W^(L).

#gan #audio #petproject

Если завершать цикл создания цифровых персонажей, то нужно добавить генерацию видео с голосом.

Самая крутая связка на сегодняшний день elevenlabs+lipsync (а лучше даже veo3 и замена голоса через lipsync):

https://elevenlabs.io/app/speech-synthesis/text-to-speech - рекомендую попробовать gen3 + alpha (даёт управление эмоциями, передышками, почти полный контроль над речью)

Для первого варианта лучший выбор этот lipsync:
https://fal.ai/models/fal-ai/infinitalk (загружаем текст/аудио + картинку и смотрим как сгорает баланс - 1 секунда видео = 30 центов)

UPD: ПРЕДПОЧТИТЕЛЬНЫЙ ВАРИАНТ: Для второго:

https://fal.ai/models/creatify/lipsync (1 минута = 1 доллар)

С нуля до 1% 👉 @firsterstrongerbetter

#prompt #softskills

#gan #petproject