👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science

🔎 Влияет ли выбор оптимизатора (SGD, Momentum, Adam) на стратегию планирования learning rate

Да, оптимизатор определяет, какой тип scheduler лучше работает:
🔹 Чистый SGD: очень чувствителен к величине шага. Часто применяют ступенчатое или постоянное убывание.
🔹 SGD с momentum / Nesterov: за счёт сглаживания колебаний позволяет использовать более агрессивные схемы — например, экспоненциальный decay.
🔹 Adam / RMSProp: хотя они адаптируют шаг для каждого параметра, глобальный learning rate всё равно важен. Обычно применяют полиномиальные или экспоненциальные schedules, но стартовое значение LR берут меньше, чем для SGD.

🐸 Библиотека собеса по Data Science

➡️ Может ли PCA терять важную информацию во временных рядах

Да. Если применять PCA напрямую, рассматривая каждое значение временного ряда как признак, метод полностью игнорирует порядок во времени. Это значит, что такие свойства как автокорреляция, тренды, сезонность могут быть потеряны. PCA лишь ищет направления максимальной дисперсии, но не учитывает динамику последовательности.

Как сохранить временную структуру:
🟠 строить признаки с «окнами» (short-term history),
🟠 применять windowed PCA на перекрывающихся сегментах,
🟠 использовать специальные методы: динамические факторные модели, time-lagged embeddings и др.

🐸 Библиотека собеса по Data Science

💬 Чем отличаются BatchNorm, LayerNorm и InstanceNorm

1️⃣ BatchNorm — нормализует по batch-измерению (и пространственным координатам в CNN) для каждого признака. Хорошо работает при больших батчах, но нестабилен при очень малых.

2️⃣ LayerNorm — нормализует по всем признакам внутри одного сэмпла. Часто используется в RNN и трансформерах, так как не зависит от размера batch.

3️⃣ InstanceNorm — нормализует каждый канал отдельно для каждого примера. Популярен в задачах style transfer, где важна независимость нормализации внутри одного изображения.

4️⃣ GroupNorm — компромисс: делит каналы на группы и нормализует внутри группы.

🐸 Библиотека собеса по Data Science

🔰 Как можно использовать negative sampling или похожие цели для обучения word embeddings

Negative sampling — популярная техника из Word2Vec для обучения эмбеддингов без разметки:
👉 Модель максимизирует схожесть целевого слова с реальными соседями (positive examples).
👉 Одновременно минимизирует схожесть с случайно выбранными словами (negative examples).
👉 Так обучение эффективно и масштабируемо, даже для огромных словарей.

📌 Модель учится отличать правильные соседства слов от случайного шума, что позволяет эмбеддингам захватывать семантические связи между словами.

🐸 Библиотека собеса по Data Science

На какие слои лучше накладывать L1/L2-регуляризацию в глубокой сети

Не все слои одинаково выигрывают от регуляризации. Основные моменты:
➡️ Входной слой: L1 может помочь в отборе признаков, зануляя веса для нерелевантных фич.
➡️ Скрытые слои: полезно для широких dense-слоёв, чтобы снизить сложность и переобучение.
➡️ Выходной слой: регуляризация на финальных весах может немного улучшить обобщающую способность, но не решает проблему, если ранние слои сильно переобучены.
➡️ CNN: регуляризация фильтров может «обрезать» целые каналы, ускоряя сеть. Для dense-слоёв чаще возникает разреженность весов.

Подводный камень: одинаковый коэффициент λ для всех слоёв может быть неэффективным. Ранние слои (низкоуровневые признаки) часто менее склонны к переобучению, чем глубокие.

🐸 Библиотека собеса по Data Science

💬 Как инициализировать параметры в логистической регрессии, и важно ли это

Частый вариант: веса
𝑤
w инициализируют нулями или малыми случайными значениями.

🔎 Почему работает: отрицательный логарифм правдоподобия в логистической регрессии — выпуклая функция, поэтому оптимизация сходится к глобальному минимуму независимо от стартовой точки.

🔎 Когда стоит подумать о случайной инициализации: при огромном числе признаков или сильно скоррелированных признаках случайная инициализация может помочь избежать вырожденных конфигураций.

🙂 Для стандартных задач нулевая инициализация чаще всего достаточно хороша; проблем с глобальным минимумом не возникает.

🐸 Библиотека собеса по Data Science

✅ Совпадают ли главные компоненты (PCA) с независимыми факторами в данных

Не всегда.

❇️ PCA находит некоррелированные направления (ортогональные в пространстве признаков).

❇️ Но некоррелированность ≠ независимость. Две переменные могут быть некоррелированными и при этом зависимыми (например, иметь нелинейную связь).

❇️ Поэтому PCA отлично подходит для снижения размерности, но не гарантирует восстановление «истинных» скрытых факторов.

❇️ Если требуется именно статистическая независимость (например, в задачах разделения источников звука), используют ICA (Independent Component Analysis).

🐸 Библиотека собеса по Data Science

📌 Зачем нужна регуляризация в логистической регрессии

Регуляризация добавляет штраф к функции потерь, контролируя величину весов θ. Это:
🟠 предотвращает переобучение на данных с большим числом признаков,
🟠 делает модель устойчивее к шумовым или редко встречающимся признакам,
🟠 улучшает обобщающую способность.

Популярные варианты:
📌 L2 (ridge) — сглаживает веса, делая их небольшими,
📌 L1 (lasso) — зануляет часть весов, отбрасывая неважные признаки.

🐸 Библиотека собеса по Data Science

🗂 Может ли регуляризация превратить неконвексную функцию потерь в выпуклую

Стандартные регуляризаторы (например, L1 или L2) не делают нейросетевую задачу выпуклой. Если в модели есть несколько слоёв и нелинейные активации, задача оптимизации остаётся неконвексной.

Однако регуляризация:
🅱️ сглаживает ландшафт функции потерь,
🅱️ уменьшает амплитуду «плохих» локальных минимумов,
🅱️ снижает риск переобучения,
🅱️ помогает найти более устойчивые решения.

👉 То есть регуляризация не исправляет геометрию задачи, но делает обучение практичнее и надёжнее.

🐸 Библиотека собеса по Data Science

🔎 Если в признаке много пропущенных значений, стоит ли его всегда удалять

Не обязательно. Пропуски могут сами по себе содержать полезную информацию. Например:

В медицине отсутствие результата теста может говорить о том, что тест не был назначен — это уже сигнал для модели.

Практический подход:
✅ Создать индикатор пропусков — бинарный флаг, показывающий, было ли значение пропущено.
✅ Использовать методы импутации: среднее, медиана, MICE, KNN или специфичные для задачи подходы.

Удалять только если:
— пропуски случайны,
— нет смысла в дополнительной обработке,
— или качество модели не ухудшается без этого признака.

👉 Пропуски — это не всегда «мусор». Иногда они сами по себе становятся информативным признаком.

🐸 Библиотека собеса по Data Science

💬 Существует ли доверительный интервал (confidence interval) для AUC

Да. AUC рассчитывается на основе конечной выборки, поэтому подвержен вариабельности.

Как оценить доверительный интервал:
🔹 Бутстрэп (Bootstrapping): многократная переоценка AUC на случайных подвыборках для построения распределения.
🔹 Другие статистические методы: используются для проверки значимости различий между моделями.

✅ В критических приложениях это помогает понять, насколько уверенно модель превосходит альтернативы.

🐸 Библиотека собеса по Data Science

📊 Как байесовский вывод масштабируется для высокоразмерных данных

Байесовский вывод становится сложным по мере увеличения размерности — апостериорное распределение может быть чрезвычайно сложным, и точные вычисления становятся невозможными.

Основные подходы 👇

1️⃣ Вариационный вывод (Variational Inference, VI):
— Аппроксимирует апостериорное распределение более простой семьей распределений.
— Параметры оптимизируются для минимизации расхождения с истинным апостериорным распределением.
— Эффективно, но вводит ошибку аппроксимации.

2️⃣ Методы Монте-Карло по цепям Маркова (MCMC):
— Генерация выборок из апостериора (например, Hamiltonian Monte Carlo).
— Мощный метод, но медленный при высокой размерности.

3️⃣ Байесовские нейронные сети:
— Используют аппроксимации, например, Monte Carlo dropout, для оценки неопределенности.
— Вычислительно затратны, но возможны при аккуратной настройке.

🐸 Библиотека собеса по Data Science

⏱ Какие основные проблемы при применении стандартной k-fold кросс-валидации к временным рядам

Временные ряды часто имеют сильные зависимости во времени.

Стандартная k-fold кросс-валидация использует случайные разбиения, игнорируя порядок времени. Это может привести к «утечке будущей информации» в тренировочный набор.

Например, если данные из будущего используются для обучения, а валидация проводится на данных из прошлого, оценка модели будет нереалистичной для реального прогнозирования.

🐸 Библиотека собеса по Data Science

⚡️ Как устанавливать скорость обучения (learning rate) при дообучении модели (fine-tuning)

При дообучении обычно используют меньшую скорость обучения для предварительно обученных слоёв и более высокую — для вновь добавленных слоёв.

Это позволяет сохранять полезные представления, которые модель уже изучила, и аккуратно их корректировать.

Часто применяют постепенное уменьшение learning rate по слоям: глубокие слои получают очень маленький шаг, а новые слои — больший.

🐸 Библиотека собеса по Data Science