⚡️ Какие ограничения у логистической регрессии по сравнению с более гибкими моделями

➡️ Линейность: Logistic regression строит линейное разделение в пространстве признаков. Если границы классов нелинейные, она не справится без ручной трансформации признаков или использования полиномиальных расширений.

➡️ Аддитивность признаков: модель предполагает, что признаки складываются на шкале логарифма шансов (log-odds), что не всегда верно в реальных данных.

➡️ Ограниченная выразительная сила: при неразделимых линейно классах нужна сложная инженерия признаков.

Более гибкие модели (Random Forest, Gradient Boosting, нейросети) умеют:
➡️ захватывать сложные нелинейные зависимости,
➡️ строить более сложные поверхности решений,
➡️ но требуют больше данных и тщательной настройки гиперпараметров.

🐸 Библиотека собеса по Data Science

🔥 Почему для сложных временных рядов иногда предпочтительнее непараметрические модели

🚩 Временные ряды часто содержат нелинейную динамику, сезонность и локальные зависимости, которые сложно описать простой параметрической моделью.

🚩 Непараметрические подходы (например, kernel-based или kNN для временных рядов) адаптируются к локальным структурам без жестких предположений о функциональной форме.

🚩 Они могут точнее уловить локальные паттерны, чем линейные модели или модели с фиксированным законом затухания.

🐸 Библиотека собеса по Data Science

➡️ Нужны ли нам линейные SVM, если kernel SVM более гибкие

Да, нужны.

Линейные SVM активно применяются на практике:
🟠 Скорость и масштабируемость – в задачах с миллионами признаков (например, текстовая классификация) ядровые методы становятся вычислительно слишком тяжёлыми, а линейные SVM обучаются очень быстро.
🟠 Простота – если данные примерно линейно разделимы, то усложнять модель ядром нет смысла.
🟠 Реализация – линейные SVM (coordinate descent, dual coordinate descent) хорошо оптимизированы для работы с огромными датасетами.

🐸 Библиотека собеса по Data Science

☹️ Какие подводные камни и edge-cases встречаются при применении PCA

➡️ Масштабирование признаков — если признаки измеряются в разных единицах и имеют сильно разные масштабы, то компоненты будут доминироваться признаками с высокой дисперсией. Обычно перед PCA данные стандартизируют (mean=0, std=1).

➡️ Линейность метода — PCA работает только с линейными зависимостями. Если данные имеют нелинейную структуру (например, лежат на многообразии), то PCA не уловит её. В таких случаях применяют kernel PCA или manifold learning.

➡️ Интерпретация компонент — хотя PCA и несупервизированный метод, часто возникает соблазн приписывать главным компонентам слишком явный смысл. На деле они могут быть трудны для интерпретации.

➡️ Мало наблюдений — если выборка меньше размерности (N < D), матрица ковариации может оказаться вырожденной. Лучше использовать SVD-реализацию PCA, которая стабильнее.

➡️ Выбор числа компонент — нет универсального правила. Иногда используют порог по объяснённой дисперсии (например, 95%), иногда руководствуются доменной экспертизой или CV на супервизированной задаче.

🐸 Библиотека собеса по Data Science

⭐ Есть ли проблемы с численной стабильностью при использовании Softmax + Cross-Entropy

Да, есть:
⚠️ Переполнение: экспонента больших логитов может давать очень большие числа → floating-point overflow.
⚠️ Недополнение: логарифм очень маленьких вероятностей может привести к underflow.

Как решают:
✅ Сдвиг логитов: вычитаем максимальный логит из всех перед экспонентой — простая и эффективная хитрость.
✅ Комбинированные функции: большинство DL-библиотек используют log-softmax + negative log-likelihood в одном шаге, что обеспечивает стабильные градиенты даже для больших и маленьких логитов.

🐸 Библиотека собеса по Data Science

▫️ В чём разница между LIME и SHAP с точки зрения стабильности объяснений и теоретической основы

Обе методы дают локальные объяснения для отдельных предсказаний.

SHAP:
🤖 Основывается на кооперативной теории игр.
🤖 Гарантирует свойства консистентности и аддитивности: если вклад признака увеличивается во всех возможных комбинациях, его SHAP-значение не уменьшится.
🤖 Обычно даёт более стабильные объяснения между разными запусками.
🤖 Минус: вычислительно затратен, особенно для больших моделей.

LIME:
🤖 Строит локальную линейную аппроксимацию вокруг интересующего примера.
🤖 Объяснения могут различаться при каждом запуске из-за случайной генерации локальных точек.
🤖 Быстрее, но менее теоретически обоснован.

🐸 Библиотека собеса по Data Science

Есть ли уникальные особенности подбора гиперпараметров у параметрических и непараметрических моделей, кроме стандартной кросс-валидации

🔹 Параметрические модели

Обычно гиперпараметров меньше.

Чаще всего настраивают:
➡️ коэффициенты регуляризации (λ в ridge/lasso),
➡️ архитектуру сети (глубина, число нейронов),
➡️ степень полинома.

Важно учитывать взаимодействия гиперпараметров (например, глубина сети + скорость обучения + регуляризация).

🔹 Непараметрические модели

Количество гиперпараметров может быть больше и они сильно влияют на сложность модели.

Примеры:
➡️ число соседей в kNN,
➡️ bandwidth в kernel density estimation,
➡️ глубина деревьев и число признаков в случайных лесах.

Подбор может требовать grid search, random search или Bayesian optimization.

🐸 Библиотека собеса по Data Science

⚠️ Гарантирует ли выпуклость (convexity) лучшую обобщающую способность модели

Нет. Выпуклость гарантирует нахождение глобального минимума функции ошибки на обучающей выборке, но это не означает, что модель будет показывать лучшее обобщение на новых данных.

Даже при идеально решённой оптимизационной задаче:
➡️ возможен оверфиттинг, если модель слишком сложная для задачи;
➡️ возможен андерфиттинг, если модель слишком простая;
➡️ важную роль играют регуляризация, выбор признаков и качество данных.

🐸 Библиотека собеса по Data Science

🚩 Как расширить LSTM для двунаправленной обработки (Bidirectional LSTM)

В двунаправленной LSTM используются два отдельных блока:
➡️ один обрабатывает последовательность вперёд (от начала к концу),
➡️ второй — назад (от конца к началу).

На каждом шаге скрытые состояния обоих направлений объединяются (чаще всего конкатенацией) и формируют итоговое представление.

📌 Это даёт модели доступ к контексту из прошлого и будущего одновременно.

Пример:
➡️ в задачах NLP (классификация текста, распознавание именованных сущностей) двунаправленные LSTM показывают заметный прирост качества,
➡️ механизмы работы с памятью (гейты) остаются теми же, только потоки данных идут в двух направлениях.

🐸 Библиотека собеса по Data Science

✔️ Почему Adam иногда требует меньше подбора гиперпараметров, чем SGD

▶️ Adam автоматически адаптирует шаг обучения на основе статистик градиентов. Это делает его более устойчивым к неудачно выбранным начальными learning rate.

▶️ В случае SGD неправильный выбор learning rate (слишком большой или слишком маленький) может серьёзно замедлить или даже сорвать обучение.
Adam же, благодаря нормализации по второй моментной оценке градиентов, сглаживает такие перекосы и чаще выходит на стабильный режим обучения без тонкой ручной настройки.

🐸 Библиотека собеса по Data Science

👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science

🔎 Влияет ли выбор оптимизатора (SGD, Momentum, Adam) на стратегию планирования learning rate

Да, оптимизатор определяет, какой тип scheduler лучше работает:
🔹 Чистый SGD: очень чувствителен к величине шага. Часто применяют ступенчатое или постоянное убывание.
🔹 SGD с momentum / Nesterov: за счёт сглаживания колебаний позволяет использовать более агрессивные схемы — например, экспоненциальный decay.
🔹 Adam / RMSProp: хотя они адаптируют шаг для каждого параметра, глобальный learning rate всё равно важен. Обычно применяют полиномиальные или экспоненциальные schedules, но стартовое значение LR берут меньше, чем для SGD.

🐸 Библиотека собеса по Data Science

➡️ Может ли PCA терять важную информацию во временных рядах

Да. Если применять PCA напрямую, рассматривая каждое значение временного ряда как признак, метод полностью игнорирует порядок во времени. Это значит, что такие свойства как автокорреляция, тренды, сезонность могут быть потеряны. PCA лишь ищет направления максимальной дисперсии, но не учитывает динамику последовательности.

Как сохранить временную структуру:
🟠 строить признаки с «окнами» (short-term history),
🟠 применять windowed PCA на перекрывающихся сегментах,
🟠 использовать специальные методы: динамические факторные модели, time-lagged embeddings и др.

🐸 Библиотека собеса по Data Science

💬 Чем отличаются BatchNorm, LayerNorm и InstanceNorm

1️⃣ BatchNorm — нормализует по batch-измерению (и пространственным координатам в CNN) для каждого признака. Хорошо работает при больших батчах, но нестабилен при очень малых.

2️⃣ LayerNorm — нормализует по всем признакам внутри одного сэмпла. Часто используется в RNN и трансформерах, так как не зависит от размера batch.

3️⃣ InstanceNorm — нормализует каждый канал отдельно для каждого примера. Популярен в задачах style transfer, где важна независимость нормализации внутри одного изображения.

4️⃣ GroupNorm — компромисс: делит каналы на группы и нормализует внутри группы.

🐸 Библиотека собеса по Data Science

🔰 Как можно использовать negative sampling или похожие цели для обучения word embeddings

Negative sampling — популярная техника из Word2Vec для обучения эмбеддингов без разметки:
👉 Модель максимизирует схожесть целевого слова с реальными соседями (positive examples).
👉 Одновременно минимизирует схожесть с случайно выбранными словами (negative examples).
👉 Так обучение эффективно и масштабируемо, даже для огромных словарей.

📌 Модель учится отличать правильные соседства слов от случайного шума, что позволяет эмбеддингам захватывать семантические связи между словами.

🐸 Библиотека собеса по Data Science