➡️ Как физически интерпретировать состояния cell state и hidden state в LSTM

✅ Hidden state (hₜ) — это «рабочее состояние» сети, её краткосрочная память. Оно используется для текущих вычислений и передаётся на следующие слои или на выход. Можно считать его тем, что LSTM «показывает наружу» в данный момент времени.

✅ Cell state (cₜ) — это «внутренняя память» или долгосрочное хранилище. Она течёт через последовательность шагов почти напрямую, изменяясь только там, где сработают управляющие ворота (input/forget). Это позволяет LSTM аккумулировать и сохранять важную информацию на протяжении длительных интервалов.

Интуитивно:
cₜ — долгосрочные знания, которые сеть старается не потерять;
hₜ — краткосрочные представления, которые нужны здесь и сейчас для предсказаний.

🐸 Библиотека собеса по Data Science

📍 Как справляться с дисбалансом классов в небольшой целевой выборке при использовании transfer learning

Дисбаланс классов часто становится проблемой, особенно если маленький датасет значительно перекошен по классам. В transfer learning эта ситуация усугубляется, так как предобученная модель могла учиться на более сбалансированных данных (например, ImageNet).

✅ Методы решения

🔎 Сэмплинг: увеличивать количество примеров меньшинства (oversampling) или уменьшать большинства (undersampling). Важно дополнять oversampling аугментацией, чтобы избежать переобучения.

🔎 Взвешенные функции потерь: например, указывать вес классов в cross-entropy обратно пропорционально их частоте.

🔎 Тонкая настройка слоёв: иногда стоит дообучать не только “голову”, но и более глубокие слои, чтобы сеть лучше подстроилась под редкие классы.

🔎 Focal loss: акцентирует внимание на сложных примерах и помогает усилить сигнал от меньшинства.

🐸 Библиотека собеса по Data Science

👇 Как выбрать количество компонент при применении PCA

При отборе компонент часто используют метрику explained variance ratio — долю объяснённой дисперсии.

Пример:

explained_variance_ratios = np.cumsum(pca.explained_variance_ratio_)

Обычно выбирают минимальное число компонент, при котором накопленная доля дисперсии превышает порог (например, 0.95).

Но важно учитывать контекст:
— для задач с жёсткими ограничениями по памяти/вычислениям можно взять меньше компонент.
— в чувствительных приложениях (например, медицина) иногда сохраняют больше компонент, чтобы минимизировать потерю информации.

📌 Вывод: выбор количества компонент — компромисс между точностью (сохранение информации) и эффективностью (скорость и ресурсы).

🐸 Библиотека собеса по Data Science

🚩 Почему для задач классификации часто используют стратифицированную кросс-валидацию

Стратификация гарантирует, что в каждом фолде сохраняются пропорции классов, близкие к исходному датасету. Это особенно важно при дисбалансе классов.

👉 Пример: если в выборке 90% отрицательного класса и 10% положительного, обычная (нестратифицированная) разбивка может создать фолд почти без положительных примеров.

В итоге:
✅ модель получает искажённый сигнал,
✅ метрики становятся нестабильными,
✅ иногда обучение даже невозможно (например, при отсутствии класса в фолде).

Стратификация снижает эти риски и делает оценки качества более надёжными и воспроизводимыми.

🐸 Библиотека собеса по Data Science

✳️ В чём разница между статическими эмбеддингами (Word2Vec, GloVe) и контекстными (BERT, GPT)

Статические эмбеддинги (Word2Vec, GloVe, FastText):
➡️ Каждое слово в словаре имеет один фиксированный вектор.
➡️ Например, слово bank будет иметь одно представление вне зависимости от того, идёт речь о «банке» как учреждении или «берегe реки».
➡️ Просты и быстры, но не учитывают многозначность.

Контекстные эмбеддинги (BERT, GPT):
➡️ Вектор для слова зависит от его окружения.
➡️ Одно и то же bank в разных предложениях получит разные представления.
➡️ Лучше справляются с полисемией и передают более тонкий смысл.
➡️ Часто значительно повышают качество в downstream-задачах (классификация, QA, NER и др.).

🐸 Библиотека собеса по Data Science

⚙️ Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации

Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы:
🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных.
🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны».
🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.

Кросс-энтропия (Cross-Entropy), напротив:
🚩 Напрямую соответствует задаче максимизации лог-правдоподобия.
🚩 Даёт более информативные градиенты.
🚩 На практике почти всегда сходится быстрее и стабильнее.

🐸 Библиотека собеса по Data Science

💬 Гарантирует ли одна только контейнеризация воспроизводимость результатов

Контейнеризация (Docker, Singularity и т.п.) отлично фиксирует окружение: версии библиотек, драйверы CUDA, системные зависимости.

Но этого недостаточно, если другие факторы не контролируются:
➡️ Данные: если модель тянет «живые» данные без сохранённого среза, результат будет меняться.
➡️ Случайность: без фиксации random seeds итог обучения может отличаться.
➡️ Гиперпараметры и конфигурации: их нужно явно сохранять и версионировать.
➡️ Аппаратное различие: разные GPU/CPU могут давать небольшие численные расхождения из-за особенностей вычислений с плавающей точкой.

🐸 Библиотека собеса по Data Science