⚙️ Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации

Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы:
🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных.
🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны».
🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.

Кросс-энтропия (Cross-Entropy), напротив:
🚩 Напрямую соответствует задаче максимизации лог-правдоподобия.
🚩 Даёт более информативные градиенты.
🚩 На практике почти всегда сходится быстрее и стабильнее.

🐸 Библиотека собеса по Data Science

💬 Гарантирует ли одна только контейнеризация воспроизводимость результатов

Контейнеризация (Docker, Singularity и т.п.) отлично фиксирует окружение: версии библиотек, драйверы CUDA, системные зависимости.

Но этого недостаточно, если другие факторы не контролируются:
➡️ Данные: если модель тянет «живые» данные без сохранённого среза, результат будет меняться.
➡️ Случайность: без фиксации random seeds итог обучения может отличаться.
➡️ Гиперпараметры и конфигурации: их нужно явно сохранять и версионировать.
➡️ Аппаратное различие: разные GPU/CPU могут давать небольшие численные расхождения из-за особенностей вычислений с плавающей точкой.

🐸 Библиотека собеса по Data Science

⚡️ Какие ограничения у логистической регрессии по сравнению с более гибкими моделями

➡️ Линейность: Logistic regression строит линейное разделение в пространстве признаков. Если границы классов нелинейные, она не справится без ручной трансформации признаков или использования полиномиальных расширений.

➡️ Аддитивность признаков: модель предполагает, что признаки складываются на шкале логарифма шансов (log-odds), что не всегда верно в реальных данных.

➡️ Ограниченная выразительная сила: при неразделимых линейно классах нужна сложная инженерия признаков.

Более гибкие модели (Random Forest, Gradient Boosting, нейросети) умеют:
➡️ захватывать сложные нелинейные зависимости,
➡️ строить более сложные поверхности решений,
➡️ но требуют больше данных и тщательной настройки гиперпараметров.

🐸 Библиотека собеса по Data Science

🔥 Почему для сложных временных рядов иногда предпочтительнее непараметрические модели

🚩 Временные ряды часто содержат нелинейную динамику, сезонность и локальные зависимости, которые сложно описать простой параметрической моделью.

🚩 Непараметрические подходы (например, kernel-based или kNN для временных рядов) адаптируются к локальным структурам без жестких предположений о функциональной форме.

🚩 Они могут точнее уловить локальные паттерны, чем линейные модели или модели с фиксированным законом затухания.

🐸 Библиотека собеса по Data Science