📌 Зачем нужна регуляризация в логистической регрессии

Регуляризация добавляет штраф к функции потерь, контролируя величину весов θ. Это:
🟠 предотвращает переобучение на данных с большим числом признаков,
🟠 делает модель устойчивее к шумовым или редко встречающимся признакам,
🟠 улучшает обобщающую способность.

Популярные варианты:
📌 L2 (ridge) — сглаживает веса, делая их небольшими,
📌 L1 (lasso) — зануляет часть весов, отбрасывая неважные признаки.

🐸 Библиотека собеса по Data Science

🗂 Может ли регуляризация превратить неконвексную функцию потерь в выпуклую

Стандартные регуляризаторы (например, L1 или L2) не делают нейросетевую задачу выпуклой. Если в модели есть несколько слоёв и нелинейные активации, задача оптимизации остаётся неконвексной.

Однако регуляризация:
🅱️ сглаживает ландшафт функции потерь,
🅱️ уменьшает амплитуду «плохих» локальных минимумов,
🅱️ снижает риск переобучения,
🅱️ помогает найти более устойчивые решения.

👉 То есть регуляризация не исправляет геометрию задачи, но делает обучение практичнее и надёжнее.

🐸 Библиотека собеса по Data Science

🔎 Если в признаке много пропущенных значений, стоит ли его всегда удалять

Не обязательно. Пропуски могут сами по себе содержать полезную информацию. Например:

В медицине отсутствие результата теста может говорить о том, что тест не был назначен — это уже сигнал для модели.

Практический подход:
✅ Создать индикатор пропусков — бинарный флаг, показывающий, было ли значение пропущено.
✅ Использовать методы импутации: среднее, медиана, MICE, KNN или специфичные для задачи подходы.

Удалять только если:
— пропуски случайны,
— нет смысла в дополнительной обработке,
— или качество модели не ухудшается без этого признака.

👉 Пропуски — это не всегда «мусор». Иногда они сами по себе становятся информативным признаком.

🐸 Библиотека собеса по Data Science

💬 Существует ли доверительный интервал (confidence interval) для AUC

Да. AUC рассчитывается на основе конечной выборки, поэтому подвержен вариабельности.

Как оценить доверительный интервал:
🔹 Бутстрэп (Bootstrapping): многократная переоценка AUC на случайных подвыборках для построения распределения.
🔹 Другие статистические методы: используются для проверки значимости различий между моделями.

✅ В критических приложениях это помогает понять, насколько уверенно модель превосходит альтернативы.

🐸 Библиотека собеса по Data Science

📊 Как байесовский вывод масштабируется для высокоразмерных данных

Байесовский вывод становится сложным по мере увеличения размерности — апостериорное распределение может быть чрезвычайно сложным, и точные вычисления становятся невозможными.

Основные подходы 👇

1️⃣ Вариационный вывод (Variational Inference, VI):
— Аппроксимирует апостериорное распределение более простой семьей распределений.
— Параметры оптимизируются для минимизации расхождения с истинным апостериорным распределением.
— Эффективно, но вводит ошибку аппроксимации.

2️⃣ Методы Монте-Карло по цепям Маркова (MCMC):
— Генерация выборок из апостериора (например, Hamiltonian Monte Carlo).
— Мощный метод, но медленный при высокой размерности.

3️⃣ Байесовские нейронные сети:
— Используют аппроксимации, например, Monte Carlo dropout, для оценки неопределенности.
— Вычислительно затратны, но возможны при аккуратной настройке.

🐸 Библиотека собеса по Data Science