✨ Парадокс Монти-Холла из теории вероятностей

В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим?
Хотите взорвать себе мозг?
Не проблема, сейчас всё будет

⏩Итак, перед вами 3 двери, только за 1 из них приз.
Вы выбрали любую дверь.
Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом).
Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь.
Изменится ли вероятность победы, если поменять дверь?

Подумайте очень хорошо;
Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей.
После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой.
2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3.
Или нет?

⏩Итак, поменяется ли вероятность выиграть, если вы выберете другую дверь?
Для большей уверенности можно смоделировать это в Python

Да, если поменять дверь, вероятность выиграть будет 2/3, а не 1/3, как было бы, если не менять дверь
Что?!
Это реально контринтуитивно, но численный эксперимент на Python это подтверждает.
Вообще, можете написать своё решение, чтобы 100% удостовериться

📎А вот статья, которая поможет в этом разобраться — «Голуби брутфорсят парадокс Монти-Холла лучше людей»

📎 Код можно запустить тут

@machinelearning_interview

📌Карта навыков дата-сайнтистов и ML-разработчиков

⏩Ребятки из Яндекса посчитали запросы ML-разработчиков про разные технические навыки. Для этого нашли пользователей, которые часто спрашивали что-нибудь про машинное обучение, и собрали все их программистские запросы — те, на которые Яндекс отвечал ссылками на Stack Overflow.
Навыками считали теги вопросов на Stack Overflow, популярностью навыков — число запросов, на которые Поиск отвечал страницами с соответствующими тегами.

⏩Получилась вот такая карта технических навыков, которые ML-разработчики регулярно используют в своей работе. Размер навыка на карте соответствует числу посвящённых ему поисковых запросов. Чем ближе два навыка друг к другу, тем чаще они соседствуют с одними и теми же тегами в вопросах на Stack Overflow, то есть ближе контекст, в котором они применяются.

Отличная штука, чтобы понять, куда развиваться и расти дальше — пользуйтесь)

📎 Интерактивная карта

@machinelearning_interview

🌟 Интерпретируемое машинное обучение для TabPFN

Держите интересное недавнее исследование про TabPFN и интерпертируемое ML.
Некоторые факты из этой работы:

⏩TabPFN — сеть вероятностных признаков, сочетающая байесовский вывод и глубокое обучение.

⏩TabPFN использует алгоритм прямого прохождения для логического вывода и прогнозирования.

⏩Архитектура TabPFN облегчает внедрение дополнительных методов IML, таких как LOCO и Kernel SHAP.

⏩TabPFN имеет ограничения в масштабируемости, которые могут быть устранены с помощью контекстной оптимизации и методов оценки данных.

⏩Анализ чувствительности — это метод IML для конкретной модели, который может быть адаптирован для значений данных в TabPFN.

📎 Статья исследования

@machinelearning_interview

📌Теоретические основы всех популярных алгоритмов ML и их реализация на Python 🖥

Держите полезный контент)
В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией на Python, отражающей основную идею.

В конце каждой темы указаны дополнительные источники для более глубокого ознакомления, суммарное время прочтения статей по этим ссылкам составляет более трёх часов, что неплохо для погружения в тему
Пользуйтесь)

📎 Ссылка

@machinelearning_interview

📌Стандартизация MLOps с CRISP-ML

Стандартизация процессов позволяет унифицировать и масштабировать лучшие практики управления исследованиями и разработкой. То же самое относится и к Machine Learning, конечно.
⏩Например, CRISP-DM (Cross-Industry Standard Process for Data Mining) как наиболее распространенная методология выполнения Data Science проектов описывает их жизненный цикл в 6 фазах.

Вот, собственно, эти 6 фаз:
— понимание бизнеса и данных
— инженерия данных
— моделирование машинного обучения
— обеспечение качества приложений машинного обучения
— развертывание ML-модели
— мониторинг и обслуживание ML-системы

Подробнее об этом в статье
📎 Статья

@machinelearning_interview