⚡️ Interactively explore your Huggingface dataset with one line of code

Библиотека датасетов Hugging Face не только предоставляет доступ к более чем 70 тыс. общедоступных наборов данных, но и предлагает очень удобные конвейеры подготовки данных для пользовательских наборов.

Renumics Spotlight позволяет создавать интерактивные визуализации ваши данных. Поскольку Spotlight понимает семантику данных в наборах данных Hugging Face, вы можете начать работу всего с нескольких строк кода:

import datasets
from renumics import spotlight

ds = datasets.load_dataset('speech_commands', 'v0.01', split='validation')

spotlight.show(ds)

📌 Читать дальше
📌 Github

@machinelearning_interview

📌Статья про метод главных компонент (PCA)

⏩Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной.

⏩В статье рассказывается о том, что:
• PCA может быть реализован с использованием различных методов, включая вычисление собственных векторов и собственных значений ковариационной матрицы данных и сингулярное разложение матрицы данных.

• PCA имеет преимущества, такие как понижение размерности с сохранением большого количества информации и ускорение обучения моделей.

• Однако PCA также имеет недостатки, включая потерю части информации в данных и отсутствие смыслового значения главных компонент.

• Существуют альтернативы PCA, такие как LLE, t-SNE, UMAP и autoencoders, которые могут быть предпочтительными в определенных ситуациях и типах данных.

📎 Статья

@machinelearning_interview

✨ Парадокс Монти-Холла из теории вероятностей

В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим?
Хотите взорвать себе мозг?
Не проблема, сейчас всё будет

⏩Итак, перед вами 3 двери, только за 1 из них приз.
Вы выбрали любую дверь.
Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом).
Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь.
Изменится ли вероятность победы, если поменять дверь?

Подумайте очень хорошо;
Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей.
После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой.
2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3.
Или нет?

⏩Итак, поменяется ли вероятность выиграть, если вы выберете другую дверь?
Для большей уверенности можно смоделировать это в Python

Да, если поменять дверь, вероятность выиграть будет 2/3, а не 1/3, как было бы, если не менять дверь
Что?!
Это реально контринтуитивно, но численный эксперимент на Python это подтверждает.
Вообще, можете написать своё решение, чтобы 100% удостовериться

📎А вот статья, которая поможет в этом разобраться — «Голуби брутфорсят парадокс Монти-Холла лучше людей»

📎 Код можно запустить тут

@machinelearning_interview

📌Карта навыков дата-сайнтистов и ML-разработчиков

⏩Ребятки из Яндекса посчитали запросы ML-разработчиков про разные технические навыки. Для этого нашли пользователей, которые часто спрашивали что-нибудь про машинное обучение, и собрали все их программистские запросы — те, на которые Яндекс отвечал ссылками на Stack Overflow.
Навыками считали теги вопросов на Stack Overflow, популярностью навыков — число запросов, на которые Поиск отвечал страницами с соответствующими тегами.

⏩Получилась вот такая карта технических навыков, которые ML-разработчики регулярно используют в своей работе. Размер навыка на карте соответствует числу посвящённых ему поисковых запросов. Чем ближе два навыка друг к другу, тем чаще они соседствуют с одними и теми же тегами в вопросах на Stack Overflow, то есть ближе контекст, в котором они применяются.

Отличная штука, чтобы понять, куда развиваться и расти дальше — пользуйтесь)

📎 Интерактивная карта

@machinelearning_interview

🌟 Интерпретируемое машинное обучение для TabPFN

Держите интересное недавнее исследование про TabPFN и интерпертируемое ML.
Некоторые факты из этой работы:

⏩TabPFN — сеть вероятностных признаков, сочетающая байесовский вывод и глубокое обучение.

⏩TabPFN использует алгоритм прямого прохождения для логического вывода и прогнозирования.

⏩Архитектура TabPFN облегчает внедрение дополнительных методов IML, таких как LOCO и Kernel SHAP.

⏩TabPFN имеет ограничения в масштабируемости, которые могут быть устранены с помощью контекстной оптимизации и методов оценки данных.

⏩Анализ чувствительности — это метод IML для конкретной модели, который может быть адаптирован для значений данных в TabPFN.

📎 Статья исследования

@machinelearning_interview