🌟 Самые известные виды и архитектуры нейронных сетей

Вот подробнее о некоторых из них:

⏩Перцептрон — состоит из 1 слоя нейронов, которые принимают входные данные, вычисляют взвешенную сумму входов и используют функцию активации для преобразования этой суммы в выходной сигнал. Используется в основном для обучения линейно разделимых наборов данных.

⏩Рекуррентная нейронная сеть (RNN) — имеет рекуррентные (обратные) связи, что позволяет ей использовать информацию из предыдущих шагов для обработки текущих входных данных. Это делает RNN идеальной для распознавания речи, рукописного текста и перевода.

⏩LSTM (Long Short-Term Memory) — способна обучаться долговременным зависимостям, что делает их особенно полезными для задач, связанных с последовательностями. Они используются в широком диапазоне приложений, от распознавания рукописного текста и распознавания речи до генерации текста и анализа временных рядов.

⏩Сверточная нейронная сеть (CNN) — используется для обработки данных с сетчатой топологией. Они особенно полезны для обработки изображений и других двухмерных входных данных. CNN широко используются в приложениях компьютерного зрения, таких как распознавание образов и обработка изображений.

⏩Глубокая сеть доверия (DBN) — использует алгоритм глубокого обучения для обучения сложным вероятностным моделям. Используются для решения многих видов задач, таких как классификация, регрессия, кодирование, декодирование, моделирование и генерация.

⏩Генеративно-состязательная сеть (GAN) — используется для генерации новых данных, похожих на данные обучения. GAN используется для решения многих видов задач, таких как генерация изображений, преобразование изображений и восстановление изображений.

Годная статья — "Зоопарк архитектур нейронных сетей"

@machinelearning_interview

📈 Вышел первый международный рейтинг Global Generative AI Landscape 2024. Его опубликовал AIPort.

В него попали самые заметные разработки в сфере GenAI по ключевым категориям, в том числе две нейросети от Яндекса: текстовая YandexGPT и мультимодальная YandexART.

Яндекс отмечен как одна из 11 компаний со всего мира, разрабатывающих более одного типа генеративных AI-моделей. В этот же список попали Open AI, Google, Microsoft, Meta, Tencent и другие.

Странами-лидерами по количеству активных компаний GenAI стали США, Китай, Аргентина, Великобритания, Израиль, Южная Африка.

▪️Читать

@machinelearning_interview

⚡️ Interactively explore your Huggingface dataset with one line of code

Библиотека датасетов Hugging Face не только предоставляет доступ к более чем 70 тыс. общедоступных наборов данных, но и предлагает очень удобные конвейеры подготовки данных для пользовательских наборов.

Renumics Spotlight позволяет создавать интерактивные визуализации ваши данных. Поскольку Spotlight понимает семантику данных в наборах данных Hugging Face, вы можете начать работу всего с нескольких строк кода:

import datasets
from renumics import spotlight

ds = datasets.load_dataset('speech_commands', 'v0.01', split='validation')

spotlight.show(ds)

📌 Читать дальше
📌 Github

@machinelearning_interview

📌Статья про метод главных компонент (PCA)

⏩Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной.

⏩В статье рассказывается о том, что:
• PCA может быть реализован с использованием различных методов, включая вычисление собственных векторов и собственных значений ковариационной матрицы данных и сингулярное разложение матрицы данных.

• PCA имеет преимущества, такие как понижение размерности с сохранением большого количества информации и ускорение обучения моделей.

• Однако PCA также имеет недостатки, включая потерю части информации в данных и отсутствие смыслового значения главных компонент.

• Существуют альтернативы PCA, такие как LLE, t-SNE, UMAP и autoencoders, которые могут быть предпочтительными в определенных ситуациях и типах данных.

📎 Статья

@machinelearning_interview

✨ Парадокс Монти-Холла из теории вероятностей

В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим?
Хотите взорвать себе мозг?
Не проблема, сейчас всё будет

⏩Итак, перед вами 3 двери, только за 1 из них приз.
Вы выбрали любую дверь.
Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом).
Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь.
Изменится ли вероятность победы, если поменять дверь?

Подумайте очень хорошо;
Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей.
После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой.
2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3.
Или нет?

⏩Итак, поменяется ли вероятность выиграть, если вы выберете другую дверь?
Для большей уверенности можно смоделировать это в Python

Да, если поменять дверь, вероятность выиграть будет 2/3, а не 1/3, как было бы, если не менять дверь
Что?!
Это реально контринтуитивно, но численный эксперимент на Python это подтверждает.
Вообще, можете написать своё решение, чтобы 100% удостовериться

📎А вот статья, которая поможет в этом разобраться — «Голуби брутфорсят парадокс Монти-Холла лучше людей»

📎 Код можно запустить тут

@machinelearning_interview

📌Карта навыков дата-сайнтистов и ML-разработчиков

⏩Ребятки из Яндекса посчитали запросы ML-разработчиков про разные технические навыки. Для этого нашли пользователей, которые часто спрашивали что-нибудь про машинное обучение, и собрали все их программистские запросы — те, на которые Яндекс отвечал ссылками на Stack Overflow.
Навыками считали теги вопросов на Stack Overflow, популярностью навыков — число запросов, на которые Поиск отвечал страницами с соответствующими тегами.

⏩Получилась вот такая карта технических навыков, которые ML-разработчики регулярно используют в своей работе. Размер навыка на карте соответствует числу посвящённых ему поисковых запросов. Чем ближе два навыка друг к другу, тем чаще они соседствуют с одними и теми же тегами в вопросах на Stack Overflow, то есть ближе контекст, в котором они применяются.

Отличная штука, чтобы понять, куда развиваться и расти дальше — пользуйтесь)

📎 Интерактивная карта

@machinelearning_interview

🌟 Интерпретируемое машинное обучение для TabPFN

Держите интересное недавнее исследование про TabPFN и интерпертируемое ML.
Некоторые факты из этой работы:

⏩TabPFN — сеть вероятностных признаков, сочетающая байесовский вывод и глубокое обучение.

⏩TabPFN использует алгоритм прямого прохождения для логического вывода и прогнозирования.

⏩Архитектура TabPFN облегчает внедрение дополнительных методов IML, таких как LOCO и Kernel SHAP.

⏩TabPFN имеет ограничения в масштабируемости, которые могут быть устранены с помощью контекстной оптимизации и методов оценки данных.

⏩Анализ чувствительности — это метод IML для конкретной модели, который может быть адаптирован для значений данных в TabPFN.

📎 Статья исследования

@machinelearning_interview