💯 Встречайте вопросы третьего квиза по «Deep Learning»

❗️В рамках текущей серии постов квизов больше не будет.
🏆 Воспользуйтесь последним шансом, ответив на вопросы, чтобы получить возможность выиграть призы

⬆️ Посты с вопросами на первый и второй квизы

🪄А мы приступаем к тематическим вопросам, связанные с «Deep Learning»:

1. Чем отличаются виды нормализации в нейронных сетях: BatchNorm, LayerNorm, RMSNorm?
2. Как работает Dropout при инференсе?
3. Какие существуют способы инициализации весов в нейронной сети?
4. Как хитро можно решить задачу multilabels в нейронных сетях?
5. Какие существуют способы решения проблемы затухания градиента?


👇Ждём ваших ответов под постом!
Также награждайте нас ❤️ и 🔥 за интересные вопросы!

🚨ИТОГИ DS-КВИЗА🚨

🔥🏆 Дорогие подписчики, рады сообщить об окончании квиза в нашем канале и поздравить участников и победителей этого небольшого соревнования!

Результаты получились следующие:
*Мы немного изменили правила, победителей будет больше! Вы молодцы!

🥇 Шесть финалистов:

▫️По набранным баллам:
1. @RCinderblock
2. @LoneD1gger
3. @IlyaZakharov8
4. @pilnen

▫️Выбранные рандомайзером:
5. @al_bratkov
6. @sprflv
Получают в подарок книги!

🏆 Один победитель:
@IlyaZakharov8 получает персональную консультацию от админа-канала - Ромы Васильева!

💬 Ребята, мы придем ко всем в личку в ближайшее время, просьба открыть доступы

🫶 Спасибо всем участникам за активные ответы!
🧠 Надеемся вам было полезно и вы узнали много нового

Ставьте ❤️, если было интересно и 🔥, если нужны ещё подобные активности в канале!
🚀 Победители и все участники принимают поздравления в комментариях

✏️ Подборка актуальных стажировок по анализу данных на осень 2024

🔹 Young&Yandex
Сроки подачи заявки: набор идет круглый год
Особые условия: скорее всего не будет удалёнки, стажировку можно пройти в офисах Яндекса в Москве, Санкт-Петербурге, Екатеринбурге, Сочи, Новосибирске и Нижнем Новгороде

🔹 Ozon Camp
Сроки подачи заявки: набор откроется осенью 2024
Особые условия: кроме скрининга и тестового, нужно написать мотивационное письмо, локация - Москва

🔹 WB техношкола, курс-стажировка по направлению Дата Сайенс от Wildberries
Сроки подачи заявки: набор открыт
Особые условия: неоплачиваемая стажировка, 3 месяца. Лучших студентов, которые пройдут все этапы и защитят итоговый проект, пригласят на работу в Wildberries

🔹 Sber Seasons
Сроки подачи заявки: набор откроется в сентябре 2024
Особые условия: нужно быть действующим студентом очной формы обучения

🔹 Т-банк Старт
Сроки подачи заявки: до 16 сентября 2024 включительно
Особые условия: занятость от 20 часов в неделю

Вакансии для стажёров:
МТС Старт
Сбер
AlfaStudents от Альба банка

Ставьте 🔥, если было полезно! Желаем удачи в поисках стажировки 🫶

Автор нашего канала Рома Васильев дал интервью для новой рубрики канале Карьера в Data | LEFT JOIN — Завтра в Data

В мини-интервью можно узнать про первую работу Романа, подводные камни в профессии и как развиваться в Data новичку 🙂

🔎 Аналитик данных и data scientist — в чём разница?

Data Science это совокупность различных дисциплин. Термином data scientist работодатели в описании вакансий обозначают большой спектр навыков и задач: работа в Excel, написание скриптов в SQL, визуализация данных, а/б тесты, создание рекомендательных систем, создание систем компьютерного зрения и тд.

Мы предлагаем поделить профессии согласно схеме на картинке по 3 параметрам: domain (сфера бизнеса, экспертные знания), math (метрики, ав-тесты, математизация процессов), dev (разработка, технические инструменты). Разберем три самые распространенные направления:

▪️ ML Engineer — сконцентрирован на построении моделей машинного обучения.
Глубоко разбирается в своём направлении с точки зрения техники, изучает статьи по нужной тематике, спокойно может реализовывать новые подходы

▪️ Data Analyst — работает на стыке бизнеса и данных.
Разбирается в доменной области, проводит исследования на данных, разрабатывает дашборды и сетапит АВ-тесты. Как правило, не погружается глубоко в технические задачи

▪️ Data Engineer — управляет потоками данных.
Эти ребята, как правило, отвечают за потоки данных: настраивают процессы обновления витрин, следят за полнотой доезжающих данных, пишут сложные Data-пайплайны.

Но важно понимать, что от компании к компании роли могут меняться кардинально.
Где-то Data Analyst может строить модели, а где-то ML-инженеров припрягают разбираться в бизнес-проблемах 🙂

Хорошие материалы на поизучать:
- Видео Валерия Бабушкина, в котором он рассказывает про напрввления в Data Science
- Статья Евгения Смирнова на Хабре, в которой он пишет про то, что нужно спросить у работодателя на собеседовании, в том числе про роль дата сайентиста в компании

📊 Метрики качества в задаче мультиклассовой классификации [2/2]

🎯 Расширяя ваш кругозор в решении задачи мультиклассовой классификации из первой части, сегодня поговорим про то, как в подобных задачах правильно оценивать качество работы нашей модели.

☑️ Метрики, используемые для оценки качества модели в задачах с множеством классов, никак не отличаются от задачи с бинарными метками: все также используется Accuracy, Recall, Precision, F1-measure, ROC-AUC.
Однако, из-за наличия нескольких классов меняется подход к их расчету, где существует: micro-усреднение, macro-усреднение и weighted-усреднение.
Разберем каждый по порядку:

1. Micro-average:
Означает долю верных срабатываний по всем классам, что аналогично метрике accuracy. Потому micro-усреднение любой метрики будет выдавать одинаковое значение равное accuracy.
Подходит, когда важно общее количество правильных предсказаний без учета дисбаланса классов.

2. Macro-average:
Вычисляет конкретную метрику, например, recall для каждого класса отдельно и затем берет среднее арифметическое, что и будет финальной величиной метрики по macro-усреднению. Работает аналогично для любой другой метрики классификации.
Подходит для оценки производительности модели одинаково по всем классам, независимо от дисбаланса классов в датасете.

3. Weighted-average:
Также вычисляет целевую метрику для каждого класса отдельно, как в п.2, но усреднение происходит по взвешенному способу, в зависимости от количества объектов в каждом классе.
Применяется, когда классы несбалансированы и важно учесть их численность в итоговой оценке.

❗️Чтобы поменять подход к расчету метрики в sklearn, требуется использовать параметр average (default="binary"), передав в него один из следующих аргументов {‘micro’, ‘macro’, ‘samples’, ‘weighted’, ‘binary’}:

from sklearn.metrics import precision_score

y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
precision_score(y_true, y_pred, average='macro’)

# Output: 0.22...

📚 В каких местах ещё можно погрузиться в эту тему:

- База по метрикам в любых задачах, включая по multiclass, от ЯндексУчебника
- Отличная визуализация принципов усреднения различных F-мер для нескольких классов
- Про все разновидности метрик классификации читай тут
- Очень доступное объяснение на русском языке для новичков на YouTube
- Обширная лекция по метрикам качества в многоклассовой задаче

Ставьте ❤️ и 🔥 если данная информация была вам полезна!
Пишите свои комментарии и вопросы под постом👇

🤗 Hugging Face Hub и библиотека transformers: что стоит знать и как лучше использовать

🤖 Сегодня поговорим про Hugging Face Hub и библиотеку transformers, которую в первую очередь стоит использовать при работе с ML-моделями основанными на архитектуре Transformer. Об этих моделях рассказывали тут и тут.

💯Ключевые особенности библиотеки transformers:

1. Разнообразие моделей на Hugging Face Hub:
Огромное количество предобученных моделей на базе архитектуры Transformer: BERT, LLaMA, T5, ViT, LLaVA и много других, доступных "из коробки" на HF-Hub.

2. Мультимодальность, многозадачность и доступность
- Поддержка моделей, работающих не только с текстом (генерация, классификация, перевод), но и с другими модальностями: таблицами, изображениями, звуком и др.
- Возможность выбора модели подходящего размера для каждой модальности и задачи в зависимости от доступных вычислительных ресурсов.

3. Простота использования
Загрузка и применение моделей может быть выполнено буквально в несколько строк кода:

# Простой пример с анализом настроения текста
!pip install -q transformers

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
result = classifier("I love machine learning!")
print(result)

4. Поддержка различных фреймворков и инструментов
- Поддержка PyTorch, TensorFlow, и JAX.
- Возможность дообучать модели на своих данных и под свою задачу, используя дополнительные Hugging Face библиотеки datasets и trl.
- Возможность оптимизировать обучение модели через библиотеки accelerate, peft и др.

5. Бесплатные ресурсы и обучающие курсы
Разработчики библиотеки очень активно развивает работу с open-source, включая бесплатные обучающие материалы и курсы для коммьюнити.

6. Работа со Spaces
Также Hugging Face позволяет разработчикам использовать бесплатные мощности для создания LLM-driven приложений в интернете.
А недавно в рамках программы ZeroGPU команда выделила ресурсы для предоставления доступа разработчикам к GPU за очень выгодную стоимость.

🔝Основные ссылки:
- Маршрутизация по Hugging Face Hub
- Документация Hub'a
- Курс от Hugging Face по NLP на русском
- Туториал по работе с библиотекой и Hugging Face Hub'ом

Попробуйте добавить свои преимущества использования библиотеки transformers в комментарии!
Ставьте ❤️ и 🔥 если этот пост был полезным!

📊 Обзор библиотек для визуализации данных

🔘 Matplotlib
Одна из самых старых и широко используемых библиотек. Позволяет создавать и отображать почти любой график, но для сложной визуализации потребуется больше кода, чем в продвинутых библиотеках.
[eng]Matplotlib Crash Course, видео курс

🔘 Seaborn
Библиотека основана на Matplotlib и с ней можно создать специфическую визуализацию: тепловые карты, временные ряды и скрипичные диаграммы. Плюс по умолчанию диаграммы более визуально приятные.
Подробный гайд по Seaborn

🔘 Plotly
Умеет создавать графики и диаграммы аналогичные Matplotlib и Seaborn. Плюс позволяет создавать интерактивные визуализации данных — пользователи могут масштабировать, перемещать графики, кликать на элементы и всячески взаимодействовать с графиками.
Шпаргалка по Plotly для начинающих

🔘 Bokeh
Базируется на JavaScript-библиотеке D3.js и поддерживает создание интерактивных и динамических визуализаций, позволяет масштабировать, перемещать, выделять и аннотировать элементы. Графики можно легко интегрировать в веб-страницы.
[eng] Гайд по использованию Bokeh

🔘 Dash
Пстроена на базе Plotly, позволяет создавать интерактивные дашборды, используя только код Python.
Подробный обзор библиотеки на Хабре

Дополнительно:
- Библиотеки с нестандартными стялями визуализации
- Полезная статья с базовыми правилами - как создавать понятные и эффективные визуализации

Не забываем, что визуализация должна быть не только красивой и интерактивной, но и полезной. Основная цель графиков — донести мысль)

Ждем ❤️ и 🔥! И рассказывайте в комментариях про ваш опыт работы с библиотеками по визуализации!

📝 Как составлять промпты для нейросетей

🖋️ Основные техники написания промптов:

◾️Zero-shot подход. Запрос без специфики, без дополнительных данных и без примеров ответа, подразумевается короткий ответ, часто просто положительный или отрицательный

◾️One-shot и few-shot подходы. Запрос должен быть четким и конкретным, должен содержать контекст и детали + один или более пример ответа

◾️Chain-of-thought подход ❗️ Запрос содержит вопрос и пример ответа с описанием процесса как прийти к этому ответу. Буквально нужно описать ход своих мыслей
❗️В новой модели OpenAI серии o1 не требуется использовать подход CoT. Модели o1 ‘обдумывают’ ответ и могут создавать длинную внутреннюю цепочку рассуждений, прежде чем одать ответ.

В промптах этих моделей сдедует писать запрос просто и коротко, и избегать промптов в виде цепочки мыслей (так как модель делает это сама). Подробнее про новую модельммодно почитать тут.

🔍 Гайды для промптинга:

[eng]Prompt engineering guide - гайд от Open AI

Руководство по промпт-инжинирингу - подробный гайд с описанием
техник и примерами применения

[eng]Prompt Engineering Guide - гайд от простого к сложному, подойдет для новичков и для продвинутых пользователей


🧠 Идеи использования нейросетей в жизни:

👉 Найти ошибку в коде: просто даем код и просим найти ошибку или добавляем контекста и возможные варианты ошибок

👉 Создать задачи для отработки навыков написания кода или sql запросов: Создай задачи на закрепления материала по теме joins in postgre sql

👉 Объяснить простыми словами методы/техники: написать объяснение работы метода tostring в numpy, с примерами кода и задачами для закрепления материала

👉 Создать scv датасет: создай csv датасет - 40 рядов и 5 столбцов, датасет содержит данные клиентов сети фитнес клубов

👉 Брейншторм идей: запрос на генерацию списков по теме мозгового штурма

Ставтье 🔥 и делитесь в комментариях для чего вы используете нейросети в работе и в жизни 🙌