❗️Друзья, у нас сразу две классные новости!

1️⃣Во-первых, мы открыли предзапись на 8-й поток нашего курса по Data Science для начинающих.

В этом году все места на тарифе Grandmaster были раскуплены, ведь именно там дополнительно к основной части мы подробно рассматриваем направления NLP и RecSys:
➖Обработка текста, регулярные выражения, tf-idf, Spell Checker, Word2Vec
➖RNN для NLP, BiLSTM, ELMo, Transformer, BERT, GPT, Transfer Learning, внедрение NLP-моделей в продакшен
➖Коллаборативная фильтрация (user/item-based), content-based подходы, гибридные модели, валидация RecSys моделей, ранжирование
➖Sequantial models (next item/basket, BERT4REC, SASREC), графовые модели, автоэнкодеры

➡️Записаться и посмотреть программу можно здесь

2️⃣Во-вторых, к нам часто обращаются с вопросом: «У меня уже есть база по Python, математике и статистике, я знаком с основными темами. Вы продаете отдельные блоки из вашего курса?»

Теперь ответ – почти да! Мы разработали отдельный курс по Data Science для аналитиков данных. Чтобы проверить, достаточно ли у вас знаний для прохождения этой программы, можно пройти тест на базовые знания

➡️Ну а если вы уверены в своих силах, то записаться и посмотреть программу можно здесь

💡Идея для крутого pet-project

➡️Вы часто пишите, спрашиваете у меня, что стоит сделать в качестве пет проекта. Ловите классную идею - имплементация мл алгоритмов из научной статьи

❗️Это крутая возможность не только сделать заметный проект, но и прокачаться в более глубоком понимании алгоритмов, что очень важно в работе DS!

Единственный момент, мне не очень нравится, когда начинают писать, вот раньше трава была зеленее, а нас сейчас заставляют чуть ли не степень доктора наук получать, чтоб работать стажером… Давайте не будем преувеличивать.

➡️Я предлагаю посмотреть на подобного рода проекты с интересом: это же так круто разобраться в шестеренках сложного алгоритма, а потом получить реальный кайф от того, что у тебя получилось его реализовать!

Без минимального интереса в какой либо профессии очень сложно. Либо она для вас временная для заработка денег, либо вообще не ваша.

https://youtu.be/yvbEd1YWQ7Q?si=i-1BI_gzG-r8ifm8

🔥Черная пятница. Распродажа курсов🔥

Друзья, приготовили для вас скидки на курсы PyMagic!

1️⃣Курс Natural Language Processing

➡️Скидка на сайте 40% по промокоду BLACKFRIDAY до 11 ноября
➡️Что узнаете:
- Что такое NLP? Как делать предобработку текста (токенизация, стемминг и т.д.)
- Напишите свой чат бот на регулярках и запустите его в телеграмм
- Разберете лексический анализ. WordNet, TF-IDF, LSA
- Напишите и обучите нейросеть для перевода с одного языка на другой
- Разберете огромнейшую тему Transformers в теории и на практике: BERT, ChatGPT, T5 и т.д.
- Не обойдете стороной и практику с Hugging Face
- Разберете примеры из реальной работы на Python с обучением моделей, а также как грамотно деплоить такие модели в прод

2️⃣Курс MLOps. Промышленный ML

➡️Скидка на образовательной платформе 30% по промокоду BLACKFRIDAY до 11 ноября
➡️Что узнаете:
- Паттерны ML-инференса
- Как перейти от Jupyter Notebook к промышленному коду
- Тесты для ML-моделей
- Воспроизводимость моделей и развертывание сервиса при помощи FAST API
- Airflow для обучения ML-модели при помощи пайплайна задач
- Docker Compose
- Мониторинг при помощи Grafana
- CI в GitHub Actions

3️⃣Курс Advanced MLOps. Промышленный ML

➡️Скидка на образовательной платформе 30% по промокоду BLACKFRIDAY до 11 ноября
➡️Что узнаете:
- Инфраструктура как код
- Работа с Terraform
- Основы Kubernetes для DS
- Кластер Kubernetes для REST- сервиса
- Apache Kafka
- Confluent Cloud
- CI/CD в GitHub Actions
- ArgoCD

Более подробная информация на сайте PyMagic
Мы также принимаем платежи из за рубежа 🌎

👀 Как я притворилась начинающим Data Scientist без опыта и пошла искать работу

Хейтеры скажут, что сгенерировала нейросеть) Не будем их переубеждать, пусть спят спокойно 🤣

Мне стало интересно, как сейчас обстоят дела на рынке вакансий для начинающих. Я проходила это давно, но решила проверить на себе.

Сразу прошу прощения у коллег по цеху за потраченное время ❤️ Я верю, что этот ролик поддержит умных и старательных ребят, которые сомневаются в себе. Хочется вселить в них надежду и поддержать, чтобы они дошли до конца, тем самым повысить качество кандидатов при найме в компании, где мы работаем.

➡️Немного поделюсь своим опытом. Я вам открою секрет: для каждой сферы своей жизни — работы, здоровья, семьи — я прикладываю огромные усилия. Мне ВСЁ достается С ОГРОМНЫМ ТРУДОМ! Иногда хочется, чтобы хоть в чем-то улыбнулась удача, но нет — чуда не происходит. Многие из вас и представить себе не могут как это обидно! ВСЕ, что у меня сейчас есть, — результат УПОРНОГО и ДОЛГОГО труда!

➡️Ждать, что на первых шагах в профессию после 5 откликов на hh, вы пройдете 4 собеседования, и вам предложат после них 3 оффера, — наивно. Особенно если вы не можете нормально сделать пет-проект, а ведь как еще без опыта работодатель поймет на что вы способны. А таких, у кого с этим проблемы, судя по резюме кандидатов, которые мы с коллегами постоянно отсматриваем, более 90%.

🌿 Вы должны понять, что в первую очередь решают знания, знания — это сила. Если не получается долгое время, скорее всего допущены ошибки. Иногда вы все делаете правильно, но нужно подождать, перетерпеть. А иногда стоит признаться самому себе, что эта сфера и работа вам на самом деле не нужны.

https://youtu.be/WEMBiBUEZOM?si=BTDXx5VuJtUF7j8S

Если ты думал, что достаточно будет пройти live-coding и ответить на теоретические вопросы, то ты очень сильно ошибался…

🔎Иногда по самым простым вопросам можно понять твой уровень. Для этого не обязательно гонять тебя по всей программе машинного обучения.

➡️Разберём, как лучше всего на них отвечать, какие ответы станут красными флагами для работодателя, а также рассмотрим теоретические вопросы по Data Science, которые встречаются в 99% случаев!

Поехали! 🚀

https://youtu.be/WMWCFgHHvuE

🤓 Регуляризация


Тема актуальная не только для тех, кто занимается классическим машинным обучением, но и Deep Learning. Давайте начнем с основ, которые обычно проходят в начале обучения, это поможет вам понять саму концепцию регуляризации.

Глобально модель может находиться в трех состояниях: недообучение, нормальное обучение и переобучение. Существует несколько способов борьбы с переобучением, и регуляризация — один из таких методов.

➡️Регуляризация — это способ, при котором в функцию потерь добавляется дополнительный штраф. Этот штраф зависит от коэффициента регуляризации и выбранного способа регуляризации. Возможны следующие варианты:
- L2-регуляризация — сумма квадратов весов модели
- L1-регуляризация — сумма модулей весов
- ElasticNet — комбинация L1 и L2 регуляризаций, которая позволяет контролировать оба аспекта

➡️Эти методы наиболее часто применяются в линейных моделях. Однако для деревьев решений и других алгоритмов (ансамбли), такие понятия, как веса перед признаками, отсутствуют. Поэтому для таких моделей методы регуляризации могут отличаться.

➡️Единственный нюанс касается моделей градиентного бустинга, поскольку в этом случае используется схожий подход в регуляризации, направленный на ограничение сложности модели. Например, можно добавить штраф за большое количество листьев в функцию потерь или контролировать веса в листьях с помощью подходов L1 и L2.

Ставь 🔥, чтобы узнать о способах регуляризации в деревьях решений

Перезапускаем рубрику #дайджест_wbs: теперь больше деталей к каждому из инфоповодов!

Читайте пилотный выпуск и оставляйте реакции на новый формат 🔥💜👍

➡️ Pixtral-Large-Instruct-2411 — новая модель от Mistral
Это более крупная (124B) модель, обновляющая успешный релиз Pixtral 12B, сделавшая огромный скачок в OCR и понимании документов с графиками. Это open-weight модель, не позволяющая свободное использование в коммерческих целях (только в образовательных и исследовательских).

Авторы сообщают о SOTA-результатах на MathVista, DocVQA и VQAv2, которые уже были успешно перебиты Qwen-2-VL 72B (мир DL двигается очень быстро).

➡️ Релиз Stability AI : модели ControlNet для Stable Diffusion 3.5 Large
Теперь можно точно контролировать генерацию изображений:
▪ Canny: управляет структурой через карту границ, идеально для иллюстраций и скетчей.
▪ Depth: использует карту глубины для 3D-рендеринга и архитектурной визуализации.
▪ Blur: обеспечивает качественное увеличение изображений через обработку фрагментов.

Модели совместимы только с SD 3.5 Large (8b). Планируются облегченные 2B-версии и новые типы контроля.

➡️ Nvidia Labs представили SANA
Новый, быстрый и эффективный генератор изображений
до 4K разрешения (4096×4096)
который в 100+ раз быстрее существующих моделей при высоком разрешении и может работать даже на ноутбуке с GPU (16GB памяти).

Генерация высококачественного 1024×1024 изображения занимает менее чем 1 секунду, сама модель маленькая (590M параметров), что упрощает развертывание, открытый исходный код и модель будут доступны публично.

Возможно создатьтвысококачественный визуальный контент локально, без облачных сервисов.

➡️ Smol course — практический курс от Huggingface
Курс демонстрирует методы файн-тюнинга LLM на примере SmolLM2. Не требуется специализированное оборудование и платные сервисы, подойдет для дообучение моделей на обычном пользовательском железе.

➿➿➿➿➿

Комментарии подготовили ML- и DS-специалисты Wildberries 💘

Подписывайтесь, чтобы быть в курсе новостей:
🌟 @wb_space
📹 @wb_tech

🤓 Регуляризация в деревьях решений. Part 2

В привычном смысле регуляризации, как штрафов на веса (например, в линейных моделях, разбирали в этом посте), в деревьях решений нет. Однако ограничения на структуру дерева выполняют ту же роль, помогая предотвратить переобучение и сделать модель более устойчивой на новых данных.

Напомню, что узлы — точки в дереве, где данные делятся на основе условий (предикат), а листья — конечные узлы дерева, где находятся итоговые предсказания или решения.

Проще сразу рассматривать их в контексте наименований гиперпараметров из sklearn:

➡️Ключевые параметры:
- max_depth — ограничивает глубину дерева. Один из важнейших параметров, предотвращающих избыточное подстраивание под обучающую выборку
- ccp_alpha — используется для постобработки дерева, удаляет узлы с низкой важностью, уменьшая сложность модели. Чем выше значение, тем больше узлов будет удалено

➡️Дополнительные:
- min_samples_split — минимальное количество объектов для разделения узла, предотвращает деление узлов с малым количеством данных, предотвращает излишнюю детализацию
- min_samples_leaf и min_weight_fraction_leaf — задают минимальный размер листьев (кол-во и доля)
- max_leaf_nodes — ограничение на количество листьев

Часть из этих параметров используется и в градиентном бустинге. Я, кстати, очень люблю спрашивать на собеседованиях про его гиперпараметры. Всегда выглядит забавно, когда человек рассказывает про свой опыт в 100500 лет, про суперпроекты, которые он делал с помощью бустинга, а потом впадает в ступор после простого вопроса о гиперпараметрах. Казалось бы, ты же их тюнишь постоянно 🤔

Хотите пост про гиперпараметры бустинга? Ставьте 🔥

⚙️ Структуры данных и алгоритмы

❗️Помимо того, что эти темы необходимы для успешного прохождения собеседований, особенно в части live-coding, важно в целом быть знакомым с основными структурами данных и алгоритмами.

1️⃣Это позволит вам быстрее и эффективнее писать код
2️⃣Вы будете понимать, когда и какую структуру данных стоит использовать, так как выбор подходящей структуры и алгоритма зачастую напрямую влияет на производительность программы.

➡️Кстати, у DS'ов эти темы часто вызывают затруднения. На собеседованиях примерно 8 из 10 кандидатов сталкиваются с трудностями по этой теме.

➡️Поэтому настоятельно рекомендую посмотреть видео, в котором разбираются как основные алгоритмы, а также пример реализации одного из самых популярных алгоритмов, которых часто задают на собеседованиях для DS!

https://youtu.be/Wzg3zqndJBU

➡️Полезные ссылки из видео

Теория:
- Сайт по обучению Python, блок про структуры данных в Python
- Handbook структуры данных (более полная версия)
- Книга «Алгоритмы и структуры данных на Python»
- Книга «Грокаем алгоритмы»
- Handbook от Яндекса, раздел «Основы алгоритмов»
- Статья Сложность алгоритмов и операций на примере Python
- Таблица со сложностями Алгоритмов и Структуры данных


Практика:
- LeetCode
- Codewars
- CodeRun
- Leetcode Top Interview Questions (на структуры данных)
- HackerRank Data Structures

✉️ Запуск 8-го потока курса по Data Science для начинающих!

🚀Друзья, рады сообщить, что стартует 8-й поток курса по Data Science для начинающих! Обучение начнется 10 февраля.

Мы оставили два тарифа:
➖Expert — для тех, кто хочет освоить только классический ML и дальше самостоятельно искать работу
➖Grandmaster — включает не только классический ML, но и углубленное!! изучение NLP и RecSys, а также помощь с трудоустройством в карьерном центре

Часто задаваемый вопрос:

«Чем ваш курс отличается от других?»

Мы понимаем, что на рынке много курсов/программ, и каждый разработан для своей аудитории и определённых целей. Некоторые программы ориентированы на обучение ради удовольствия — увлекательное времяпрепровождение для тех, кто любит учиться, но без акцента на трудоустройство. Другие же предлагают глубокие, интенсивные программы, где придется приложить усилия, чтобы получить знания и выйти на работу в новой сфере.

➡️Наш курс относится ко второму типу. У нас актуальная статистика трудоустройства (основанная на результатах 6 потоков) доступна на нашем сайте. При этом доходимость курса сопоставима с более простыми образовательными программами 🥰

➡️Если сравнивать с ТОП ВУЗами, то наша программа имеет аналогичный уровень сложности, но отличается более доступной подачей и интенсивным темпом обучения. Это позволяет освоить материал быстрее без потери качества. Кстати, наши преподаватели также работают в топовых вузах!)

🎁 Для тех, кто хочет приобрести тариф Grandmaster, действует скидка 5% по промокоду PYMAGICTG до 10 января.

➡️Вся подробная информация о кол-ве теоретического и практического материала, преподавателях, кураторах на сайте PyMagic

Если остались вопросы, пишите в наш бот @pymagicinfo_bot или [email protected] — будем рады помочь! ❤️ В следующих постах подробно расскажем о программе курса 🙌

🚀Как устроен блок NLP на курсе по Data Science?

Друзья, поздравляю с наступившим Новым годом и приближающимся Рождеством! 🎄

Сегодня мы разберем блок по обработке естественного языка (NLP) на курсе Data Science для начинающих. Этот блок проработан настолько детально, что вы сможете сразу использовать полученные знания для реальных задач.

Блок составлен Айдаром Валеевым, аспирантом Иннополиса, который сейчас работает NLP-специалистом в GigaCode и ранее занимался разработкой NLP-решений в Digital Habits и EORA.

➡️Основы NLP
Вы начнете со знакомства с NLP и изучения ключевых задач: классификации текстов, анализа тональности, распознавания именованных сущностей (NER) и определения частей речи (POS-tagging).

Затем погрузитесь в обработку текста: токенизацию (разделение на слова), лемматизацию (приведение слова к нормальной форме), стемминг (выделение основы слова) и удаление стоп-слов. Также изучите современные подходы, такие как Byte-Pair Encoding (BPE), который используется в языковых моделях (LLM).

➡️Инструменты анализа текста
Изучите регулярные выражения, теорию формальных языков, а также лексический анализ. Рассмотрите такие методы, как TF-IDF, LSA, LDA, и словари вроде WordNet.
Также блок охватывает основы информационного поиска: построение инвертированных индексов, методы ранжирования и поиск релевантных документов в больших текстовых массивах.

➡️Языковое моделирование
Познакомитесь с Part-of-Speech Tagging, скрытыми марковскими моделями (HMM), а также нейросетевыми подходами для предсказания текста.
Для представления слов в числовом виде изучите популярные методики: Word2Vec, FastText и GloVe.
Далее переходите к нейросетевым архитектурам для обработки последовательностей: RNN, LSTM и GRU. Узнаете, как механизм Attention улучшает качество моделей.

➡️Современные подходы: Transformer и LLM
Изучите архитектуру Transformer, лежащую в основе BERT и GPT. Разберете Self-Attention, Multi-Head Attention и Positional Encoding.
На практике создадите простую модель Transformer для перевода текста.
После этого углубитесь в BERT, GPT и Transfer Learning.
Используя библиотеку Hugging Face, вы дообучите готовые модели под конкретные задачи.

➡️Применение и практика
Куда ведь без реальных практических примеров, да еще и на Python? Ловите! На практике решите задачи классификации намерений, анализа диалогов и расшифровок звонков. Также познакомитесь с моделями для анализа кода: GraphCodeBERT, UniXcoder, CodeT5 и StarCoder.

В завершении курса изучите, как сохранить NLP-модель в формате ONNX, оптимизировать с помощью TensorRT и развернуть её в реальных приложениях с использованием Docker и Triton Inference Server.

💪 У вас будут тестовые задания после каждого урока в блоке, а также 3 крупных практических задания! Отличная возможность не только закрепить теорию, но и попрактиковаться.

Вы могли заметить, что информации действительно много! Да, это так! Поэтому перечитайте 3-е предложение этого поста 😉 Но несмотря на это, всё объяснено максимально доступным языком. Главное — не лениться и с интересом подходить к процессу обучения!

❗️Старт обучения 8-го потока начинася 10 февраля! Для тех, кто хочет приобрести тариф Grandmaster, действует скидка 5% по промокоду PYMAGICTG до 10 января.

Вся подробная информация о кол-ве теоретического и практического материала, преподавателях, кураторах на сайте PyMagic

➡️Кстати, у нас в Wildberries теперь регулярно выходит не просто дайджест новостей из мира ML, но и экспертные комментарии наших коллег. Они делятся своим мнением о самых актуальных темах и делают содержательный анализ.

➡️Кроме того, мы активно расширяем нашу команду специалистов по Data Science, так как 2024 год завершился для нас крайне продуктивно, поэтому будем рады видеть вас в нашей команде 🏆

#дайджест_wbs
Какие новости в мире DS удивили за прошедшие пару недель? Узнали у коллег👇

➡️ Релиз Deepseek-V3
Модель, содержащая 671 млрд параметров, демонстрирует возможности, сравнимые с проприетарными системами (GPT-4, Claude), но при этом остается открытой для сообщества.

Баланс инновационной архитектуры внимания и умной системы балансировки нагрузки позволяет модели работать быстрее и эффективнее предшественников.
Впечатляет способность модели предсказывать несколько токенов одновременно, что существенно ускоряет обработку информации.
Обучение модели экономично: было затрачено ~5.6 млн долларов, что значительно меньше, чем для аналогичных систем (за счет использования современных методов оптимизации и 8-битной точности вычислений).

DeepSeek-V3 в решении мат. задач и программировании превосходит другие открытые модели. Она отлично работает с китайским языком и может обрабатывать тексты до 128 тыс. токенов.

➡️ VLM с ризонингом от Qwen
QVQ-72B-Preview продолжает успех Qwen в области reasoning-моделей. Новая модель является VLM (в отличие от QwQ, которая работала только с текстом), достигает 70.3 баллов в тесте MMMU и превосходит большинство открытых моделей в математических и физических задачах (MathVista, MathVision, OlympiadBench).

Основными проблемами QVQ-72B являются неожиданное переключение между языками, склонность к излишне подробным ответам и потерю внимания к визуальному контенту при длительном анализе.

➡️ HuggingFace выпустили smolagents
Это компактные интеллектуальные агенты для решения сложных задач через взаимодействие ИИ с внешними инструментами. Агенты отличаются простотой, гибкостью и минимальными вычислительными затратами, идеально подходя для задач вроде обработки текстов, анализа данных и интеграции с API.

Smol Agents легко настраиваются, позволяют быстро прототипировать решения и экономить ресурсы. Открытый код делает их доступными для всех, от исследователей до разработчиков.

➿➿➿➿➿
Комментарии подготовили ML- и DS-специалисты Wildberries 💘

🌟 @wb_space
📹 @wb_tech