💰 Распределение зарплат в DS

Таблицу предоставил Виктор Кантор, работавший Chief Data Scientist в МТС. Данные он собрал благодаря опросу в своём Telegram-канале.

Кантор напомнил, что при переходе на какой-то грейд, скорее всего, вы будете в нижней части распределения по зарплате.

Привет, друзья! 👋

Мы готовим статью о важных soft skills для сеньоров, тимлидов и других старших IT-специалистов. Нам очень интересно узнать ваше мнение! Поделитесь своими мыслями, ответив на следующие вопросы:

Какой из перечисленных soft skills вы считаете самым важным для успешной работы в IT? 🤔

- Умение говорить «нет» 🚫
- Давать конструктивный фидбэк 💬
- Брать на себя ответственность 💪
- Общаться с токсичными людьми 🧘
- Доводить процессы до завершения ✅
- Организовывать эффективные совещания 📊
- Импровизировать на публике 🎭
- Сохранять спокойствие в сложных ситуациях 😌

Какой дополнительный soft skill вы бы добавили в этот список? 🆕
Как вы развиваете свои soft skills? 📈

Поделитесь своими мыслями и опытом в комментариях! Самые интересные идеи и предложения мы обязательно включим в нашу статью. Спасибо за участие! 🙏

👾🎮 «ИИ и игры» — новая бесплатная книга

Книга «Искусственный интеллект и игры (2-е издание)» авторов Георгиоса Н. Яннакакиса и Джулиана Тогелиуса посвящена применению методов ИИ в игровой индустрии. Она охватывает основные аспекты использования искусственного интеллекта для создания и анализа видеоигр, а также для повышения качества взаимодействия пользователей с игрой.

🔗 Скачать можно по этой ссылке

😺 Как работает Catboost кодирование категориальных переменных

CatBoost — это алгоритм машинного обучения, используйющий градиентный бустинг над решающими деревьями. Он поддерживает работу как с числовыми признаками, так и с категориальными (то есть теми, которые выражены как строковые значения или набор ограниченных значений).

Когда речь идет о категориальных признаках, CatBoost автоматически преобразует их в числовые, используя несколько методов. Основные этапы этого процесса включают:

1️⃣ Перемешивание данных:
Набор данных перемешивается в случайном порядке, чтобы избежать зависимости от порядка объектов.

2️⃣ Преобразование меток:
Значения меток преобразуются из числовых с плавающей точкой в целые числа, что упрощает дальнейшие вычисления.

3️⃣ Использование различных методов кодирования (метод определяется стартовыми параметрами):

▪️Borders, то есть вычисление среднего значения целевой переменной для каждой корзины данных.
▪️Bucket, или вычисление среднего для всех корзин.
▪️BinarizedTargetMeanValue. Этот метод использует средние значения целевых переменных, бинаризованных по некоторому порогу.
▪️Counter. В этом методе для каждой уникальной категории вычисляется количество объектов.

В результате каждому значению категориального признака присваивается числовой признак.

🤗 Вышло обновление библиотеки Transformers

В версии v4.44.0 появилось следующее:

🧡 Сквозная компиляция для метода model.generate, что позволяет улучшить производительность генерации текста с использованием предобученных моделей;

🧡 Ускорение процесса компиляции в 3-5 раз;

🧡 Возможность выгружать кэш на процессор (CPU), что особенно полезно, если у вас ограниченные ресурсы GPU;

🧡 Поддержка Gemma 2, Codestral и Nemotron.

🔗 В подробностях можно почитать здесь

Жиза?

#memes

📖 Обзор книги "Программирование на Python с помощью GitHub Copilot и ChatGPT", Портер Л., Зингаро Д.

Направление: #proglib_python
Уровень: #proglib_junior

Это практическое руководство помогает разработчикам использовать передовые инструменты искусственного интеллекта для создания качественного кода. Книга охватывает ключевые аспекты Python и показывает, как GitHub Copilot и ChatGPT могут изменить и улучшить процесс программирования.

💬 Что говорят люди:

Книга произвела сильное впечатление на читателей благодаря новому предлагаемому подходу к обучению ращработке на Python с помощью искусственного интеллекта. Многие отмечают, что использование ИИ-инструментов существенно облегчает процесс написания кода и ускоряет работу. Однако некоторые читатели испытывают трудности с непредсказуемым поведением Copilot и считают, что написать код "вручную" быстрее.

➕ Плюсы

- Книга отлично подходит для новичков, помогая им быстрее освоить язык программирования с использованием ИИ.
- В книге представлено множество полезных примеров и упражнений, которые делают процесс обучения удобнее и эффективнее.
- Описание новейших технологий и их применение делают книгу ценной для современных разработчиков.
- Книга помогает понять, как ИИ меняет правила игры и может изменить процесс программирования, делая его более эффективным.

➖ Минусы

- Некоторые читатели сталкиваются с проблемами при использовании Copilot, отмечая его непредсказуемость и трудности с установкой.
- Некоторые разделы могут показаться сложными для тех, кто только начинает изучать программирование.

🖊 Об авторах

Лео Портер — профессор, преподаватель Калифорнийского университета, специалист в области компьютерных наук и искусственного интеллекта.
Даниэль Зингаро — доцент, преподаватель Университета Торонто. Автор популярных книг “Алгоритмы на практике” и “Python без проблем”.

Книга: Ссылка

✍️ Feature engineering от A до Z

Это справочник по всем методам отбора и создания признаков.

✨Каждая глава описывает определённый метод с примерами кода на R и Python.

🔗 Ссылка на справочник

📊 Как начинающий Data Scientist может заработать на фрилансе?

Хотите начать карьерный путь в Data Science в качестве фрилансера? В нашей статье подготовили для вас 8 простых шагов: от регистрации на платформе до обустройства рабочего места.

🔗 Статья

👾👀 Как работает архитектура Transformer

Исследователи опубликовали Transformer Explainer — интерактивный инструмент визуализации, который помогает понять, как работают модели на основе Transformer (такие как GPT).

▪️Инструмент запускает GPT-2 прямо в вашем браузере,
▪️Позволяет экспериментировать с текстом и в реальном времени наблюдать, как взаимодействуют внутренние компоненты Transformer.

👉 Попробовать можно по этой ссылке
👉 А это ссылка на репозиторий проекта

🔎 «Как я разработал собственную рекомендательную систему вакансий c hh.ru, и почему вам это тоже может пригодиться»

Автор статьи на «Хабре» рассказывает, как создавал систему поиска IT-вакансий.

Система работает в три этапа:

▪️Получение списка вакансий через API сайта и сохранение их в базе данных.
▪️Получение полного текста каждой вакансии через API и сохранение в БД.
▪️Локальный анализ данных различными методами.

Все подробности можно прочесть по этой ссылке

🔗 Ссылка на репозиторий с кодом проекта

🫖 tea-tasting — библиотека для статистического анализа A/B-тестов

Это новая библиотека, которая:

▪️поддерживает такие методы, как t-тест Стьюдента, Bootstrap, CUPED и др.;
▪️может работать с широким спектром хранилищ данных, таких как BigQuery, ClickHouse, PostgreSQL, Snowflake, Spark, Pandas;
▪️позволяет определять собственные метрики.

🔗 Ссылка на репозиторий tea-tasting