🔺 Полезные ссылки для специалиста по Data Science

Эти источники помогут освежить знания по DS, особенно полезно будет полистать перед собеседованием

Изучение основ Python
⏩ Питонтьютор — понятный и удобный курс для освоения базы. Там много задач для практики, которые попадаются на собеседованиях.
⏩ Основы Python-разработки — ещё один бесплатный курс: за 20 часов вы изучите основы и напишете простой код.
⏩ Основы программирования и анализа данных на Python — короткий видеокурс. Особенно рекомендую лекции 7—10 про полезные библиотеки Pandas, NumPy, Matplotlib и Seaborn.

Основы SQL
⏩ Интерактивный тренажёр по SQL — курс с множеством практических заданий на создание SQL-запросов. Рекомендую начать с него.
⏩ Основы работы с базами данных и SQL — ещё один курс с интерактивным тренажёром.
⏩ Упражнения на SQL-EX — тренажёр написания запросов SELECT. Регулярно решайте задачи, чтобы уверенно чувствовать себя на собеседованиях.

Библиотеки Python
⏩ Python PANDAS, полный курс для начинающих — библиотека Pandas помогает удобно работать с табличными данными и похожа логикой на SQL. Основные операции стоит знать наизусть: чтение таблиц, редактирование, работа с пропусками, изменение типов данных. После изучения теории возьмите какой-нибудь датасет и вручную «покрутите» его в Jupyter Notebook
⏩ Основы NumPy — библиотека NumPy помогает быстро и удобно производить математические операции. Она используется во многих других библиотеках. Необязательно знать все операции наизусть, главное — уметь быстро в них сориентироваться при необходимости.
⏩ Matplotlib — библиотеки для визуализации данных. В Seaborn графики выглядят красивее, а Matplotlib гибко настраивается. Заучивать все функции и методы необязательно.
⏩ 50 оттенков Matplotlib — статья с примерами графиков, чтобы построить что-то подобное для своих данных.

Алгоритмы и структуры данных
⏩ Тренировки по алгоритмам — лекции с теорией, домашними заданиями и разборами. Сдавайте задания вовремя, чтобы получить сертификат. Лучших участников готовят к прохождению алгоритмических собеседований.
⏩ LeetCode — сайт с задачами для подготовки к собеседованиям. Решайте уровни Easy и Medium перед интервью.

Математика для анализа данных
⏩ Бесплатный курс «Основы математики для цифровых профессий» поможет закрыть пробелы в базовой математике, чтобы перейти к более сложным темам.
⏩ Теория вероятностей поможет проанализировать данные и отличить случайности от закономерностей. Смотрите лекции от МФТИ и других крутых универов по теорверу на YouTube.
⏩ Основы математической статистики — курс связан с теорвером, и с его помощью можно научиться делать достаточно точные выводы о данных по их выборке.
Курс ведёт Анатолий Карпов — ex-тимлид команды аналитики в отделе бизнеса и рекламы VK. Он крутой специалист, рекомендую его вебинары на YouTube

Продуктовая аналитика
⏩ Публичное собеседование по продуктовой аналитике
⏩ ML для оптимизации цен на основе эластичности по цене
⏩ Как мы не сделали рекомендательную систему в банке
Этого должно быть вполне достаточно, чтобы начать проходить собеседования по чистой продуктовой аналитике.

Используйте все эти ресурсы по максимуму 🔥

@data_analysis_ml

🌟 Открытая книга для специалистов в области AI и ML

Книга состоит из 3 глав.

⏩Глава 1: Освоение OpenAI API
Первая глава знакомит читателей с API ChatGPT. Предоставлена дорожная карта для понимания ключевых стратегий, включая модерацию, Machine Reasoning и Prompt Chaining.

⏩Глава 2: LangChain
Вторая глава посвящена практике использования LangChain. Описан процесс разработки, от настройки среды до внедрения передовых методик извлечения информации (Document Loaders, Text Splitters, Semantic Search, RAG Systems).

⏩Глава 3: ML Ops для LLMs, или LLMOps
Третья глава представляет собой руководство по интеграции LLM в рабочие процессы.
Описываются ключевые этапы от выбора модели до ее развертывания и мониторинга.

Стоит учитывать, что книга не может охватить много аспектов, по-большей части всё вокруг прикручивания готового чат-бота для своих целей
Но при всё при этом можно найти для себя много всего полезного

📎 Книга

@data_analysis_ml

📌Линейная, логистическая и регрессия Пуассона

На этой схеме детально видно отличие этих распространённых видов регрессии, даже нечего комментировать. Разве что совсем чуть-чуть.

▶️Линейная регрессия имеет много практических применений. Большинство приложений попадают в одну из двух широких категорий:
— Если целью является прогнозирование, линейную регрессию можно использовать для подгонки модели к наблюдаемому набору данных.
— Если цель заключается в том, чтобы объяснить изменчивость выходной переменной, можно применить линейный регрессионный анализ для количественной оценки силы взаимосвязи между выходной и входными переменными.

▶️Логистическая регрессия:
— Применяется: когда мы хотим оценить связь между бинарной зависимой переменной и одной или несколькими независимыми переменными.
— Проверяет: есть ли связь между бинарной переменной и каждой из независимых переменных.
— Данные: зависимая переменная, которая принимает два значения, и независимые переменная.
— Нулевая гипотеза: коэффициент при каждой из независимых переменных равен нулю (т.е. нет связи между зависимой и независимой переменной).

▶️Регрессия Пуассона — это особый тип регрессии, в котором переменная отклика состоит из «данных подсчета».
Регрессию Пуассона можно использовать, к примеру, для изучения количества студентов, окончивших определенную программу колледжа, на основе их среднего балла при поступлении на программу и их пола. В этом случае «количество выпускников» — это переменная ответа, «средний балл успеваемости при поступлении на программу» — непрерывная предикторная переменная, а «пол» — категориальная предикторная переменная.

Подробнее про каждый из видов регрессии можно почитать тут:
📎 линейная
📎 логистическая
📎 Пуассона

@data_analysis_ml

⭐️Новость дня: генеративные нейросети Яндекса включили в международный рейтинг самых перспективных ИИ-разработок

- В рейтинг попали две нейросети компании: текстовая YandexGPT и мультимодальная YandexART

- Это первый международный рейтинг Global Generative AI Landscape 2024, который опубликовал AIPort (сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ)

- Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей

- Исследование охватило продукты из 62 стран, которые, согласно глобальному индексу искусственного интеллекта Tortoise, больше всего инвестируют в развитие ИИ

📌 Новость

@data_analysis_ml

📌Полезная статья от Google о применении LLM в рамках Social learning

Статья о том, что LLM все чаще позволяют использовать вспомогательных агентов, которым было бы полезно эффективно учиться друг у друга (тут можно вспомнить модели Mixtral, где несколько нейросетей работают вместе).
Обсуждается вопрос, способны ли LLM учиться друг у друга с помощью социального обучения.

В целом, неплохая статья, потому что объединение нейросетей в "группы экспертов" — одна из современных тенденций, это позволит снизить количество галлюцинаций и другие проблемы нейросетей.

📎 Статья от Google
📎 Вообще о понятии "социальное обучение" от Сбера

@data_analysis_ml