СТАТЬЯ ПРО 20 статистических методов, используемых при анализе данных. Здесь указана база по статистике, которая используется для анализа данных (но это не точно) .

Можете прочитать статью на Дзене тут

P.S: Здесь указано применение в Python'e с точки зрения использования различных библиотек, о которых, возможно, вы пока не знаете. Советую на примере этого сайта просмотреть основные показатели, которые используют аналитики.

#статистика #python #библиотеки #дополнительно

Я прогаю на питоне, я классный, должен знать очень много, хочу получать много денег, но что нужно уметь делать?

Ответ: Гуглить и учиться!

Гуглить? Серьезно? На самом деле, да. Потому что суть аналитиков заключается не только в имеющихся знаниях, знании синтаксисов, но и в адаптации чужого кода под свой. Например, вам нужно узнать количество уникальных пользователей, которые зарегистрировались на курс по Питону. К кому вы пойдёте с этой проблемой? Правильно, к гуглу. Вопрос может строится таким образом: how I can count unique values in Python? (Советую сразу привыкнуть писать на английском, потому что на зарубежных источниках больше информации + можно заодно подтянуть английский на уровне чтения документации, разборов интересующего вас вопроса).

Так что, гуглите, друзья, это вам пригодится в дальнейшем! Но и не забывайте о знаниях, ведь не все держится на одном гугле)

P.S: Также смотрите официальную документацию Python и того, что вы используете

#советы

❗️NAVIGATION ❗️

Всем привет, теперь на нашем канале будет навигация, с помощью которой вы можете легко ориентироваться по блокам:

#база - то, с чего нужно начать путь в аналитике, работе с данными

#дополнительно - дополнительные материалы, которые периодически будут выкладываться

#советы - то, что знаем мы и то, что нам советовали, когда только начинали свой путь

#мемы - ну тут всё понятно, посмотреть приколы, постараться понять суть, тоже полезно)

#чат - ссылка на чат

#отидо - пошаговое изучение всего того, что нам нужно

Кто такой дата-аналитик в X5 tech? Что ожидают от вас на разных ролях в Data Science?

Читайте пост на Хабре тут!

#дополнительно

Всем доброй ночи! НАДО отдыхать)

#мемы

Что такое библиотеки и с чем их едят?

Возможно, вы слышали о том, что существуют какие-то библиотеки на Python, может и нет. Суть такая, что библиотека - это определенный модуль, который позволяет работать с данными максимально приятно и удобно.

Например, у нас есть датасет (набор данных) на 5 млн. строк. Спросите, такое реально? Да, конечно. Аналитики часто сталкиваются с подобным объемом данных. Но вот незадача, Excel поддерживает 1 048 576 строк, что достаточно мало для нас. Представьте, что тимлид выгружает нам данные в csv формате, что делать?

Для работы с данными используются такие библиотеки как:

🐼 Pandas (не панда, panel data), который позволяет работать с таблицами, загружать и выгружать данные в разных форматах, основная библиотека. Общепринятая аббревиатура: pd
Ссылка на документацию
🔹 Numpy позволяет работать с многомерными массивами, матрицами, применять методы линейной алгебры и многое другое, основная библиотека. Общепринятая аббревиатура: np
Ссылка на документацию

Для визуализации данных используем:

📈 Matplotlib - диаграммы, гистограммы и прочее.
Ссылка на документацию
🌊 Seaborn - продвинутая визуализация. Общепринятая аббревиатура: sns
Ссылка на документацию

Это основные библиотеки, которые используется при анализе данных. Пока мы не затрагиваем библиотеки, которые относятся к машинному обучению.

P.S: Большой массив данных также может быть обработан с помощью запросов SQL, здесь говорится только про Python
P.P.S: Вспоминаем пост про помощь гугла, умению искать информацию в интернете и разбираемся с библиотеками. Можно для этого использовать Youtube, Google и др.

#база

Всем привет! Прикрепляю ссылку на чат данного канала для того, чтобы каждый из вас мог общаться, обсуждать интересующие вопросы.

Пожалуйста, без флуда)

https://t.iss.one/+GSA00LI9DYwwYTgy

#чат

Ранее я затрагивал знание английского языка, поскольку код, документация, большая часть информации представлены именно на нём.

Главное понимать, что английский вам нужен на уровне чтения документации, использовании различных терминов и т.д. (он значительно отличается от разговорного).

Неплохой канал открыл в своё время, где можно попрактиковаться в запоминании IT-слов, если так можно выразиться.

Ссылку прикрепил ниже ⬇️
https://t.iss.one/+MBClkdw4fPE5Yzky

Вообще, это очень важный скилл, поскольку Python, SQL такие языки программирования, синтаксис которых максимально прост, но при этом прост для тех, кто понимает о чем идёт речь.

Например, синтаксис SQL:

SELECT *
FROM Table1
WHERE col1 > 0

Выбери всё из таблицы где значение > 0. То же самое с Python на уровне написания циклов:

for i in range (10):

Для i в диапазоне…

Ну вы поняли.

Можно пробовать практиковать английский как угодно, но, по моему мнению, самый эффективный метод - просмотр специальных видео, заточенных под вашу сферу, на английском языке с английскими субтитрами.

#советы

Добрый вечер, друзья, прикрепляю полезные материалы для освоения библиотек Python.

Глеб Михайлов - препод на Яндекс.Практикуме, здесь говорится о нескольких библиотеках + работе с Python. Ниже видео про Pandas и Python
https://www.youtube.com/watch?v=dd3RcafdOQk&t=6789s&ab_channel=%D0%93%D0%BB%D0%B5%D0%B1%D0%9C%D0%B8%D1%85%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2

Анатолий Карпов - бывший аналитик в VK. Говорит про библиотеку Pandas, о том, как с ней нужно работать
https://www.youtube.com/watch?v=1Irng_IZV84&t=3758s&ab_channel=karpov.courses

Курс от СПБГЭУ для полного изучения библиотек для анализа данных, синтаксиса Python
https://dfedorov.spb.ru/python3/

Завтра будет пост о том, как пошагово начать развиваться в аналитике, что для этого делать и т.д. Не пропустите)

Если появятся вопросы или захотите просто пообщаться с людьми, которые сидят на нашем легендарном канале, вэлком! (ссылка)

#база

Воу-воу-воу. Всем привет! Сегодня будет представлен весь путь, который вы можете пройти от рядового гражданина до человека, освобожденного от частичной мобилизации.

1-ый месяц: Статистика и математика (очень важно). Применение статистических методов, которые могут встречаться при анализе данных. Базовые понятия, интересные фишки. Чтобы вас заинтересовать, могу сказать, что при помощи данных можно, например, оценивать эффект от проведенного A/B теста, внедрения какой-либо фичи.

https://stepik.org/course/76/syllabus - Карпов (одному админу очень нравится, другому - тоже, статистика)
https://www.youtube.com/playlist?list=PLQJ7ptkRY-xbHLLI66KdscKp_FJt0FsIi - Глеб Михайлов, вероятность и статистика (на примере Python)
evanmiller.org/ab-testing - кладезь для A/B тестов, потыкаться можно.
https://www.youtube.com/channel/UC6hAYNOWMmuqOBvFOuAFKwA - математика, линал. Все DS советуют этот канал, нашел его на русском.
Пытаемся изучить статистику и математику, смотрим, как это можно внедрить в Python, зачем это всё

2-ой - 3-й месяц: Python и SQL. Советую совмещать, чтобы можно было как-то проследить аналогию.

https://stepik.org/course/63085/syllabus - многие советовали, мне нравится, много практики, теория подана в сжатом виде
https://stepik.org/course/431/info - адаптивный тренажер Python, нашел у Карпова
https://dfedorov.spb.ru/python3/ - один из лучших курсов, здесь и работа с библиотеками и сам Python с его гениальным синтаксисом
https://sql-academy.org/ru - тренируемся, изучаем учебник
https://stepik.org/course/63054/syllabus - тренажер SQL, много практики, такое надо.
https://sql-ex.ru/ - практика, сайт из прошлого, задачи посложнее
Можно поискать сливы в интернете, я проходил SQL для всех от Udemy, если нужно будет, скину в чат
https://tproger.ru/translations/rewrite-sql-queries-in-pandas/ - аналогия работы SQL и библиотеки Python (pandas)

4-й, 5-й месяц. Если вы уходите в сферу машинного обучения (базовые знания для дата-аналитиков) или нейронные сети.

https://dlcourse.ai/ - Deep learning
https://stepik.org/course/4852/promo - Введение в Data Science и машинное обучение (Карпов в сердечке)
mlcourse.ai - Машинное обучение, на русском есть курс на Youtube (но мы ведь машинки, поэтому сразу на английском)
https://stepik.org/course/50352/syllabus - Нейронные сети.

6-й месяц. Работаем над проектами, ищем открытые датасеты, работаем с ними, собираем команду
kaggle.com - сайт с соревнованиями по ML.
Участвуем в хакатонах, кейс-чемпионатах (это можно сделать раньше, по ходу набрать опыта и оформить резюме)

Поддержать нас можно, рассказав своим друзьям о том, что наш канал существует, ведь мы собираем сильное IT-коммьюнити)
Кидайте реакции, пишите вопросы, заходите в чат. Всё получится, друзья!

Ссылка на чат: https://t.iss.one/+GSA00LI9DYwwYTgy

#отидо

> как работают с проектами нормальные люди.
> гуглим и сидим на зарубежных форумах по IT
> сеньоры вошли в чат

#мемы

Всем продуктивного дня! Прикрепляю материалы по SQL (дополнительно). Здесь вы можете посмотреть на задачи, которые дают на собесах.

Руководство по собеседованию по SQL.
https://nuancesprog.ru/p/15485/
Типичные вопросы на собеседовании по SQL.
https://www.youtube.com/watch?v=GI2D3MAZBe0&ab_channel=PrimeSoft
SQL собеседование в США.
https://www.youtube.com/watch?v=4BoDog8ybts&t=797s&ab_channel=PrimeSoft
SQL тестовые задания от Facebook, Amazon, Google
https://www.youtube.com/watch?v=S9B43Ffiais&t=833s&ab_channel=Noukash
Полный разбор SQL задач из Кремниевой долины
https://www.youtube.com/watch?v=kIRR7M8Ryp0&t=973s&ab_channel=Noukash

#дополнительно

дата-аналитик пытается заставить свой код работать. фото в цвете

#мемы

Всем доброе утро! Проснулись - улыбнулись

#мемы

Ребятки, всем привет! Прикрепляю слив, по которому я начинал изучать SQL, там все достаточно просто и понятно. Только не душите за сливы, там вирусов точно нет (проверено моим ноутбуком).

Курс проходится быстро, можно сказать на одном дыхании, для новичков, которые хотят понять что такое SQL на уровне написания запросов (спойлер: без оконных функций)

Ставьте лайки, делитесь каналом за такое сложное испытание для меня и моего ноута.

Друзья, а мы напоминаем, что у нас есть чат, где вы можете пообщаться друг с другом, объединяться и делать очень много всего интересного. Ссылку прикрепим ниже.

Ссылка