Аналитика данных / Data Study
8.46K subscribers
404 photos
38 videos
24 files
329 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
Привет!

Вчера на вебинаре понял, что именно тормозит большинство людей на старте в профессии:
📍Отсутствие практического опыта
📍Неполное понимание процесса работы аналитиков в компаниях
📍Сложность в составлении резюме

После прохождения курса у вас будет готовый практический проект, который вы сможете
добавить в своё портфолио
указать проект в резюме
рассказать про процесс его реализации на собеседованиях

Проект для каждого ученика индивидуален
Он будет заключаться в построении аналитической платформы от начала и до конца.
Будут реализованы реальные шаги построения аналитического решения как в больших компаниях.
Единственное отличие - в компаниях используются большие объемы данных, соответственно и большие мощности оборудования и ресурсы для их поддержки

Какие шаги нам предстоит выполнить:
1️⃣ Сбор данных из источников (Python
2️⃣ Очистка и преобразование данных (Python + SQL)
3️⃣ Загрузка данных в хранилище/базу данных (Postgres или SQLite)
4️⃣ Исследование и визуализация (Tableau)
5️⃣ Интерпретация результатов анализа (Аналитическое мышление 😉)

Все это изучается на курсе и закрепляется при выполнении проекта. В завершении курса я помогаю ученикам оформить индивидуальное резюме
📍 Прописываем правильно структуру
📍 Оставляем важные и релевантные детали
📍Подчеркиваем ваши сильные навыки

Осталось 1 место в группе, успейте попасть на курс сегодня 😉

Способы оплаты:
1. Бронь места 5000, остальное оплачивается в течение первой недели обучения
2. Полная оплата 25000
3. Оформление рассрочки от Тинькофф (4 месяца)

Если нет карты РФ, пишите мне лично @daniildzheparov , найдем способ оплаты

Сегодня последний день, когда можно попасть на курс, следующий поток будет только через полгода 👌

Попасть в группу обучения
👍32
7 полезных книг по Python для старта и развития навыков

1. Марк Лутц "Изучаем Python"
2. Наталья Самойленко "Python для сетевых инженеров"
3. Билл Любанович "Простой Python. Современный стиль программирования"
4. Лучао Ромальо "Python. К вершинам мастерства"
5. Дэвид Бизли, Брайан К. Джонс "Python. Книга Рецептов"
6. Бейдер Дэн "Чистый Python. Тонкости программирования для профи"
7. Гарри Персиваль и Боб Грегори "Паттерны разработки на Python"

Более подробно про книги рассказано в статье ⤵️

Читать статью
👍18
Интересная статья про внедрение системы учета посещаемости на основе искусственного интеллекта и алгоритмов ML по распознаванию лица

Еще в прошлом году от кого-то в университете слышал про запуск подобного учебного проекта для студентов. Возможно, все осталось на этапе идеи, а возможно ведется активная деятельность и скоро посещаемость на парах будет учитываться не опросом студентов и не ведением ручных ведомостей, а все будет автоматизировано через камеры наблюдения или специальные приборы учета.

А может быть и пропуски заменят с пластиковых карт на распознавание лица возле турникетов))) Тогда не придется переводить кучу пластика и производить эти карты, также никто не сможет забыть пропуск 😉

Оправдано это или нет, нужно считать и анализировать

А вот что могу сказать точно, это то, что при учете посещаемости за последний месяц у меня бы стоял круглый 0 😂
👍8🥰1
УДАЛЁНКА

Решил немного разбавить бочку мёда, которой поливают обычно удаленный формат работы, ложечкой дёгтя. Расскажу немного про те минусы, которые удалось мне заметить в удаленке

1. Меньше человеческого общения с коллегами
Отсутствие очного общения сказывается на том, что у вас нет возможности установить контакт с человеком и поговорить на отдаленные от работы темы. Например, сходить с командой коллег на обед, поздравить с днём рождения и поесть всем вместе пиццу, поздравить женскую и мужскую половину с их праздниками в марте и феврале. Даже банально корпоративов нет или из максимально мало

2. Мало физической подвижности
По сравнению с поездками в офис, хождением по разным комнатам переговоров и походами на обед, дома все замыкается в площади квартиры. А заставить себя делать зарядку увы не получается. Как итог, бОльшая часть дня проходит в сидячем состоянии, что точно скажется на физическом здоровье

3. Ненормированное время
Здесь хочется сказать именно про навык управления своим временем и постановки границ между работой и личным временем.
Если возникают мысли «ну вот ещё часик полтора поработаю вечером чтобы все закончить», будьте внимательны, не растягивается ли этот «часик» на 2,3 или на весь вечер.
С офисом в таком случае все проще - встал с рабочего места, положил ноут в рюкзак и поехал домой не думая о работе до завтра.


Но всё же в удаленке есть явно больше плюсов, чем минусов, о которых явно многие из вас слышали и наслаждаются ими каждый день.
А минусы можно проработать и превратить в плюсы 😉
👍26
Привет!
Сегодня на работе помимо обсуждения проекта и задач поговорили с коллегой про темы для дипломной магистерской работы.

Диссертация должна быть с научной новизной и направлена на практическое применение. В области бизнес-анализа и работы с большими данными таких тем можно найти огромное количество, главное взять то, что конкретно для меня будет наиболее интересно.

Буду думать наверно в сторону руководства данными и менеджмент данных в компаниях и как это связано с архитектурными подходами построения аналитических платформ.

А вот в ближайшие 2 месяца на учебе ещё нужно реализовать отдельный практический проект. Темы пока нет, но есть идея делиться шагами выполнения проекта с вами.

Накидайте 🔥 если вам будет интересно читать про реализацию проекта и возможно в будущем дипломной работы
🔥54👍1
Все больше компаний в качестве BI тула внедряют Superset

В компании Леруа, где я работал раньше, тоже его внедрили на слое построения отчётности для бизнеса. Раньше там большинство дашбордов были на Tableau.

На самом деле просматривает тренд миграции с лидеров BI рынка таких как Tableau и Power BI на открытые решения. В России это явно оправдано, учитывая санкции и лицензирование. Но и зарубежные компании тоже стремятся к open source.

Аналитики и BI разработчики, если хотите оставаться в тренде, присмотритесь к Superset 😉

Статья про платформу данных в Леруа
👍131
Airflow_и_конвейеры_обработки_данных.pdf
704.7 KB
Всем привет!

Есть ознакомительный фрагмент книги "Airflow и конвейеры обработки данных", в котором дается хорошее описание принципов работы Airflow. Что такое Airflow и зачем он нужен, как работает DAG, что такое Task и как строятся автоматические конвейеры по обработке данных.
Для первого знакомства с инструментом будет очень полезно прочитать.

Кстати, сегодня в рамках курса с учениками будем тоже обсуждать ETL/ELT процессы и различные инструменты: Kafka, Airflow, Spark, dbt
👍17🔥1
Несколько советов на старте поиска работы за рубежом

1. Оформить свой профиль на LinkedIn
Это социальная сеть для поиска работы, общения по интересам и профессионального обучения.
Это ваша визитная карточка, на которую будут смотреть HRы и другие специалисты из компаний. Не пренебрегайте вашей страничкой, заполните информацию:
📍 о ваших навыках
📍опыте работы
📍уровне обучения
Также добавляйтесь в контакты к людям, которые работают в тех компаниях, куда вы хотите попасть работать. Подписывайтесь также на HR специалистов.

2. Оформите Резюме на английском
Это банально, но иногда люди задумываются о поиске работы abroad без заранее подготовленного резюме на английский язык. Также будет полезно перевести резюме на национальный язык той страны, куда вы хотите релоцировать или устроится удаленно (некоторые внутренние сотрудники предпочтут читать ваше резюме на их локальном языке). Если сомневаетесь в своем английском для корректного перевода резюме, найдите специалиста по переводу резюме или оформлению резюме на английском для 1-2 занятий.

3. Подготовьте Curriculum Vitae (CV)
В России CV и Резюме обычно не разделяют друг от друга и используют всегда резюме. В зарубежных компаниях от вас могут попросить два документа: CV и Resume. Если кратко, то Resume включат краткое описание вас как специалиста, где подчеркиваются ваши сильные стороны, навыки и компетенции (объем 1-2, максимум 3 страницы). CV - это ваша профессиональная биография, которая более подробно описывает ваш путь с момента обучения или первой работы и вплоть до текущего места. CV чаще применяется в академической деятельности.
Более подробно про различие Resume и CV можете почитать здесь

4. Подготовьте скрипты для прохождения собеседований
Под скриптами подразумеваются некоторые подготовленные предложения или даже абзацы. Например, скрипты можно написать чтобы:
📍 представиться в начале собеседования (2-3 предложения) (Hello everyone, my name is Daniil. Currently, I am working as a Senior BI Analyst in company .... I am interested in data analysis task, projects of building analytical platforms ...)
📍перечислить свои сильные стороны (I have a deep experience with SQL, BI solutions like Tableau...)
📍рассказать про свой текущий или прошлый проект: позиция, задачи, используемые инструменты, результаты проекта
📍ответить на behavioral questions (I had some bad experience in some of my previous projects... If I face with similar situation, I would act in such steps ....)

Это поможет вам сократить время на подготовку к каждому отдельному собеседованию, снизит ваш уровень стресса во время интервью и также поможет подтянуть ваш английский 😉

Несколько сайтов для поиска вакансий:

1. LinkedIn https://linkedin.com/
2. Hired https://hired.com/
3. Indeed https://www.indeed.com/
4. Cyprus Jobs https://www.cyprusjobs.com/
5. Relocate https://relocate.me/

Ставь реакции, если пост был полезен)
👍39🔥15
Привет!

Последнее время очень мало времени остается на отдых и написание постов.

📍активная фаза проекта на работе (анализ и разработка идут полным ходом🔥)
📍ведение учеников на курсе по основам анализа данных (закончилась практика по моделям данных, сегодня начали изучать SQL - дальше еще много практики 👨‍💻)
📍собственная учеба в магистратуре (кстати, вроде бы согласовал тему проекта с преподавателем, чуть позже поделюсь с вами 😉)
📍разработка плана и уроков для онлайн-курсов

В ближайшее время есть в планах создать курс по Apache Superset и визуализацию данных (недавно рассказывал про этот инструмент здесь). Сегодня написал план курса, получилось около 10 объемных блоков. Сейчас буду расписывать материал и записывать уроки.
Так что в скором будущем для всех желающих будет доступен курс по Apache Superset

1. Настройка и установка Apache Superset
2. Подготовка данных, создание витрин
3. Подключения к источникам, настройка источников
4. Датасеты внутри Superset
5. Визуализации (кастомизации, настройки)
6. Создание дашбордов
7. Настройки фильтров
8. Настройки ролевой модели
9. Ограничения Superset
10. Аналитика и дополнительные возможности Superset
🔥24👍7🎉2
😂
😁67👍3🎉2
Data Contracts или контракты данных

Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.

Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"
👍5
🤣🤣🤣
всем хороших выходных, чтобы не тормозить)
😁38
Exploratory Data Analysis (EDA)

Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи

Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация

Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки

Статья часть 1
Статья часть 2
👍19🔥62
Привет!

В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.

Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.

📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом

Оставлю ссылку здесь
10🔥2👍1
Как составить индивидуальный план развития

В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.

Статья
👍64🎉1
Метаданные

🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации.

Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚.

В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок.

А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги.
Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать.

Другой пример про фотографии 📷📸
Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д.

Само фото - данные
Информация о фото - метаданные

Метаданные делят на несколько видов:

📍Бизнес-метаданные
Описание содержания и состояния данных, необходимо для корректного использования данных в будущем.
➡️ бизнес-правила и расчетные формулы
➡️ классы конфиденциальности
➡️ происхождение данных из источников

📍Технические метаданные
Описание технических характеристик хранения и перемещения данных
➡️ описание процесса ETL
➡️ права доступа
➡️ описание физической модели данных

📍Операционные метаданные
Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования
➡️ журналы логов и ошибок
➡️ расписание обработки данных
➡️ результаты аудита

В одном из следующих постов посмотрим примеры разных метаданных на практике
👍191🥰1
Привет!

Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче.

Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить.

Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать:

1. Предложение
Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее
Ссылка на фильм

2. Отпуск по обмену
Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов
Ссылка на фильм

3. Дворецкий
Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции
Ссылка на фильм

4. По соображениям совести
Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз
Ссылка на фильм

5. Лулу и Бриггс
Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой
Ссылка на фильм

6. Военный наряльщик
В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг
Ссылка на фильм

Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность.

P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉
15🔥6👍3