Аналитика данных / Data Study
8.45K subscribers
404 photos
38 videos
24 files
328 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
Завтра будет возможность узнать про курс подробнее на вебинаре и попасть в группу по очень интересным условиям 🔥🔥🔥

Когда: 13 октября, 19:00 МСК

Попасть на вебинар
🔥2
Привет!

Напоминаю, что уже сегодня в 19:00 по мск пройдет вебинар "Как найти работу junior аналитиком данных" 🎉🎉🎉

За час мы с вами обсудим
- Обзор вакансий
- Карта навыков
- Как получить нужные навыки
- Малоизвестные места поиска вакансий

Не упустите шанс послушать вебинар онлайн и получить отличные бонусы 😉🔥

Присоединиться в группу вебинара
👍1
Мы начинаем через 2 минуты 😉
1.5 часа вебинара с просмотром карты навыков, обзором рынка вакансий, разбором курса "Основы анализа данных" и ответами на все вопросы пролетели отлично 🔥🔥🔥

Спасибо всем, кто подключился, были интересные вопросы и полезные ответы 😉

Все материалы доступны в той же группе вебинара, хочу вам дать максимальную пользу

P.S. Сегодня действуют специальные условия по покупке курса "Основы анализа данных", старт обучения уже в эту субботу
🔥71🥰1
Привет!

Вчера на вебинаре понял, что именно тормозит большинство людей на старте в профессии:
📍Отсутствие практического опыта
📍Неполное понимание процесса работы аналитиков в компаниях
📍Сложность в составлении резюме

После прохождения курса у вас будет готовый практический проект, который вы сможете
добавить в своё портфолио
указать проект в резюме
рассказать про процесс его реализации на собеседованиях

Проект для каждого ученика индивидуален
Он будет заключаться в построении аналитической платформы от начала и до конца.
Будут реализованы реальные шаги построения аналитического решения как в больших компаниях.
Единственное отличие - в компаниях используются большие объемы данных, соответственно и большие мощности оборудования и ресурсы для их поддержки

Какие шаги нам предстоит выполнить:
1️⃣ Сбор данных из источников (Python
2️⃣ Очистка и преобразование данных (Python + SQL)
3️⃣ Загрузка данных в хранилище/базу данных (Postgres или SQLite)
4️⃣ Исследование и визуализация (Tableau)
5️⃣ Интерпретация результатов анализа (Аналитическое мышление 😉)

Все это изучается на курсе и закрепляется при выполнении проекта. В завершении курса я помогаю ученикам оформить индивидуальное резюме
📍 Прописываем правильно структуру
📍 Оставляем важные и релевантные детали
📍Подчеркиваем ваши сильные навыки

Осталось 1 место в группе, успейте попасть на курс сегодня 😉

Способы оплаты:
1. Бронь места 5000, остальное оплачивается в течение первой недели обучения
2. Полная оплата 25000
3. Оформление рассрочки от Тинькофф (4 месяца)

Если нет карты РФ, пишите мне лично @daniildzheparov , найдем способ оплаты

Сегодня последний день, когда можно попасть на курс, следующий поток будет только через полгода 👌

Попасть в группу обучения
👍32
7 полезных книг по Python для старта и развития навыков

1. Марк Лутц "Изучаем Python"
2. Наталья Самойленко "Python для сетевых инженеров"
3. Билл Любанович "Простой Python. Современный стиль программирования"
4. Лучао Ромальо "Python. К вершинам мастерства"
5. Дэвид Бизли, Брайан К. Джонс "Python. Книга Рецептов"
6. Бейдер Дэн "Чистый Python. Тонкости программирования для профи"
7. Гарри Персиваль и Боб Грегори "Паттерны разработки на Python"

Более подробно про книги рассказано в статье ⤵️

Читать статью
👍18
Интересная статья про внедрение системы учета посещаемости на основе искусственного интеллекта и алгоритмов ML по распознаванию лица

Еще в прошлом году от кого-то в университете слышал про запуск подобного учебного проекта для студентов. Возможно, все осталось на этапе идеи, а возможно ведется активная деятельность и скоро посещаемость на парах будет учитываться не опросом студентов и не ведением ручных ведомостей, а все будет автоматизировано через камеры наблюдения или специальные приборы учета.

А может быть и пропуски заменят с пластиковых карт на распознавание лица возле турникетов))) Тогда не придется переводить кучу пластика и производить эти карты, также никто не сможет забыть пропуск 😉

Оправдано это или нет, нужно считать и анализировать

А вот что могу сказать точно, это то, что при учете посещаемости за последний месяц у меня бы стоял круглый 0 😂
👍8🥰1
УДАЛЁНКА

Решил немного разбавить бочку мёда, которой поливают обычно удаленный формат работы, ложечкой дёгтя. Расскажу немного про те минусы, которые удалось мне заметить в удаленке

1. Меньше человеческого общения с коллегами
Отсутствие очного общения сказывается на том, что у вас нет возможности установить контакт с человеком и поговорить на отдаленные от работы темы. Например, сходить с командой коллег на обед, поздравить с днём рождения и поесть всем вместе пиццу, поздравить женскую и мужскую половину с их праздниками в марте и феврале. Даже банально корпоративов нет или из максимально мало

2. Мало физической подвижности
По сравнению с поездками в офис, хождением по разным комнатам переговоров и походами на обед, дома все замыкается в площади квартиры. А заставить себя делать зарядку увы не получается. Как итог, бОльшая часть дня проходит в сидячем состоянии, что точно скажется на физическом здоровье

3. Ненормированное время
Здесь хочется сказать именно про навык управления своим временем и постановки границ между работой и личным временем.
Если возникают мысли «ну вот ещё часик полтора поработаю вечером чтобы все закончить», будьте внимательны, не растягивается ли этот «часик» на 2,3 или на весь вечер.
С офисом в таком случае все проще - встал с рабочего места, положил ноут в рюкзак и поехал домой не думая о работе до завтра.


Но всё же в удаленке есть явно больше плюсов, чем минусов, о которых явно многие из вас слышали и наслаждаются ими каждый день.
А минусы можно проработать и превратить в плюсы 😉
👍26
Привет!
Сегодня на работе помимо обсуждения проекта и задач поговорили с коллегой про темы для дипломной магистерской работы.

Диссертация должна быть с научной новизной и направлена на практическое применение. В области бизнес-анализа и работы с большими данными таких тем можно найти огромное количество, главное взять то, что конкретно для меня будет наиболее интересно.

Буду думать наверно в сторону руководства данными и менеджмент данных в компаниях и как это связано с архитектурными подходами построения аналитических платформ.

А вот в ближайшие 2 месяца на учебе ещё нужно реализовать отдельный практический проект. Темы пока нет, но есть идея делиться шагами выполнения проекта с вами.

Накидайте 🔥 если вам будет интересно читать про реализацию проекта и возможно в будущем дипломной работы
🔥54👍1
Все больше компаний в качестве BI тула внедряют Superset

В компании Леруа, где я работал раньше, тоже его внедрили на слое построения отчётности для бизнеса. Раньше там большинство дашбордов были на Tableau.

На самом деле просматривает тренд миграции с лидеров BI рынка таких как Tableau и Power BI на открытые решения. В России это явно оправдано, учитывая санкции и лицензирование. Но и зарубежные компании тоже стремятся к open source.

Аналитики и BI разработчики, если хотите оставаться в тренде, присмотритесь к Superset 😉

Статья про платформу данных в Леруа
👍131
Airflow_и_конвейеры_обработки_данных.pdf
704.7 KB
Всем привет!

Есть ознакомительный фрагмент книги "Airflow и конвейеры обработки данных", в котором дается хорошее описание принципов работы Airflow. Что такое Airflow и зачем он нужен, как работает DAG, что такое Task и как строятся автоматические конвейеры по обработке данных.
Для первого знакомства с инструментом будет очень полезно прочитать.

Кстати, сегодня в рамках курса с учениками будем тоже обсуждать ETL/ELT процессы и различные инструменты: Kafka, Airflow, Spark, dbt
👍17🔥1
Несколько советов на старте поиска работы за рубежом

1. Оформить свой профиль на LinkedIn
Это социальная сеть для поиска работы, общения по интересам и профессионального обучения.
Это ваша визитная карточка, на которую будут смотреть HRы и другие специалисты из компаний. Не пренебрегайте вашей страничкой, заполните информацию:
📍 о ваших навыках
📍опыте работы
📍уровне обучения
Также добавляйтесь в контакты к людям, которые работают в тех компаниях, куда вы хотите попасть работать. Подписывайтесь также на HR специалистов.

2. Оформите Резюме на английском
Это банально, но иногда люди задумываются о поиске работы abroad без заранее подготовленного резюме на английский язык. Также будет полезно перевести резюме на национальный язык той страны, куда вы хотите релоцировать или устроится удаленно (некоторые внутренние сотрудники предпочтут читать ваше резюме на их локальном языке). Если сомневаетесь в своем английском для корректного перевода резюме, найдите специалиста по переводу резюме или оформлению резюме на английском для 1-2 занятий.

3. Подготовьте Curriculum Vitae (CV)
В России CV и Резюме обычно не разделяют друг от друга и используют всегда резюме. В зарубежных компаниях от вас могут попросить два документа: CV и Resume. Если кратко, то Resume включат краткое описание вас как специалиста, где подчеркиваются ваши сильные стороны, навыки и компетенции (объем 1-2, максимум 3 страницы). CV - это ваша профессиональная биография, которая более подробно описывает ваш путь с момента обучения или первой работы и вплоть до текущего места. CV чаще применяется в академической деятельности.
Более подробно про различие Resume и CV можете почитать здесь

4. Подготовьте скрипты для прохождения собеседований
Под скриптами подразумеваются некоторые подготовленные предложения или даже абзацы. Например, скрипты можно написать чтобы:
📍 представиться в начале собеседования (2-3 предложения) (Hello everyone, my name is Daniil. Currently, I am working as a Senior BI Analyst in company .... I am interested in data analysis task, projects of building analytical platforms ...)
📍перечислить свои сильные стороны (I have a deep experience with SQL, BI solutions like Tableau...)
📍рассказать про свой текущий или прошлый проект: позиция, задачи, используемые инструменты, результаты проекта
📍ответить на behavioral questions (I had some bad experience in some of my previous projects... If I face with similar situation, I would act in such steps ....)

Это поможет вам сократить время на подготовку к каждому отдельному собеседованию, снизит ваш уровень стресса во время интервью и также поможет подтянуть ваш английский 😉

Несколько сайтов для поиска вакансий:

1. LinkedIn https://linkedin.com/
2. Hired https://hired.com/
3. Indeed https://www.indeed.com/
4. Cyprus Jobs https://www.cyprusjobs.com/
5. Relocate https://relocate.me/

Ставь реакции, если пост был полезен)
👍39🔥15
Привет!

Последнее время очень мало времени остается на отдых и написание постов.

📍активная фаза проекта на работе (анализ и разработка идут полным ходом🔥)
📍ведение учеников на курсе по основам анализа данных (закончилась практика по моделям данных, сегодня начали изучать SQL - дальше еще много практики 👨‍💻)
📍собственная учеба в магистратуре (кстати, вроде бы согласовал тему проекта с преподавателем, чуть позже поделюсь с вами 😉)
📍разработка плана и уроков для онлайн-курсов

В ближайшее время есть в планах создать курс по Apache Superset и визуализацию данных (недавно рассказывал про этот инструмент здесь). Сегодня написал план курса, получилось около 10 объемных блоков. Сейчас буду расписывать материал и записывать уроки.
Так что в скором будущем для всех желающих будет доступен курс по Apache Superset

1. Настройка и установка Apache Superset
2. Подготовка данных, создание витрин
3. Подключения к источникам, настройка источников
4. Датасеты внутри Superset
5. Визуализации (кастомизации, настройки)
6. Создание дашбордов
7. Настройки фильтров
8. Настройки ролевой модели
9. Ограничения Superset
10. Аналитика и дополнительные возможности Superset
🔥24👍7🎉2
😂
😁67👍3🎉2
Data Contracts или контракты данных

Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.

Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"
👍5
🤣🤣🤣
всем хороших выходных, чтобы не тормозить)
😁38
Exploratory Data Analysis (EDA)

Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи

Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация

Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки

Статья часть 1
Статья часть 2
👍19🔥62
Привет!

В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.

Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.

📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом

Оставлю ссылку здесь
10🔥2👍1