Привет!

Давно не было никаких тестов на проверку знаний в области аналитики 👨‍💻
Сделал небольшой и простой тест на 7 вопросов на проверку базовых знаний об инструментах аналитики и работы с данными
Пройти тест можно в боте

Пройти тест

Привет!

Что делать, если у нас есть файл или таблица на десятки миллионов строк и pandas начинает долго думать над операциями?

Библиотека pandas является удобным инструментом для работы с маленькими файлами и таблицами, которые можно обрабатывать в формате датафрейма. С pandas знакомы практически все аналитики (или должны быть знакомы 😉).

Однако иногда возникают задачи, где нужно обработать файлы с большим объемом данных, включающие миллионы строк записей и занимающие гигабайты памяти.

Для этой задачи можно посмотреть в сторону библиотеки datatable. Операции чтения и многие операции преобразования данных она делает быстрее модуля pandas. Например, какая-нибудь выгрузка отчета из CRM или ERP системы в формате .csv, который необходимо преобразовать и проанализировать.

Более подробно про сравнение этих двух модулей можно почитать по ссылке
Ноутбук Colab для проверки экспериментов

Привет!

Немного решил поделиться своими активностями с выходных и и спросить вас о чем-то ⬇️

У нас подошел к концу курс "Бизнес-анализ в IT" и большинство учеников успешно сдали свои домашние проекты, с чем я их поздравляю! 🎉🎉🎉 Уверен, что полученные на курсе знания они смогут применить на реальных проектах в аналитике)
Сегодня подготовил и разослал сертификаты выпускникам 🔥

Продолжаю работать над докладом для конференции. Уже было проведено 2 встречи с представителями орг. комитета. Вношу последние правки и отсылаю завтра конспект на ревью. Надеюсь, что доклад будет одобрен ✊

Сегодня проводил одной из учениц на консультациях техническое интервью по аналитике данных. Очень классно пообщались, выявили сильные профессиональные стороны, а также места, на которые стоит обратить внимание и углубиться в темы. Все это в рамках подготовки к интервью в зарубежные компании.

Также на много вопросов отвечаю по поводу курса "Основы анализа данных". Есть желание на этой неделе провести вебинар и рассказать, какие требования на рынке сейчас предъявляют junior аналитикам данных.

Как думаете, стоит организовать такой онлайн-вебинар?

Привет!

Начинаю готовить презентацию для вебинара "Как найти работу junior аналитиком данных"

✅ Сделаем обзор рынка вакансий на позиции аналитика
✅ Выделим необходимые навыки для успешного трудоустройства
✅ Составить карту развития навыков и компетенций
✅ Поговорим про план поиска работы и обучения

Когда: 13 октября в 19:00 по МСК

Где: онлайн-встреча в группе

Присоединяйтесь к группе, там можно задавать вопросы до/во время/после вебинара, там же будет проходить сама онлайн-встреча

Привет!

Делимся большим архивом с полезными ресурсами по аналитике данных и программированию:

https://t.iss.one/+vyIL9G6EmTcxYmM6

Привет!

Думаю многие из вас слышали про такой процесс как Assessment.

Assessment (асесмент) - это регулярная комплексная оценка сотрудника. Она позволяет оценить развитие ваших навыков за определенный промежуток времени.
Такая оценка обычно проводится раз в год (иногда чаще). Т.е. раз в год у вас есть возможность повысить свою ЗП, перейти на другой грейд или перейти на другую должность.

Вы постоянно должны осваивать новые инструменты, чтобы пройти assessment, тогда ваш карьерный путь будет идти вверх 🔝

Чтобы понять какие инструменты нужно изучат для прохождения assessment, можно (нужно)
1️⃣ интересоваться у более опытных коллег
2️⃣ спросить у HR про матрицу компетенций в вашей компании
3️⃣ искать в Интернете, заниматься с ментором

Кстати, для вебинара я проанализировал 200+ вакансий и выделил навыки, необходимые именно junior аналитикам. Расписал пошаговый план развития до джуна. У вас будет целая карта навыков, при чем бесплатно 😉

Нас уже в группе почти 100 человек, ты успел присоединиться?

Присоединиться к группе вебинара

Практика на курсе "Основы анализа данных"

На курсе у нас пройдут 6 практических занятий + домашние задания и итоговый проект
Для работы в компании, вы должны уметь:
- работать с базами данных/хранилищами и писать SQL запросы
- работать с Python и проводить исследование данных
- визуализировать результаты анализа и строить дашборды

На занятии по SQL мы
📍учимся подключаться к базам данных
📍изучаем возможности DBeaver
📍учимся джойнить таблицы
📍пишем подзапросы
📍учимся применять функции агрегации
📍разбираем синтаксис и применение оконных функций

При изучении Python мы будем использовать Visual Studio Code и Jupyter Notebooks
📍установим Python, редактор кода, нужные библиотеки
📍изучим способы обработки и профилирования данных с помощью pandas, numpy
📍научимся извлекать данные из разных web-источников
📍разберем подключение к базам данных для извлечения/записи данных

Визуализация - способ донесения результатов анализа до бизнеса. Поэтому аналитику важно знать инструменты для визуализации данных.
На обучении мы работаем с Tableau Public. Мы освоим
📍принципы визуализации
📍что такое дашборд и как его строить
📍как подключаться к источникам данных
📍как изменять типы данных
📍в чем разница между метрикой и измерением
📍 как кастомизировать графики
📍 как создавать вычисляемые поля

Завтра будет возможность узнать про курс подробнее на вебинаре и попасть в группу по очень интересным условиям 🔥🔥🔥

Когда: 13 октября, 19:00 МСК

Попасть на вебинар

Привет!

Напоминаю, что уже сегодня в 19:00 по мск пройдет вебинар "Как найти работу junior аналитиком данных" 🎉🎉🎉

За час мы с вами обсудим
- Обзор вакансий
- Карта навыков
- Как получить нужные навыки
- Малоизвестные места поиска вакансий

Не упустите шанс послушать вебинар онлайн и получить отличные бонусы 😉🔥

Присоединиться в группу вебинара

Мы начинаем через 2 минуты 😉

1.5 часа вебинара с просмотром карты навыков, обзором рынка вакансий, разбором курса "Основы анализа данных" и ответами на все вопросы пролетели отлично 🔥🔥🔥

Спасибо всем, кто подключился, были интересные вопросы и полезные ответы 😉

Все материалы доступны в той же группе вебинара, хочу вам дать максимальную пользу

P.S. Сегодня действуют специальные условия по покупке курса "Основы анализа данных", старт обучения уже в эту субботу

Привет!

Вчера на вебинаре понял, что именно тормозит большинство людей на старте в профессии:
📍Отсутствие практического опыта
📍Неполное понимание процесса работы аналитиков в компаниях
📍Сложность в составлении резюме

После прохождения курса у вас будет готовый практический проект, который вы сможете
✅ добавить в своё портфолио
✅ указать проект в резюме
✅ рассказать про процесс его реализации на собеседованиях

Проект для каждого ученика индивидуален
Он будет заключаться в построении аналитической платформы от начала и до конца.
Будут реализованы реальные шаги построения аналитического решения как в больших компаниях.
Единственное отличие - в компаниях используются большие объемы данных, соответственно и большие мощности оборудования и ресурсы для их поддержки

Какие шаги нам предстоит выполнить:
1️⃣ Сбор данных из источников (Python
2️⃣ Очистка и преобразование данных (Python + SQL)
3️⃣ Загрузка данных в хранилище/базу данных (Postgres или SQLite)
4️⃣ Исследование и визуализация (Tableau)
5️⃣ Интерпретация результатов анализа (Аналитическое мышление 😉)

Все это изучается на курсе и закрепляется при выполнении проекта. В завершении курса я помогаю ученикам оформить индивидуальное резюме
📍 Прописываем правильно структуру
📍 Оставляем важные и релевантные детали
📍Подчеркиваем ваши сильные навыки

Осталось 1 место в группе, успейте попасть на курс сегодня 😉

Способы оплаты:
1. Бронь места 5000, остальное оплачивается в течение первой недели обучения
2. Полная оплата 25000
3. Оформление рассрочки от Тинькофф (4 месяца)

Если нет карты РФ, пишите мне лично @daniildzheparov , найдем способ оплаты

Сегодня последний день, когда можно попасть на курс, следующий поток будет только через полгода 👌

Попасть в группу обучения

7 полезных книг по Python для старта и развития навыков

1. Марк Лутц "Изучаем Python"
2. Наталья Самойленко "Python для сетевых инженеров"
3. Билл Любанович "Простой Python. Современный стиль программирования"
4. Лучао Ромальо "Python. К вершинам мастерства"
5. Дэвид Бизли, Брайан К. Джонс "Python. Книга Рецептов"
6. Бейдер Дэн "Чистый Python. Тонкости программирования для профи"
7. Гарри Персиваль и Боб Грегори "Паттерны разработки на Python"

Более подробно про книги рассказано в статье ⤵️

Читать статью

Интересная статья про внедрение системы учета посещаемости на основе искусственного интеллекта и алгоритмов ML по распознаванию лица

Еще в прошлом году от кого-то в университете слышал про запуск подобного учебного проекта для студентов. Возможно, все осталось на этапе идеи, а возможно ведется активная деятельность и скоро посещаемость на парах будет учитываться не опросом студентов и не ведением ручных ведомостей, а все будет автоматизировано через камеры наблюдения или специальные приборы учета.

А может быть и пропуски заменят с пластиковых карт на распознавание лица возле турникетов))) Тогда не придется переводить кучу пластика и производить эти карты, также никто не сможет забыть пропуск 😉

Оправдано это или нет, нужно считать и анализировать

А вот что могу сказать точно, это то, что при учете посещаемости за последний месяц у меня бы стоял круглый 0 😂

УДАЛЁНКА

Решил немного разбавить бочку мёда, которой поливают обычно удаленный формат работы, ложечкой дёгтя. Расскажу немного про те минусы, которые удалось мне заметить в удаленке

1. Меньше человеческого общения с коллегами
Отсутствие очного общения сказывается на том, что у вас нет возможности установить контакт с человеком и поговорить на отдаленные от работы темы. Например, сходить с командой коллег на обед, поздравить с днём рождения и поесть всем вместе пиццу, поздравить женскую и мужскую половину с их праздниками в марте и феврале. Даже банально корпоративов нет или из максимально мало

2. Мало физической подвижности
По сравнению с поездками в офис, хождением по разным комнатам переговоров и походами на обед, дома все замыкается в площади квартиры. А заставить себя делать зарядку увы не получается. Как итог, бОльшая часть дня проходит в сидячем состоянии, что точно скажется на физическом здоровье

3. Ненормированное время
Здесь хочется сказать именно про навык управления своим временем и постановки границ между работой и личным временем.
Если возникают мысли «ну вот ещё часик полтора поработаю вечером чтобы все закончить», будьте внимательны, не растягивается ли этот «часик» на 2,3 или на весь вечер.
С офисом в таком случае все проще - встал с рабочего места, положил ноут в рюкзак и поехал домой не думая о работе до завтра.


Но всё же в удаленке есть явно больше плюсов, чем минусов, о которых явно многие из вас слышали и наслаждаются ими каждый день.
А минусы можно проработать и превратить в плюсы 😉

Привет!
Сегодня на работе помимо обсуждения проекта и задач поговорили с коллегой про темы для дипломной магистерской работы.

Диссертация должна быть с научной новизной и направлена на практическое применение. В области бизнес-анализа и работы с большими данными таких тем можно найти огромное количество, главное взять то, что конкретно для меня будет наиболее интересно.

Буду думать наверно в сторону руководства данными и менеджмент данных в компаниях и как это связано с архитектурными подходами построения аналитических платформ.

А вот в ближайшие 2 месяца на учебе ещё нужно реализовать отдельный практический проект. Темы пока нет, но есть идея делиться шагами выполнения проекта с вами.

Накидайте 🔥 если вам будет интересно читать про реализацию проекта и возможно в будущем дипломной работы

Все больше компаний в качестве BI тула внедряют Superset

В компании Леруа, где я работал раньше, тоже его внедрили на слое построения отчётности для бизнеса. Раньше там большинство дашбордов были на Tableau.

На самом деле просматривает тренд миграции с лидеров BI рынка таких как Tableau и Power BI на открытые решения. В России это явно оправдано, учитывая санкции и лицензирование. Но и зарубежные компании тоже стремятся к open source.

Аналитики и BI разработчики, если хотите оставаться в тренде, присмотритесь к Superset 😉

Статья про платформу данных в Леруа

Всем привет!

Есть ознакомительный фрагмент книги "Airflow и конвейеры обработки данных", в котором дается хорошее описание принципов работы Airflow. Что такое Airflow и зачем он нужен, как работает DAG, что такое Task и как строятся автоматические конвейеры по обработке данных.
Для первого знакомства с инструментом будет очень полезно прочитать.

Кстати, сегодня в рамках курса с учениками будем тоже обсуждать ETL/ELT процессы и различные инструменты: Kafka, Airflow, Spark, dbt