Привет!
Сегодня на работе помимо обсуждения проекта и задач поговорили с коллегой про темы для дипломной магистерской работы.

Диссертация должна быть с научной новизной и направлена на практическое применение. В области бизнес-анализа и работы с большими данными таких тем можно найти огромное количество, главное взять то, что конкретно для меня будет наиболее интересно.

Буду думать наверно в сторону руководства данными и менеджмент данных в компаниях и как это связано с архитектурными подходами построения аналитических платформ.

А вот в ближайшие 2 месяца на учебе ещё нужно реализовать отдельный практический проект. Темы пока нет, но есть идея делиться шагами выполнения проекта с вами.

Накидайте 🔥 если вам будет интересно читать про реализацию проекта и возможно в будущем дипломной работы

Все больше компаний в качестве BI тула внедряют Superset

В компании Леруа, где я работал раньше, тоже его внедрили на слое построения отчётности для бизнеса. Раньше там большинство дашбордов были на Tableau.

На самом деле просматривает тренд миграции с лидеров BI рынка таких как Tableau и Power BI на открытые решения. В России это явно оправдано, учитывая санкции и лицензирование. Но и зарубежные компании тоже стремятся к open source.

Аналитики и BI разработчики, если хотите оставаться в тренде, присмотритесь к Superset 😉

Статья про платформу данных в Леруа

Всем привет!

Есть ознакомительный фрагмент книги "Airflow и конвейеры обработки данных", в котором дается хорошее описание принципов работы Airflow. Что такое Airflow и зачем он нужен, как работает DAG, что такое Task и как строятся автоматические конвейеры по обработке данных.
Для первого знакомства с инструментом будет очень полезно прочитать.

Кстати, сегодня в рамках курса с учениками будем тоже обсуждать ETL/ELT процессы и различные инструменты: Kafka, Airflow, Spark, dbt

Несколько советов на старте поиска работы за рубежом

1. Оформить свой профиль на LinkedIn
Это социальная сеть для поиска работы, общения по интересам и профессионального обучения.
Это ваша визитная карточка, на которую будут смотреть HRы и другие специалисты из компаний. Не пренебрегайте вашей страничкой, заполните информацию:
📍 о ваших навыках
📍опыте работы
📍уровне обучения
Также добавляйтесь в контакты к людям, которые работают в тех компаниях, куда вы хотите попасть работать. Подписывайтесь также на HR специалистов.

2. Оформите Резюме на английском
Это банально, но иногда люди задумываются о поиске работы abroad без заранее подготовленного резюме на английский язык. Также будет полезно перевести резюме на национальный язык той страны, куда вы хотите релоцировать или устроится удаленно (некоторые внутренние сотрудники предпочтут читать ваше резюме на их локальном языке). Если сомневаетесь в своем английском для корректного перевода резюме, найдите специалиста по переводу резюме или оформлению резюме на английском для 1-2 занятий.

3. Подготовьте Curriculum Vitae (CV)
В России CV и Резюме обычно не разделяют друг от друга и используют всегда резюме. В зарубежных компаниях от вас могут попросить два документа: CV и Resume. Если кратко, то Resume включат краткое описание вас как специалиста, где подчеркиваются ваши сильные стороны, навыки и компетенции (объем 1-2, максимум 3 страницы). CV - это ваша профессиональная биография, которая более подробно описывает ваш путь с момента обучения или первой работы и вплоть до текущего места. CV чаще применяется в академической деятельности.
Более подробно про различие Resume и CV можете почитать здесь

4. Подготовьте скрипты для прохождения собеседований
Под скриптами подразумеваются некоторые подготовленные предложения или даже абзацы. Например, скрипты можно написать чтобы:
📍 представиться в начале собеседования (2-3 предложения) (Hello everyone, my name is Daniil. Currently, I am working as a Senior BI Analyst in company .... I am interested in data analysis task, projects of building analytical platforms ...)
📍перечислить свои сильные стороны (I have a deep experience with SQL, BI solutions like Tableau...)
📍рассказать про свой текущий или прошлый проект: позиция, задачи, используемые инструменты, результаты проекта
📍ответить на behavioral questions (I had some bad experience in some of my previous projects... If I face with similar situation, I would act in such steps ....)

Это поможет вам сократить время на подготовку к каждому отдельному собеседованию, снизит ваш уровень стресса во время интервью и также поможет подтянуть ваш английский 😉

Несколько сайтов для поиска вакансий:

1. LinkedIn https://linkedin.com/
2. Hired https://hired.com/
3. Indeed https://www.indeed.com/
4. Cyprus Jobs https://www.cyprusjobs.com/
5. Relocate https://relocate.me/

Ставь реакции, если пост был полезен)

Привет!

Последнее время очень мало времени остается на отдых и написание постов.

📍активная фаза проекта на работе (анализ и разработка идут полным ходом🔥)
📍ведение учеников на курсе по основам анализа данных (закончилась практика по моделям данных, сегодня начали изучать SQL - дальше еще много практики 👨‍💻)
📍собственная учеба в магистратуре (кстати, вроде бы согласовал тему проекта с преподавателем, чуть позже поделюсь с вами 😉)
📍разработка плана и уроков для онлайн-курсов

В ближайшее время есть в планах создать курс по Apache Superset и визуализацию данных (недавно рассказывал про этот инструмент здесь). Сегодня написал план курса, получилось около 10 объемных блоков. Сейчас буду расписывать материал и записывать уроки.
Так что в скором будущем для всех желающих будет доступен курс по Apache Superset

1. Настройка и установка Apache Superset
2. Подготовка данных, создание витрин
3. Подключения к источникам, настройка источников
4. Датасеты внутри Superset
5. Визуализации (кастомизации, настройки)
6. Создание дашбордов
7. Настройки фильтров
8. Настройки ролевой модели
9. Ограничения Superset
10. Аналитика и дополнительные возможности Superset

Учебный проект - Аналитическая Платформа Данных

Привет!
Я обещал вам рассказывать про проект, который буду делать в ближайшее время. Написал первый пост, переходите и смотрите что уже было сделано и что планируется сделать ⤵️

Учебный проект - Аналитическая Платформа Данных

Data Contracts или контракты данных

Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.

Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"

🤣🤣🤣
всем хороших выходных, чтобы не тормозить)

Exploratory Data Analysis (EDA)

Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи

Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация

Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки

Статья часть 1
Статья часть 2

Привет!

В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.

Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.

📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом

Оставлю ссылку здесь

Как составить индивидуальный план развития

В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.

Статья

Привет!

Работа по моему учебному проекту идёт полным ходом, а значит пора выложить вторую часть поста про прогресс по задачам.

Учебный проект - Аналитическая Платформа Данных (Часть 2)

Метаданные

🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации.

Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚.

В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок.

А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги.
Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать.

Другой пример про фотографии 📷📸
Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д.

Само фото - данные
Информация о фото - метаданные

Метаданные делят на несколько видов:

📍Бизнес-метаданные
Описание содержания и состояния данных, необходимо для корректного использования данных в будущем.
➡️ бизнес-правила и расчетные формулы
➡️ классы конфиденциальности
➡️ происхождение данных из источников

📍Технические метаданные
Описание технических характеристик хранения и перемещения данных
➡️ описание процесса ETL
➡️ права доступа
➡️ описание физической модели данных

📍Операционные метаданные
Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования
➡️ журналы логов и ошибок
➡️ расписание обработки данных
➡️ результаты аудита

В одном из следующих постов посмотрим примеры разных метаданных на практике

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных

Хорошая статья для повторения тем по SQL перед собеседованием

Статья

Привет!

Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче.

Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить.

Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать:

1. Предложение
Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее
Ссылка на фильм

2. Отпуск по обмену
Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов
Ссылка на фильм

3. Дворецкий
Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции
Ссылка на фильм

4. По соображениям совести
Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз
Ссылка на фильм

5. Лулу и Бриггс
Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой
Ссылка на фильм

6. Военный наряльщик
В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг
Ссылка на фильм

Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность.

P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉

11 soft-skills для аналитика

"Помимо профильных профессиональных навыков существуют и так называемые мягкие навыки или soft-skills. Это неспециализированные навыки, необходимые для продуктивной работы, но не связанные с конкретной предметной областью. Сегодня мы поговорим о том, какие soft-skills необходимы аналитику вне зависимости от профиля работы."

Читать статью

Must have для аналитиков и специалистов, кто работает с требованиями к ПО

Вигерс Карл, Битти Джой / Разработка требований к программному обеспечению

"Эта книга — подробное руководство по разработке качественных требований к
программному обеспечению. Здесь описаны десятки проверенных на практике
приемов выявления, формулирования, разработки, проверки, утверждения и тестирования требований, которые помогут разработчикам, менеджерам и маркетологам создать эффективное ПО. Настоящее издание дополнено новыми приемами,
посвященными разработке требований в проектах гибкой разработки (agile)."

Скачать книгу