Одна из главных задач аналитика - проведения исследования данных или data profiling.
Что это такое и почему это важный шаг каждого data-проекта, расписал в статье

https://zen.yandex.ru/media/id/623c6c3fb20595685d8b345f/profiling-dannyh-chto-eto-i-zachem-on-nujen-62489bbc4b15af5340523d3d

Ситуация прям очень хорошо описывает необходимость создания документации сделанной работы.

НЕ ВСЕГДА достаточно оставлять комментарии в коде или SQL-запросах при работе с данными. Важно помечать преобразования, условия фильтрации и взаимосвязей (джойнов) данных в понятном и структурированном формате, чтобы даже через месяц можно было посмотреть на доку и вспомнить что было сделано 😁.

На выходных поделюсь разными подходами создания документации в процессе работы 📝

Всем привет!

Решил поделиться своим подходом к оформлению документации при анализе и профайлинге данных из нового источника.

Первым делом хочу отметить несколько правил, которых я придерживаюсь:

1. Пиши так, чтобы документация была понятна даже человеку из другой команды. Важно помнить, что в дальнейшем вашей докой будут пользоваться также и другие люди

2. Документируй каждый день свои новые находки, иначе завтра можешь уже не вспомнить ключевые моменты

3. Оценивай трудозатраты задач с учетом создания документации. Это помогает трезво оценить скоп работы и заложить время на фиксирование анализа

Я люблю все документировать в Confluence - это продукт Atlassian, который работает как некая база знаний во многих компаниях для организации документации. Не очень удобно распихивать отдельные части анализа в разные места: excel-файлы, cloud диски как google drive или box. Все стараюсь зафиксировать на одной странице или разделе страниц

📍Важная и полезная фишка: можно создавать под себя и команду шаблоны страниц, чтобы не тратить время на постоянную структуризацию

Как выглядит моя структура страницы:

✅ Название страницы (куда де без него 😅). Пишу обычно по теме анализа

✅ Ссылка на Jira-тикет
- Очень помогает связывать тикеты и страницы документации для быстрого доступа к нужным страницам сразу из таск-трекера
- Помогает задокументировать каждую открытую задачу и ни про что не забыть

✅ Описание источника данных
- Название БД, схемы, таблицы
- Кто бизнес-владелец источника (имя, контакт)
- Контакты технической команды поддержки
- Ссылка на документацию источника
- Как получить доступ (необходимы роли и действия
- Расписание обновления данных в источнике

✅ AS-IS схема данных (если есть)
- ER-диаграмма
- Data Dictionary (словарь всех атрибутов с бизнес-описанием)

✅ TO-BE схема данных
- ER-диаграмма
- Data Dictionary
- Source to Target mapping (таблица сопоставления атрибутов между источниками AS-IS и TO-BE) - если нужен

✅ Data Profiling
- Таблица с результатами исследования данных (что такое data profiling писал в предыдущих постах ⬆️)
- SQL-скрипт для профайлинга (прикрепляется макросом в Confluence очень удобно)

✅ Открытые вопросы и видимые риски
- Список вопросов, которые нужно уточнить у технической команды или со стороны бизнеса
- Все возможные риски по качеству данных, внедрению нового источника, получения доступов и т.п (если есть)

✅ Полезные ссылки
- Все ссылки или материалы, которые были найдены или использованы во время анализа


Примерно так выглядит каждая страница в Confluence, которая создается мной после анализа и проверки источника данных.

Привет!

Хочу поделиться новостью, что вчера стартовала запись на курс "Основы анализа данных", который стартует 23 апреля.

Уроки курса:

1. Теория Баз Данных. Типы данных и работа с базами данных
2. Модели данных. Типы моделей данных + практика
3. Хранилище данных (DWH). Что такое OLTP. Озеро данных (Data Lake)
4. Основы SQL. SELECT запросы + практика
5. Python. Основы библиотеки pandas + практика
6. Метрики качества данных
7. Принципы визуализации данных + практика
8. Тестовое интервью (индивидуальное)

Главная ценность обучения: Получение структурированных знаний и практических навыков для старта работы в роли аналитика данных

Заявку на предзапись можно сделать на сайте https://datastudy.ru/ или личным сообщением @daniildzheparov (отвечу на все открытые вопросы)

Привет!

В своём Instagram блоге мне часто задают вопросы про
- роль аналитика данных на проекте
- понятие data-продукта и как их создают компании

Поэтому я предлагаю обсудить эту интересную тему на онлайн-воркшопе вместе со мной, где я расскажу детально следующие темы:

1. Что такое data-продукт
2. Жизненный цикл проекта и data-продукта
3. Роль аналитика на data-проекте
4. Демонстрация небольшого практического проекта с помощью Python, SQL и Power BI

Участие в воркшопе полностью свободное и бесплатное, приветствуются живые вопросы по теме воркшопа во время встречи 😉

📍Когда - Воскресенье (17 апреля)
📍Время - 12:00 по МСК
📍Где и как подключиться - Яндекс.Телемост (ссылка на событие https://calendar.yandex.ru/event/1697132433?applyToFuture=0&event_date=2022-04-17T09%3A00%3A00&layerId=10423820&show_date=2022-04-17 )

Технические моменты по подключению:

1. Заполните форму записи (это поможет понять количество участников) - https://forms.gle/p34SmaUNB3ayKB9B7

2. Проверьте авторизацию в Яндекс и возможность зайти в Яндекс.Телемост

3. Если хотите подключиться с телефона, скачайте приложение Яндекс.Телемост

Привет!

Напоминаю, что сегодня пройдет воркшоп на тему data-продуктов и роли аналитика в их создании.

Время: 12:00 по МСК

Ссылка для подключения: https://telemost.yandex.ru/j/96314518392068

Всем привет!

Спасибо всем, кто подключился на воркшоп 😊

Как и обещал, прикрепляю конспект воркшопа со всей теоретической информацией по data-продуктам и роли аналитика в проекте.

Чуть позже выложу запись самой встречи, посмотрим куда удастся её без проблем выложить 😉

+ файлы книг из полезных ссылок

Запись встречи

Привет!

На хабре начинается неделя аналитиков. Это хороший шанс познакомиться с компаниями, их проектами, а также подать заявку на открытые вакансии

https://pitch.habr.com/

SQL vs NoSQL базы данных

В работе с базами данных используются 2 разных технологии, на которых строится архитектура и работа с данными.

🔎 SQL базы данных работают со структурированными данными, где важна модель данных, типы данных и определенные взаимосвязи между данными.

Также SQL базы данных подчиняются принципам ACID при работе с транзакциями:

- Atomicity (атомарность)
- Consistency (согласованность)
- Isolation (изолированность)
- Durability (долговечность)

Когда применяются SQL базы данных:

- важна определенная модель данных
когда важны описанные взаимосвязи между сущностями (таблицами)
- типы данных каждого атрибута однозначно определены
- нет необходимости гибкого изменения структуры данных
- нет динамичной потребности масштабироваться

🔎 NoSQL базы данных (Not only SQL) применяются в том случае, когда нет определенных требований к структуре данных, либо данные могут динамически менять свою структуру (тип данных, модель данных)

Когда лучше применять NoSQL базы данных:

- данные являются полуструктурированными или неструктурированными
- типы данных могут динамически изменяться
-нет четко сформированных взаимосвязей между сущностями или файлами данных
- данных очень много, нет четких требований к их хранению
- необходимость в быстром масштабировании хранилища

Приведу несколько примеров тех и других БД

SQL базы данных:
MySQL
PostgreSQL
Oracle
SQL Server

NoSQL базы данных:
MongoDB
Hbase
Cassandra
Elasticsearch

​​​​Заметки Аналитика - о жизненном цикле разработки ПО глазами бизнес-/системного аналитика.

▪︎ Хотите разбираться в тонкостях процесса разработки ПО?
▪︎ Улучшить свои знания о методах сбора, анализа и формализации требований?
▪︎ Узнать  о разновидностях и особенностях методологий разработки ПО?
▪︎ Подтянуть навыки в области моделирования бизнес-процессов, проектировании интерфейсов, описания интеграций,  работе с базами данных? ..

Тогда подписывайтесь на канал Заметки Аналитика, где вы найдете:
- теоретический материал;
- интересные статьи;
- профессиональную литературу;
- задачи с собеседований для аналитиков;
- опросы.

Подписаться: @notes_analyst

Привет!

Сегодня последний день, когда можно записаться на 3 поток курса "Основы анализа данных".

Завтра стартует первое занятие из 7, на которых мы будем разбирать следующие темы:

1. Теория Баз Данных. Типы данных и работа с базами данных
2. Модели данных. Типы моделей данных + практика
3. Хранилище данных (DWH). Что такое OLTP. Озеро данных (Data Lake)
4. Основы SQL. SELECT запросы + практика
5. Python. Основы библиотеки pandas + практика
6. Метрики качества данных
7. Принципы визуализации данных + практика

ИТОГ ОБУЧЕНИЯ - Тестовое интервью (индивидуальное), на котором мы проверим ваши знания на уровне junior data analyst

Курс подойдет тебе, если ты:
📍 хочешь начать изучать область аналитики данных, но не знаешь с чего начать
📍 желаешь структурировать свое обучение для большей эффективности
📍 уже работаешь в аналитике и есть потребность улучшить навыки работы с данными
📍 хочешь выйти на новый уровень практических навыков

Запись на 3-й поток доступна сегодня до конца дня. Осталось только 2 свободных места на запись

Сайт: https://datastudy.ru/
Личные сообщения: @daniildzheparov

Привет!

В рабочем процессе я почти каждый день пишу SQL-запросы в Snowflake, решил рассказать немного про это облачное хранилище и поделиться полезной методичкой.

Snowflake - это облачное хранилище данных, представляемое для клиентов в виде сервиса. Хочется заметить, что это именно "эластичное" хранилище (elastic). Архитектура построена таким образом, что размер хранилища может автоматически и быстро изменяться в зависимости от потребностей, тем самым оно эластично подстраивается под объемы текущих данных. Другие облачные решения в свою очередь для расширения требуют добавление виртуальных серверов.

При работе с Snowflake с хранилищем можно работать разными способами:
- через web-интерфейс
- command line
- с помощью драйверов администрирования БД

В Snowflake с данными можно работать на SQL, при этом также есть синтаксис для работы с полуструктурированными данными разных форматов.

Ниже прикрепляю официальную методичку, которой сам недавно пользовался для знакомства c синтаксисом json-формата

Гроссмейстер для бизнеса. Почему в корпорациях и стартапах растет спрос на аналитиков

Количество новых вакансий в сфере бизнес-анализа на российском рынке растет ежегодно. В прошлом году ИТ-компании разместили на hh ru более 250 тысяч вакансий, каждая десятая из них пришлась на долю аналитиков. Такие специалисты традиционно востребованы именно в цифровой индустрии, но в последнее время спрос на них особенно увеличился в промышленности и ритейле.
Почему каждый из нас должен быть хоть немного бизнес-аналитиком, как прокачать в себе эти навыки и какую пользу такой сотрудник принесет компании, рассказывают эксперты ИТ-кластера «Газпром нефти»

📎 https://rb.ru/longread/grossmejster-dlya-biznesa/