Привет!

В своём Instagram блоге мне часто задают вопросы про
- роль аналитика данных на проекте
- понятие data-продукта и как их создают компании

Поэтому я предлагаю обсудить эту интересную тему на онлайн-воркшопе вместе со мной, где я расскажу детально следующие темы:

1. Что такое data-продукт
2. Жизненный цикл проекта и data-продукта
3. Роль аналитика на data-проекте
4. Демонстрация небольшого практического проекта с помощью Python, SQL и Power BI

Участие в воркшопе полностью свободное и бесплатное, приветствуются живые вопросы по теме воркшопа во время встречи 😉

📍Когда - Воскресенье (17 апреля)
📍Время - 12:00 по МСК
📍Где и как подключиться - Яндекс.Телемост (ссылка на событие https://calendar.yandex.ru/event/1697132433?applyToFuture=0&event_date=2022-04-17T09%3A00%3A00&layerId=10423820&show_date=2022-04-17 )

Технические моменты по подключению:

1. Заполните форму записи (это поможет понять количество участников) - https://forms.gle/p34SmaUNB3ayKB9B7

2. Проверьте авторизацию в Яндекс и возможность зайти в Яндекс.Телемост

3. Если хотите подключиться с телефона, скачайте приложение Яндекс.Телемост

Привет!

Напоминаю, что сегодня пройдет воркшоп на тему data-продуктов и роли аналитика в их создании.

Время: 12:00 по МСК

Ссылка для подключения: https://telemost.yandex.ru/j/96314518392068

Всем привет!

Спасибо всем, кто подключился на воркшоп 😊

Как и обещал, прикрепляю конспект воркшопа со всей теоретической информацией по data-продуктам и роли аналитика в проекте.

Чуть позже выложу запись самой встречи, посмотрим куда удастся её без проблем выложить 😉

+ файлы книг из полезных ссылок

Запись встречи

Привет!

На хабре начинается неделя аналитиков. Это хороший шанс познакомиться с компаниями, их проектами, а также подать заявку на открытые вакансии

https://pitch.habr.com/

SQL vs NoSQL базы данных

В работе с базами данных используются 2 разных технологии, на которых строится архитектура и работа с данными.

🔎 SQL базы данных работают со структурированными данными, где важна модель данных, типы данных и определенные взаимосвязи между данными.

Также SQL базы данных подчиняются принципам ACID при работе с транзакциями:

- Atomicity (атомарность)
- Consistency (согласованность)
- Isolation (изолированность)
- Durability (долговечность)

Когда применяются SQL базы данных:

- важна определенная модель данных
когда важны описанные взаимосвязи между сущностями (таблицами)
- типы данных каждого атрибута однозначно определены
- нет необходимости гибкого изменения структуры данных
- нет динамичной потребности масштабироваться

🔎 NoSQL базы данных (Not only SQL) применяются в том случае, когда нет определенных требований к структуре данных, либо данные могут динамически менять свою структуру (тип данных, модель данных)

Когда лучше применять NoSQL базы данных:

- данные являются полуструктурированными или неструктурированными
- типы данных могут динамически изменяться
-нет четко сформированных взаимосвязей между сущностями или файлами данных
- данных очень много, нет четких требований к их хранению
- необходимость в быстром масштабировании хранилища

Приведу несколько примеров тех и других БД

SQL базы данных:
MySQL
PostgreSQL
Oracle
SQL Server

NoSQL базы данных:
MongoDB
Hbase
Cassandra
Elasticsearch

​​​​Заметки Аналитика - о жизненном цикле разработки ПО глазами бизнес-/системного аналитика.

▪︎ Хотите разбираться в тонкостях процесса разработки ПО?
▪︎ Улучшить свои знания о методах сбора, анализа и формализации требований?
▪︎ Узнать  о разновидностях и особенностях методологий разработки ПО?
▪︎ Подтянуть навыки в области моделирования бизнес-процессов, проектировании интерфейсов, описания интеграций,  работе с базами данных? ..

Тогда подписывайтесь на канал Заметки Аналитика, где вы найдете:
- теоретический материал;
- интересные статьи;
- профессиональную литературу;
- задачи с собеседований для аналитиков;
- опросы.

Подписаться: @notes_analyst

Привет!

Сегодня последний день, когда можно записаться на 3 поток курса "Основы анализа данных".

Завтра стартует первое занятие из 7, на которых мы будем разбирать следующие темы:

1. Теория Баз Данных. Типы данных и работа с базами данных
2. Модели данных. Типы моделей данных + практика
3. Хранилище данных (DWH). Что такое OLTP. Озеро данных (Data Lake)
4. Основы SQL. SELECT запросы + практика
5. Python. Основы библиотеки pandas + практика
6. Метрики качества данных
7. Принципы визуализации данных + практика

ИТОГ ОБУЧЕНИЯ - Тестовое интервью (индивидуальное), на котором мы проверим ваши знания на уровне junior data analyst

Курс подойдет тебе, если ты:
📍 хочешь начать изучать область аналитики данных, но не знаешь с чего начать
📍 желаешь структурировать свое обучение для большей эффективности
📍 уже работаешь в аналитике и есть потребность улучшить навыки работы с данными
📍 хочешь выйти на новый уровень практических навыков

Запись на 3-й поток доступна сегодня до конца дня. Осталось только 2 свободных места на запись

Сайт: https://datastudy.ru/
Личные сообщения: @daniildzheparov

Привет!

В рабочем процессе я почти каждый день пишу SQL-запросы в Snowflake, решил рассказать немного про это облачное хранилище и поделиться полезной методичкой.

Snowflake - это облачное хранилище данных, представляемое для клиентов в виде сервиса. Хочется заметить, что это именно "эластичное" хранилище (elastic). Архитектура построена таким образом, что размер хранилища может автоматически и быстро изменяться в зависимости от потребностей, тем самым оно эластично подстраивается под объемы текущих данных. Другие облачные решения в свою очередь для расширения требуют добавление виртуальных серверов.

При работе с Snowflake с хранилищем можно работать разными способами:
- через web-интерфейс
- command line
- с помощью драйверов администрирования БД

В Snowflake с данными можно работать на SQL, при этом также есть синтаксис для работы с полуструктурированными данными разных форматов.

Ниже прикрепляю официальную методичку, которой сам недавно пользовался для знакомства c синтаксисом json-формата

Гроссмейстер для бизнеса. Почему в корпорациях и стартапах растет спрос на аналитиков

Количество новых вакансий в сфере бизнес-анализа на российском рынке растет ежегодно. В прошлом году ИТ-компании разместили на hh ru более 250 тысяч вакансий, каждая десятая из них пришлась на долю аналитиков. Такие специалисты традиционно востребованы именно в цифровой индустрии, но в последнее время спрос на них особенно увеличился в промышленности и ритейле.
Почему каждый из нас должен быть хоть немного бизнес-аналитиком, как прокачать в себе эти навыки и какую пользу такой сотрудник принесет компании, рассказывают эксперты ИТ-кластера «Газпром нефти»

📎 https://rb.ru/longread/grossmejster-dlya-biznesa/

Привет!

Sibur Digital Community организовало трехдневную бесплатную конференцию по визуализации данных
Думаю будет интересно послушать 😉

⭐️ Ура! Наша первая digital-конференция:
ВИЗУАЛИЗАЦИЯ ДАННЫХ
в рамках Sibur Digital Community

26 апреля: Графика и визуализация
27-28 апреля: Данные и визуализация
Детали и тезисы
—-——————-

✅ 26 апреля (вторник)
ГРАФИКА И ВИЗУАЛИЗАЦИЯ
17:00 - 20:00 (мск)

▪️ "Манипуляции в инфографике: темная сторона визуализации данных" - Павел Лебедев - Бизнес-тренер по инфографике и визуализации данных, экс-руководитель отдела веб-дизайна Лаборатории Касперского

▪️ "Презентации в условиях изменений. Чего следует избегать в оформлении слайдов и к чему стремиться" - Антон Дубинчин - ТОП-100 креативщиков России по версии АКАР, основатель агентства креативного дизайна презентаций Proslides

————————-

✅ 27 апреля (среда)
ДАННЫЕ И ВИЗУАЛИЗАЦИЯ
17:00 - 20:00 (мск)

▪️ "BI платформы. Тренды, Гартнер и импортозамещение" - Ксения Плесовских - Руководитель направления ML/DA в компании Lad

▪️"Кейсы дашбордов в промышленности. Как построить пульт управления заводом" - Алексей Колоколов - Директор Института Бизнес-Аналитики

————————-

✅ 28 апреля (четверг)
ДАННЫЕ И ВИЗУАЛИЗАЦИЯ
17:00 - 20:00 (мск)

▪️ "Дашбордизация как цифровой консалтинг" - Максим Коровин - Владелец продукта СИБУР Диджитал

▪️ "Визуализация данных: красота vs удобство. Кейсы" - Максим Горбачевский - Основатель портала Infographer. ru, CEO агентства бизнес-визуализаций Infographer

Регистрация
Бесплатно. Онлайн

Приходите сами, задавайте вопросы спикерам заранее или сразу после докладов, зовите коллег и всех, кому это потенциально может быть полезно.

Отдельная благодарность за репосты в профильные чаты!

Историчность данных

Существует несколько способов управления историчностью данных и обновлением данных в таблицах. В зависимости от структуры данных и их применения появляется потребность в хранении версионности и историчности этих данных.

SCD или Slowly Changing Dimensions - медленно меняющиеся измерения, когда некоторые атрибуты в данных могут меняться со временем, тем самым возникает необходимость добавлять новую версию записи данных.

SCD type 0
Данные попадают в таблицу только один раз и становятся статичными, нет версионности и изменения данных. Подходит для хранения конкретных справочников, например названия и ISO коды стран

SCD type 1
Данные перезаписываются новым значением, что также не позволяет хранить версионность. Механизм простой, вместо старых значений в ту же строку перезаписываются новые значения измененных атрибутов, это позволяет не "раздувать" объем таблицы, но не дает доступа к историчности данных.

SCD type 2
Данный тип заключается в том, что в таблицу добавляется новая запись по измененным данным. Это реализовано с помощью специальных атрибутов, которые позволяют управлять версионностью. Обычно эти атрибуты выглядят так:
- Дата Начала версии
- Дата Конца версии
- Актуальность записи

SCD type 3
Реализация выглядит таким образом, что в таблице добавляется атрибут со старым значением.
- Историческое значение
- Новое значение
Есть большой недостаток, что невозможно добавлять много новых столбцов для хранения всех версий данных, поэтому история обычно ограничивается только предыдущей версией.

SCD type 4
Для хранения исторических данных создается отдельная таблица, чтобы хранить предыдущие версии. Основная таблица будет отображать только актуальную запись по данным. Большой плюс, что можем обращаться всегда к таблице основной версии, но при этом нужно создавать и поддерживать отдельную таблицу с историческими данными.

SCD type 5
Это некий гибрид типов 1 и 4. Если таблица имеет много атрибутов, то ее могут разбить на более мелкие таблицы справочники, которые будут статичны. Но если в этом маленьком справочнике будет перезапись значений по типу 1, то также необходимо будет перезаписать данные в связанной с этим справочнике более большой таблице измерений с помощью перезаписи ключа

SCD type 6
Гибрид типов 1,2,3. Здесь используется комбинация вышеперечисленных методов, где хранится полная историчность данных с доступом к актуальной версии и всем историческим значениям. Будут добавлены следующие столбцы для управления историчностью:
- Дата Начала версии
- Дата Конца версии
- Актуальность записи
- Историческое значение
- Новое значение

Примеры SCD в картинках ⬇️

Если пост интересен, оставь реакцию и поделись им с другими 🙂

Примеры SCD