Учебный проект - Аналитическая Платформа Данных

Привет!
Я обещал вам рассказывать про проект, который буду делать в ближайшее время. Написал первый пост, переходите и смотрите что уже было сделано и что планируется сделать ⤵️

Учебный проект - Аналитическая Платформа Данных

Data Contracts или контракты данных

Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.

Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"

🤣🤣🤣
всем хороших выходных, чтобы не тормозить)

Exploratory Data Analysis (EDA)

Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи

Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация

Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки

Статья часть 1
Статья часть 2

Привет!

В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.

Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.

📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом

Оставлю ссылку здесь

Как составить индивидуальный план развития

В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.

Статья

Привет!

Работа по моему учебному проекту идёт полным ходом, а значит пора выложить вторую часть поста про прогресс по задачам.

Учебный проект - Аналитическая Платформа Данных (Часть 2)

Метаданные

🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации.

Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚.

В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок.

А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги.
Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать.

Другой пример про фотографии 📷📸
Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д.

Само фото - данные
Информация о фото - метаданные

Метаданные делят на несколько видов:

📍Бизнес-метаданные
Описание содержания и состояния данных, необходимо для корректного использования данных в будущем.
➡️ бизнес-правила и расчетные формулы
➡️ классы конфиденциальности
➡️ происхождение данных из источников

📍Технические метаданные
Описание технических характеристик хранения и перемещения данных
➡️ описание процесса ETL
➡️ права доступа
➡️ описание физической модели данных

📍Операционные метаданные
Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования
➡️ журналы логов и ошибок
➡️ расписание обработки данных
➡️ результаты аудита

В одном из следующих постов посмотрим примеры разных метаданных на практике

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных

Хорошая статья для повторения тем по SQL перед собеседованием

Статья

Привет!

Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче.

Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить.

Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать:

1. Предложение
Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее
Ссылка на фильм

2. Отпуск по обмену
Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов
Ссылка на фильм

3. Дворецкий
Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции
Ссылка на фильм

4. По соображениям совести
Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз
Ссылка на фильм

5. Лулу и Бриггс
Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой
Ссылка на фильм

6. Военный наряльщик
В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг
Ссылка на фильм

Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность.

P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉

11 soft-skills для аналитика

"Помимо профильных профессиональных навыков существуют и так называемые мягкие навыки или soft-skills. Это неспециализированные навыки, необходимые для продуктивной работы, но не связанные с конкретной предметной областью. Сегодня мы поговорим о том, какие soft-skills необходимы аналитику вне зависимости от профиля работы."

Читать статью

Must have для аналитиков и специалистов, кто работает с требованиями к ПО

Вигерс Карл, Битти Джой / Разработка требований к программному обеспечению

"Эта книга — подробное руководство по разработке качественных требований к
программному обеспечению. Здесь описаны десятки проверенных на практике
приемов выявления, формулирования, разработки, проверки, утверждения и тестирования требований, которые помогут разработчикам, менеджерам и маркетологам создать эффективное ПО. Настоящее издание дополнено новыми приемами,
посвященными разработке требований в проектах гибкой разработки (agile)."

Скачать книгу