Аналитика данных / Data Study
8.45K subscribers
404 photos
38 videos
24 files
328 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
Как составить индивидуальный план развития

В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.

Статья
👍64🎉1
Метаданные

🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации.

Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚.

В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок.

А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги.
Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать.

Другой пример про фотографии 📷📸
Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д.

Само фото - данные
Информация о фото - метаданные

Метаданные делят на несколько видов:

📍Бизнес-метаданные
Описание содержания и состояния данных, необходимо для корректного использования данных в будущем.
➡️ бизнес-правила и расчетные формулы
➡️ классы конфиденциальности
➡️ происхождение данных из источников

📍Технические метаданные
Описание технических характеристик хранения и перемещения данных
➡️ описание процесса ETL
➡️ права доступа
➡️ описание физической модели данных

📍Операционные метаданные
Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования
➡️ журналы логов и ошибок
➡️ расписание обработки данных
➡️ результаты аудита

В одном из следующих постов посмотрим примеры разных метаданных на практике
👍191🥰1
Привет!

Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче.

Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить.

Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать:

1. Предложение
Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее
Ссылка на фильм

2. Отпуск по обмену
Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов
Ссылка на фильм

3. Дворецкий
Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции
Ссылка на фильм

4. По соображениям совести
Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз
Ссылка на фильм

5. Лулу и Бриггс
Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой
Ссылка на фильм

6. Военный наряльщик
В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг
Ссылка на фильм

Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность.

P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉
15🔥6👍3
11 soft-skills для аналитика

"Помимо профильных профессиональных навыков существуют и так называемые мягкие навыки или soft-skills. Это неспециализированные навыки, необходимые для продуктивной работы, но не связанные с конкретной предметной областью. Сегодня мы поговорим о том, какие soft-skills необходимы аналитику вне зависимости от профиля работы."

Читать статью
👍10
Must have для аналитиков и специалистов, кто работает с требованиями к ПО
Вигерс Карл, Битти Джой / Разработка требований к программному обеспечению

"Эта книга — подробное руководство по разработке качественных требований к
программному обеспечению. Здесь описаны десятки проверенных на практике
приемов выявления, формулирования, разработки, проверки, утверждения и тестирования требований, которые помогут разработчикам, менеджерам и маркетологам создать эффективное ПО. Настоящее издание дополнено новыми приемами,
посвященными разработке требований в проектах гибкой разработки (agile)."

Скачать книгу
🔥9👍3
Привет!

Вчера провел последний урок на текущем потоке курса "Основы анализа данных"

Ученики все замотивированы на получение новых знаний. У многих помимо учебы есть основная работа, дети, семья. Но они все равно находят время заниматься, получать новые знания, слушать уроки и выполнять практику.

Впереди у нас с ними еще будет защита проектов, уверен там будет много чего интересного и познавательного. Проекты будут частью портфолио учеников.

А я решил поделиться немного отзывами, все таки это важный показатель для развития обучения дальше 😉
🔥7👍2
Как быстро и просто сгенерировать себе датасет любого объема

Привет!
Вчера для целей проекта делал датасет с данными, которые были созданы синтетически. Решил поделиться примером. Подход генерации данных довольно простой и очень быстрый. При этом можно создать любое количество атрибутов с разной выборкой значений и дальше пользоваться этими данными для тестовых целей.

Покажу пример создания датасета из 3 полей: date, client_name, trans_amount

Ссылка на файл ноутбука
🔥16👍1🥰1
Очень подробная статья про написание чистого и качественного кода на SQL.

Главный тезис ещё раз подтвердил для себя:
Если код приятен для чтения и понятен -> его можно без сложностей проверить на качество или расширить его функциональность при необходимости.
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
На вечер пятницы только такой контент 😂😂😂

Всем отличных выходных 😉
😁8🔥3👍1
Полезная статья по разворачиванию Apache Superset в VK Cloud разными способами

Сегодня протестировал установку Superset в облаке через Docker, благо там есть еще бесплатный баланс на сервисы 😁😁😁
Думаю, что в будущем попробую перевести свой учебный проект платформы данных в облако. Ну и еще хочется освоить работу с Kubernetes на уверенном уровне работы с кластером. Сейчас почему-то через раз получается подключиться к кластеру в облаке по kubectl, нужно точно глубже погружаться в тему.

Читать статью
👍5🔥2
Если кто-то хочет пройти курс по аналитике от крупных компаний, то вот здесь собрана информация о доступных учебных программах на будущее. Многие из них бесплатны, но требуют предварительной подготовки и прохождения отбора в виде интервью и тестирований.
🔥274👍4
Многие из вас знают, что для работы с данными важно знать язык структурированных запросов SQL.
Однако при работе с нереляционными базами данных применяется концепция NoSQL. NoSQL позволяет работать с данными и базами данных в разных структурах:
- документах
- словарях вида ключ-значение
- графах
- колоночных семействах

Нашел отличную статью про NoSQL с примерами в картинках. Также есть сравнение SQL и NoSQL для еще более детального понимания подходов работы с данными

Читать статью
👍11🔥5