Аналитика данных / Data Study
8.49K subscribers
416 photos
38 videos
24 files
333 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
🧐 Как часто вами используются знания математики университетской программы для работы с данными? В каких областях работы с данными используете, а в каких вообще не сталкиваетесь?

#datalk
😁11🔥7
Некоторые люди считают, что если ты ведешь канал и делишься полезными материалами и знаниями бесплатно в массы, то ты каждому еще и индивидуально должен уделять свое время, помогать и делать все это на безвозмездной основе

Вам никто ничего не должен и не обязан делать бесплатно. Наш мир полностью построен на обмене ценностями. Если требуете ценность от кого-то, будьте готовы также дать ценность человеку. Это не только речь про покупку чего-то за деньги. Могут быть разные форматы
Знания ↔️ знания
Знания ↔️ время
Время ↔️ время
и различные другие комбинации

Я всегда готов ответить на вопросы письменно, для этого могу выделить время в течение дня. На бесплатные созвоны даже на 5 минут идти не готов, если вы ничего не предлагаете взамен, на практике 5-минутами созвон не ограничивается. А если каждому так буду соглашаться на созвон, то в сумме за месяц будут тратить ~5-10 часов. Я найду куда потратить эти часы более эффективно для себя)

Будьте адекватными в своих запросах и цените время и ценность других людей
👍6022😁3
Это просто стажировка, потом нормально будет 😄
😁59👍4🔥3
Инфраструктура для Data-Engineer DBT

При помощи понятного и всем известного SQL интерфейса можно создавать консистентные модели, которыми смогут пользоваться и понимать все участники data-команды. Ну также по моему мнению плюс dbt – возможность дать аналитикам самостоятельно создавать dm слой со своей логикой, что освобождает ресурс data-команды. Но стоит иметь ввиду, что нужен хороший процесс доставки кода: Code Review, паттерны, линтеры, принципы и прочее.


Читать статью
👍6🔥3
🧐 Какие топ 3-5 критериев при выборе места работы, если представить что у вас на руках есть несколько офферов на выбор?

#datalk
Собирал сегодня презентацию для ближайшего выступления и вставил туда такую картинку. Как считаете, на какую тему презентация будет? 😄
😁16👍3🔥1
На днях открыл для себя сервис buildin.ai, который является аналогом (с первого взгляда даже кажется копией) полюбившегося мне Notion.

Можно использовать как базу знаний, онлайн-редактор для статей и постов, или просто как личный digital-ежедневник с заметками, задачами, чек-листами, календарем и другими полезными функциями.
Вот только приложеньки еще для iphone нет, ждем 👍
2👍174
Сегодня на конференции слушаем про клиентоцентричный подход и как спикеры из банков меряются *** (прибылью) между собой)
Сформулирую основные тезисы после конфы
🔥7
Сегодня в 19:00 буду проводить вебинар на тему "Как готовить данные для анализа с помощью ETL"

Регистрируйтесь для участия по ссылке https://clck.ru/3F29E3
5🔥3
Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍
🔥20👍43
Пора перестать в любой непонятной ситуации строить DWH для аналитики

Основной тезис ⤵️

Когда DWH не нужен:

- Проект находится на начальной стадии, методики расчетов не определены, данные плохо структурированы.
- Все данные находятся в одном источнике и их объем невелик.
- Нет потребности в регулярных расчетах.
- Нет бюджета на создание и поддержку DWH.
- Нет достаточного количества аналитиков для использования DWH


Читать статью
👍93🔥3
Кто-нибудь пользуется (пользовался/собирается) столом с регулировкой высоты? Накидайте мысли насколько это удобно или как обычно - есть функционал, но поигрались пару раз и забыли?
🔥1
🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?

#datalk
👍41🥰1
👨‍💻 Управление ресурсами внутри команды

Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника

А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4
CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.


Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
👍8🔥21