Аналитика данных / Data Study
8.5K subscribers
411 photos
38 videos
24 files
333 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
Некоторые люди считают, что если ты ведешь канал и делишься полезными материалами и знаниями бесплатно в массы, то ты каждому еще и индивидуально должен уделять свое время, помогать и делать все это на безвозмездной основе

Вам никто ничего не должен и не обязан делать бесплатно. Наш мир полностью построен на обмене ценностями. Если требуете ценность от кого-то, будьте готовы также дать ценность человеку. Это не только речь про покупку чего-то за деньги. Могут быть разные форматы
Знания ↔️ знания
Знания ↔️ время
Время ↔️ время
и различные другие комбинации

Я всегда готов ответить на вопросы письменно, для этого могу выделить время в течение дня. На бесплатные созвоны даже на 5 минут идти не готов, если вы ничего не предлагаете взамен, на практике 5-минутами созвон не ограничивается. А если каждому так буду соглашаться на созвон, то в сумме за месяц будут тратить ~5-10 часов. Я найду куда потратить эти часы более эффективно для себя)

Будьте адекватными в своих запросах и цените время и ценность других людей
👍6022😁3
Это просто стажировка, потом нормально будет 😄
😁59👍4🔥3
Инфраструктура для Data-Engineer DBT

При помощи понятного и всем известного SQL интерфейса можно создавать консистентные модели, которыми смогут пользоваться и понимать все участники data-команды. Ну также по моему мнению плюс dbt – возможность дать аналитикам самостоятельно создавать dm слой со своей логикой, что освобождает ресурс data-команды. Но стоит иметь ввиду, что нужен хороший процесс доставки кода: Code Review, паттерны, линтеры, принципы и прочее.


Читать статью
👍6🔥3
🧐 Какие топ 3-5 критериев при выборе места работы, если представить что у вас на руках есть несколько офферов на выбор?

#datalk
Собирал сегодня презентацию для ближайшего выступления и вставил туда такую картинку. Как считаете, на какую тему презентация будет? 😄
😁16👍3🔥1
На днях открыл для себя сервис buildin.ai, который является аналогом (с первого взгляда даже кажется копией) полюбившегося мне Notion.

Можно использовать как базу знаний, онлайн-редактор для статей и постов, или просто как личный digital-ежедневник с заметками, задачами, чек-листами, календарем и другими полезными функциями.
Вот только приложеньки еще для iphone нет, ждем 👍
2👍174
Сегодня на конференции слушаем про клиентоцентричный подход и как спикеры из банков меряются *** (прибылью) между собой)
Сформулирую основные тезисы после конфы
🔥7
Сегодня в 19:00 буду проводить вебинар на тему "Как готовить данные для анализа с помощью ETL"

Регистрируйтесь для участия по ссылке https://clck.ru/3F29E3
5🔥3
Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍
🔥20👍43
Пора перестать в любой непонятной ситуации строить DWH для аналитики

Основной тезис ⤵️

Когда DWH не нужен:

- Проект находится на начальной стадии, методики расчетов не определены, данные плохо структурированы.
- Все данные находятся в одном источнике и их объем невелик.
- Нет потребности в регулярных расчетах.
- Нет бюджета на создание и поддержку DWH.
- Нет достаточного количества аналитиков для использования DWH


Читать статью
👍93🔥3
Кто-нибудь пользуется (пользовался/собирается) столом с регулировкой высоты? Накидайте мысли насколько это удобно или как обычно - есть функционал, но поигрались пару раз и забыли?
🔥1
🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?

#datalk
👍41🥰1
👨‍💻 Управление ресурсами внутри команды

Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника

А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4
CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.


Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
👍8🔥21
Как Open Source меняет мир

Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚

Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу 🎁

Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
1️⃣ Datalens
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
2️⃣ YDB
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
3️⃣ Diplodoc
Честно для меня проект стал открытием на этом вечере 🔥. Это решение для создания документации формата Docs as code и еще больше я удивился когда узнал, что вся документация сервисов Яндекс Облака написана с помощью Diplodoc. Меня это лично сильно заинтересовало и захотелось найти ему применение в своих задачах. Прочитал сразу статью, где более подробно расписано про сам продукт

Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках

Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках 🕺 Ну и вишенка вечера - закрытые экскурсии в книгохранилище библиотеки, куда обычному посетителю нет возможности попасть

Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете? 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥275👍3