Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍
🔥20👍4❤3
Пора перестать в любой непонятной ситуации строить DWH для аналитики
Основной тезис ⤵️
Читать статью
Основной тезис ⤵️
Когда DWH не нужен:
- Проект находится на начальной стадии, методики расчетов не определены, данные плохо структурированы.
- Все данные находятся в одном источнике и их объем невелик.
- Нет потребности в регулярных расчетах.
- Нет бюджета на создание и поддержку DWH.
- Нет достаточного количества аналитиков для использования DWH
Читать статью
Хабр
Пора перестать в любой непонятной ситуации строить DWH для аналитики
Привет! Кажется, первая статья нашла своего благодарного читателя. Снова мысли от CDO трудящегося вместе с одной небольшой компанией. Продолжу о том, что "наболело". Эта статья может быть Вам полезна,...
👍9❤3🔥3
🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?
#datalk
#datalk
👍4❤1🥰1
Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника
А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4
CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.
Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.
Зачем это нужно ❓
Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)
С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.
Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.
Зачем это нужно ❓
Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)
С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.
Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
👍8🔥2❤1
Как Open Source меняет мир
Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚
Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу🎁
Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
1️⃣ Datalens
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
2️⃣ YDB
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
3️⃣ Diplodoc
Честно для меня проект стал открытием на этом вечере🔥 . Это решение для создания документации формата Docs as code и еще больше я удивился когда узнал, что вся документация сервисов Яндекс Облака написана с помощью Diplodoc. Меня это лично сильно заинтересовало и захотелось найти ему применение в своих задачах. Прочитал сразу статью, где более подробно расписано про сам продукт
Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках
Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках🕺 Ну и вишенка вечера - закрытые экскурсии в книгохранилище библиотеки, куда обычному посетителю нет возможности попасть
Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете?🔥
Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚
Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу
Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
Честно для меня проект стал открытием на этом вечере
Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках
Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках
Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27❤5👍3
Forwarded from Книги по аналитике (BA, DA, SA, PA)
Дэн Роэм / Визуальное мышление
"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."
Скачать книгу
"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."
Скачать книгу
👍10🔥3
Еще не рассказывал вам здесь что являюсь контрибьютером в проекте Димы по созданию и наполнению полезной информацией сайта dataengineer.ru
Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака
В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉
Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака
В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉
🔥13🎉12👍5
Увидел ультра полезную статью про создание динамических таблиц в Apache Superset
Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью🔥
Статья
Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью
Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Создание динамических таблиц в SuperSet
Однажды в студеную зимнюю пору из-за морей из-за океанов прилетело известие: лицензии не выдаем, тех. поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать...
🔥7👍3❤2