🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?
#datalk
#datalk
👍4❤1🥰1
Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника
А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4
CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.
Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.
Зачем это нужно ❓
Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)
С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.
Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.
Зачем это нужно ❓
Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)
С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.
Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka
👍8🔥2❤1
Как Open Source меняет мир
Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚
Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу🎁
Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
1️⃣ Datalens
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
2️⃣ YDB
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
3️⃣ Diplodoc
Честно для меня проект стал открытием на этом вечере🔥 . Это решение для создания документации формата Docs as code и еще больше я удивился когда узнал, что вся документация сервисов Яндекс Облака написана с помощью Diplodoc. Меня это лично сильно заинтересовало и захотелось найти ему применение в своих задачах. Прочитал сразу статью, где более подробно расписано про сам продукт
Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках
Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках🕺 Ну и вишенка вечера - закрытые экскурсии в книгохранилище библиотеки, куда обычному посетителю нет возможности попасть
Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете?🔥
Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚
Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу
Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
Честно для меня проект стал открытием на этом вечере
Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках
Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках
Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27❤5👍3
Forwarded from Книги по аналитике (BA, DA, SA, PA)
Дэн Роэм / Визуальное мышление
"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."
Скачать книгу
"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."
Скачать книгу
👍10🔥3
Еще не рассказывал вам здесь что являюсь контрибьютером в проекте Димы по созданию и наполнению полезной информацией сайта dataengineer.ru
Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака
В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉
Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака
В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉
🔥13🎉12👍5
Увидел ультра полезную статью про создание динамических таблиц в Apache Superset
Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью🔥
Статья
Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью
Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Создание динамических таблиц в SuperSet
Однажды в студеную зимнюю пору из-за морей из-за океанов прилетело известие: лицензии не выдаем, тех. поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать...
🔥7👍3❤2
Пока перебирал папки и файлы на ноутбуке для удаления всего лишнего, наткнулся на такую схему, которую рисовал на одной из консультаций для ученика.
Хотел изобразить что и в какой области стоит изучать, чтобы иметь представление как работать с DWH и ETL.
Кажется такой вид информации упрощает пониманием, 🔥 если считаете также
Хотел изобразить что и в какой области стоит изучать, чтобы иметь представление как работать с DWH и ETL.
Кажется такой вид информации упрощает пониманием, 🔥 если считаете также
🔥31👍4
Как я про*бал не достиг годовые цели
В начале года в канале зафиксировал часть своих целей в посте, чтобы свериться с ними через год. Подведу итоги.
1️⃣ Здоровье
Это была цель первого приоритета. В конце февраля пошел в зал и ходил до начала ноября с перерывами на поездки. По цифрам:
- в сумме 6 месяцев регулярных занятий с тренером и без
- скинул 10кг
- набрал 3 кг мышечной массы взамен (по результатам исследования - кстати делал его в одном из МФЦ бесплатно)
По самочувствию скажу что год был похож на график функции
2️⃣ Обучающие материалы и курсы
Здесь случилось самое большое расхождение план-факт.
🔵 Материалы Analytics Engineer - готовность 50% (есть детальный план уроков, конспекты, часть презентаций, практики с домашними заданиями). большая работа еще предстоит по предзаписи видеоматериалов, вычитывания материалов и их оформление в удобный для обучения формат.
🔵 Материалы для онлайн-платформ курсов - готовность 10% (слишком поздно сел за это направление, есть структура и пара вводных уроков)
3️⃣ 10к подписчиков в канале
Как можете видеть желаемой цифры пока не случилось. В телеге довольно сложно прокачивать канал без вложений в рекламный бюджет, но брать только рекламу и расти за счет этого мне не хочется. Есть альтернатива - делать контент для других площадок и привлекать внимание к каналу, этим и хочу заняться в будущем.
Это лишь малая часть того, что я фиксировал для себя в этом году. Я придерживаюсь правила завышения цели, о котором писал здесь, так повышается шанс добежать дальше в погоне за амбициозными результатами.
Подводя итоги, хочу сказать что этот год был как "выдох" после прошедших пары лет усердной работы 24/7 по всем направлениям. Фокус стал на работу в Сравни (наша команда и проектные задачи расширялись 😃) и на выделение личного времени по вечерам на свои интересы, саморазвитие и релакс. Всем желаю хорошо отдохнуть чтобы в новый год ворваться с новыми силами для достижения новых вершин💪
В начале года в канале зафиксировал часть своих целей в посте, чтобы свериться с ними через год. Подведу итоги.
Это была цель первого приоритета. В конце февраля пошел в зал и ходил до начала ноября с перерывами на поездки. По цифрам:
- в сумме 6 месяцев регулярных занятий с тренером и без
- скинул 10кг
- набрал 3 кг мышечной массы взамен (по результатам исследования - кстати делал его в одном из МФЦ бесплатно)
По самочувствию скажу что год был похож на график функции
y = -0,5*x^2
, когда к лету был пик по заряду энергии, а вот к зиме как бы ни старался все равно чувствуется усталость и упадок сил. Здесь случилось самое большое расхождение план-факт.
🔵 Материалы Analytics Engineer - готовность 50% (есть детальный план уроков, конспекты, часть презентаций, практики с домашними заданиями). большая работа еще предстоит по предзаписи видеоматериалов, вычитывания материалов и их оформление в удобный для обучения формат.
🔵 Материалы для онлайн-платформ курсов - готовность 10% (слишком поздно сел за это направление, есть структура и пара вводных уроков)
Как можете видеть желаемой цифры пока не случилось. В телеге довольно сложно прокачивать канал без вложений в рекламный бюджет, но брать только рекламу и расти за счет этого мне не хочется. Есть альтернатива - делать контент для других площадок и привлекать внимание к каналу, этим и хочу заняться в будущем.
Это лишь малая часть того, что я фиксировал для себя в этом году. Я придерживаюсь правила завышения цели, о котором писал здесь, так повышается шанс добежать дальше в погоне за амбициозными результатами.
Подводя итоги, хочу сказать что этот год был как "выдох" после прошедших пары лет усердной работы 24/7 по всем направлениям. Фокус стал на работу в Сравни (наша команда и проектные задачи расширялись 😃) и на выделение личного времени по вечерам на свои интересы, саморазвитие и релакс. Всем желаю хорошо отдохнуть чтобы в новый год ворваться с новыми силами для достижения новых вершин
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🔥15❤9
Желаю вам в будущем году крепкого здоровья, любви, творческих и профессиональных успехов, достижения новых вершин и огромного человеческого счастья. Пусть будет множество маленьких и больших счастливых и позитивных моментов в вашей жизни. А если будут огорчения, то пусть они будут лишь частью опыта на жизненном пути, которые не останавливают вас
С Новым Годом!!!
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉34❤19👍3