Статья про миграцию Big Data платформы и огромное количество данных 🤯
📍2 года миграции
📍1000+ привлеченных специалистов
📍5 Пб объема данных
Читать статью
📍2 года миграции
📍1000+ привлеченных специалистов
📍5 Пб объема данных
Читать статью
Хабр
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data...
👍7🔥4❤1
Классная статья, в которой можно посмотреть устройство хранилища данных по слоям хранения.
Расписаны виды источников данных и даже применяемые SCD типы для загрузки данных 👍
Кто задается вопрос «что это такое ваше DWH и почему придумали новое название для базы данных» - вам обязательно к прочтению 😉
Статья начала 2022 года, видно что описанный стэк технологий явно неактуален. Думаю ребята уже съехали как минимум с Oracle (в конце написано что в планах был переезд на Greenplum), SAP Business Objects и Power BI тоже скорее всего чем-то заменены.
Читать статью
Расписаны виды источников данных и даже применяемые SCD типы для загрузки данных 👍
Кто задается вопрос «что это такое ваше DWH и почему придумали новое название для базы данных» - вам обязательно к прочтению 😉
Статья начала 2022 года, видно что описанный стэк технологий явно неактуален. Думаю ребята уже съехали как минимум с Oracle (в конце написано что в планах был переезд на Greenplum), SAP Business Objects и Power BI тоже скорее всего чем-то заменены.
Читать статью
🔥7👍2
Бесконечно можно радоваться 3 вещам:
1. Когда светит солнышко ☀️
2. Когда твои ученики находят работу 💼
3. Когда твои посты читают и обсуждают в проф. сообществах 🧑💻
Вообще сегодня отличное настроение, жена сдала госы и защитила красный диплом 📕👩🎓 В медицинском ВУЗе!!! Это вам не аналитике учиться, у них там думать и зубрить кучу материала нужно 😃
Пытаюсь сейчас ее переманить в аналитику или в IT в целом, она говорит смотря на мои открытые экраны со скриптами, что «более скучную работу чем у тебя я не видела» 😅 Вот так, каждому свой выбор)
#кейс
1. Когда светит солнышко ☀️
2. Когда твои ученики находят работу 💼
3. Когда твои посты читают и обсуждают в проф. сообществах 🧑💻
Вообще сегодня отличное настроение, жена сдала госы и защитила красный диплом 📕👩🎓 В медицинском ВУЗе!!! Это вам не аналитике учиться, у них там думать и зубрить кучу материала нужно 😃
Пытаюсь сейчас ее переманить в аналитику или в IT в целом, она говорит смотря на мои открытые экраны со скриптами, что «более скучную работу чем у тебя я не видела» 😅 Вот так, каждому свой выбор)
#кейс
❤16👍6🔥4
Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных
Хорошая статья для повторения тем по SQL перед собеседованием
Статья
Хорошая статья для повторения тем по SQL перед собеседованием
Статья
Хабр
Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных
Первые 70% курса по SQL кажутся довольно простыми. Сложности начинаются на остальных 30%. С 2015 по 2019 годы я прошёл четыре цикла собеседований на должность аналитика данных и специалиста по...
👍12❤5🔥5
Открепляю сообщени о стажировке в Сравни
Мы набрали стажеров, по впечатлениям от собесов все ребята мотивированы погружаться с головой в аналитические задачи. В понедельник поедем знакомиться в офис, делать онбординг и есть пиццу 😉🍕
Мы набрали стажеров, по впечатлениям от собесов все ребята мотивированы погружаться с головой в аналитические задачи. В понедельник поедем знакомиться в офис, делать онбординг и есть пиццу 😉🍕
🔥24❤6
Методология DataOps
Слышали ли вы про понятие DataOps?
Если нет, то сейчас разберем вместе, что оно обозначает.
🔎 DataOps - это методология и набор практик непрерывной интеграции данных, автоматизации и мониторинга управления данными в течение всего их жизненного цикла.
Какие задачи входят в DataOps?
📍автоматизация процессов загрузки данных в хранилища
📍мониторинг операционных потоков данных
📍оптимизация аналитики данных
📍создание инфраструктуры для корректного хранения, движения и использования данных
Полезные ссылки для погружения в тему:
🔗 DataOps Wikipedia
🔗 Концепция DataOps
🔗 DataOps в Big Data
🔗 What is DataOps
Слышали ли вы про понятие DataOps?
Если нет, то сейчас разберем вместе, что оно обозначает.
🔎 DataOps - это методология и набор практик непрерывной интеграции данных, автоматизации и мониторинга управления данными в течение всего их жизненного цикла.
Какие задачи входят в DataOps?
📍автоматизация процессов загрузки данных в хранилища
📍мониторинг операционных потоков данных
📍оптимизация аналитики данных
📍создание инфраструктуры для корректного хранения, движения и использования данных
Полезные ссылки для погружения в тему:
🔗 DataOps Wikipedia
🔗 Концепция DataOps
🔗 DataOps в Big Data
🔗 What is DataOps
🔥9👍3
🔍 ETL с помощью SQL: Инкрементальная загрузка с обновлением данных🔍
✨ В предыдущем посте мы разобрали инкрементальную загрузку с сохранением всей историчности данных. Давайте разберем загрузку инкремента, чтобы в target таблицы оставались только актуальные значения данных, т.е. исторические значение перезаписывались актуальными.
Ключевые этапах этого процесса будут следующие:
1️⃣ Определение инкремента данных
Пример выделения инкремента из таблицы source по условию, что поле
2️⃣ Вставка инкремента в target таблицу с актуализацией значений данных (перезапись)
Выполняем в 2 шага:
1) Удаляем данные из target, которые есть во временной таблице по уникальному идентификатору записи (например, id). Это удалит нам записи, которые нужно обновить
Таким образом в target таблицу будут добавляться новые записи и перезаписываться обновленные актуальные записи из source
Оставляйте реакции, если пост был полезен 😉
✨ В предыдущем посте мы разобрали инкрементальную загрузку с сохранением всей историчности данных. Давайте разберем загрузку инкремента, чтобы в target таблицы оставались только актуальные значения данных, т.е. исторические значение перезаписывались актуальными.
Ключевые этапах этого процесса будут следующие:
1️⃣ Определение инкремента данных
Пример выделения инкремента из таблицы source по условию, что поле
update_date имеет сегодняшнюю датуSELECT *Лучше нам результат запроса сохранить в промежуточную временную таблицу.
FROM source s
WHERE update_date = CURRENT_DATE()
CREATE TEMPORARY TABLE tmp_increment AS
SELECT *
FROM source s
WHERE update_date = CURRENT_DATE()
2️⃣ Вставка инкремента в target таблицу с актуализацией значений данных (перезапись)
Выполняем в 2 шага:
1) Удаляем данные из target, которые есть во временной таблице по уникальному идентификатору записи (например, id). Это удалит нам записи, которые нужно обновить
DELETE FROM target2) Вставляем инкремент с актуальными записями из временной таблицы
WHERE id IN (SELECT id
FROM tmp_increment);
tmp_increment в target
INSERT INTO target
SELECT *
FROM tmp_increment;
Таким образом в target таблицу будут добавляться новые записи и перезаписываться обновленные актуальные записи из source
Оставляйте реакции, если пост был полезен 😉
👍24🔥4
Кому интересно почитать про внутрянку устройства PostgreSQL, а не только аналитические запросы на SQL писать, предлагаю почитать эту статью
На очень понятно языке со схема объяснено как что работает.
Есть еще вторая часть, которую сам пока не читал, но в ближайшее время ознакомлюсь
На очень понятно языке со схема объяснено как что работает.
Есть еще вторая часть, которую сам пока не читал, но в ближайшее время ознакомлюсь
Habr
PostgreSQL 16. Организация данных. Часть 1
> PostgreSQL 16. Организация данных. Часть 1 PostgreSQL 16. Изоляция транзакций. Часть 2 PostgreSQL 16. Страницы и версии строк. Часть 3 PostgreSQL 16. Снимки данных. Часть 4 Введение...
❤9🔥3👍1
💵 Новая статистика зарплат подъехала
Ждём результаты performance review в компании всем коллективом, будет на что ориентироваться в ожиданиях)
Статья
Ждём результаты performance review в компании всем коллективом, будет на что ориентироваться в ожиданиях)
Статья
🔥15👍4❤2
Давайте поздравим Даню с новым местом работы веб-аналитиком! 😃
Даня пришел ко мне на менторские занятия с запросом поиска работы аналитиком, имея опыт работы таргетологом и SMM-специалистом. Для этого мы
📍подтянули техническую базу навыков
📍собрали резюме
📍тренировались проходить собесы
Пару месяцев работы и твердый результат в виде трудоустройства, поздравляю! 🎉🎉🎉
#кейс
Даня пришел ко мне на менторские занятия с запросом поиска работы аналитиком, имея опыт работы таргетологом и SMM-специалистом. Для этого мы
📍подтянули техническую базу навыков
📍собрали резюме
📍тренировались проходить собесы
Пару месяцев работы и твердый результат в виде трудоустройства, поздравляю! 🎉🎉🎉
#кейс
👍44🎉21🔥10❤2
Вчера ходили отмечать годовщину 🤵👰♀️ в Японский Сад в Краснодаре
Прошло уже больше года после его открытия, но туда до сих пор стоят очереди за QR-кодом на вход. Мы купили депозит в ресторан, таким образом получили вход в парк. Однозначно рекомендация к посещению кто хочет и еще не сходил или не знал про этот парк. Погружаешься в какую-то сказку или ощущаешь себя действительно в Японии, очень понравилось 😃
Прошло уже больше года после его открытия, но туда до сих пор стоят очереди за QR-кодом на вход. Мы купили депозит в ресторан, таким образом получили вход в парк. Однозначно рекомендация к посещению кто хочет и еще не сходил или не знал про этот парк. Погружаешься в какую-то сказку или ощущаешь себя действительно в Японии, очень понравилось 😃
🎉50
This media is not supported in your browser
VIEW IN TELEGRAM
Вчера вечером катались на великах под дождём. Настольгия из детства, когда июль (единственный свободный месяц моего школьного лета) проводил в деревне у бабушки с дедушкой и главным средством передвижения куда угодно был велик. Съездить в магазин, поехать на футбольное поле с другом, купаться на речку, на рыбалку - все на великах.
Еще было 2 этапа:
1. Обычные велики (у меня был Stels)
На них всегда что-то ломалось, а цепь слетала мне кажется каждые 15 минут поездок 😃
2. Горные скоростные велики (вот на них мы даже из города в деревню и обратно по 50 км в одну сторону гоняли.
В общем любовь к двухколесному коню у меня с раннего детства привилась. Ставьте ❤️ у кого также
Еще было 2 этапа:
1. Обычные велики (у меня был Stels)
На них всегда что-то ломалось, а цепь слетала мне кажется каждые 15 минут поездок 😃
2. Горные скоростные велики (вот на них мы даже из города в деревню и обратно по 50 км в одну сторону гоняли.
В общем любовь к двухколесному коню у меня с раннего детства привилась. Ставьте ❤️ у кого также
❤48
Важно перезагружать мозги 🧠
Вчера вернулся из недельного отпуска, ездили в Пятигорск и путешествовали по разным республикам: Ставропольский край, Кабардино-Балкария, Карачаево-Черкессия, Чечня.
Красота невероятная, для меня как человека-визуала обожающего природу - это просто рай 🔝
В очередной раз убеждаюсь, что у цифровизации есть огромный потенциал развития. Быстрым и качественным сервисом в том числе с помощью приложений в Москве никого не удивить уже, но в регионах в большинстве своём это является точкой развития. И только представьте сколько работы для ITшников могло бы появиться в регионах, где кажется что кроме сельского хозяйства делать нечего.
📍цифровизация туризма
📍цифровизация сферы обслуживания и общепита
📍цифровизация отелей, сервисов доставки, трансфера
…
Ну а мы классно провели время, увидели много интересных мест, познакомились с местными обычаями и запланировали места для будущих поездок 😉
Вчера вернулся из недельного отпуска, ездили в Пятигорск и путешествовали по разным республикам: Ставропольский край, Кабардино-Балкария, Карачаево-Черкессия, Чечня.
Красота невероятная, для меня как человека-визуала обожающего природу - это просто рай 🔝
В очередной раз убеждаюсь, что у цифровизации есть огромный потенциал развития. Быстрым и качественным сервисом в том числе с помощью приложений в Москве никого не удивить уже, но в регионах в большинстве своём это является точкой развития. И только представьте сколько работы для ITшников могло бы появиться в регионах, где кажется что кроме сельского хозяйства делать нечего.
📍цифровизация туризма
📍цифровизация сферы обслуживания и общепита
📍цифровизация отелей, сервисов доставки, трансфера
…
Ну а мы классно провели время, увидели много интересных мест, познакомились с местными обычаями и запланировали места для будущих поездок 😉
🔥22❤10👍4
Важность soft-навыков
Хочу подчеркнуть, что для комфортной работы в коллективе (не только в IT) важно владеть не только прикладными (hard) навыками, но иметь развитые «мягкие» навыки. Что к ним относим:
🗣️ Коммуникативные навыки
- Уважительное общение с коллегами и окружающими тебя людьми
- Умение структурированно формулировать свои мысли и вопросы
- Умение давать и получать обратную связь, анализировать и рефлексировать над этим
🧠 Эмоциональный интеллект
- Адекватное и приличное поведение в коллективе
- Выражение чувств поддержки, помощи и т.п.
- Поиск решения конфликтных ситуаций, а лучше их предотвращение при возможности
- Тактичность
🧐 Критическое мышление
- Умение работы не по «инструкции»
- Внимательность к деталям, анализ и проверка гипотез
- Предложение оптимального решения из нескольких возможных
- Широкий взгляд на задачу, не узкое решение по шаблону
Ставьте 👍 если также как я считаете эти пункты важными умениями для специалистов
Хочу подчеркнуть, что для комфортной работы в коллективе (не только в IT) важно владеть не только прикладными (hard) навыками, но иметь развитые «мягкие» навыки. Что к ним относим:
🗣️ Коммуникативные навыки
- Уважительное общение с коллегами и окружающими тебя людьми
- Умение структурированно формулировать свои мысли и вопросы
- Умение давать и получать обратную связь, анализировать и рефлексировать над этим
🧠 Эмоциональный интеллект
- Адекватное и приличное поведение в коллективе
- Выражение чувств поддержки, помощи и т.п.
- Поиск решения конфликтных ситуаций, а лучше их предотвращение при возможности
- Тактичность
🧐 Критическое мышление
- Умение работы не по «инструкции»
- Внимательность к деталям, анализ и проверка гипотез
- Предложение оптимального решения из нескольких возможных
- Широкий взгляд на задачу, не узкое решение по шаблону
Ставьте 👍 если также как я считаете эти пункты важными умениями для специалистов
👍45🔥2