🔍 ETL с помощью SQL: Инкрементальная загрузка с обновлением данных🔍
✨ В предыдущем посте мы разобрали инкрементальную загрузку с сохранением всей историчности данных. Давайте разберем загрузку инкремента, чтобы в target таблицы оставались только актуальные значения данных, т.е. исторические значение перезаписывались актуальными.
Ключевые этапах этого процесса будут следующие:
1️⃣ Определение инкремента данных
Пример выделения инкремента из таблицы source по условию, что поле
2️⃣ Вставка инкремента в target таблицу с актуализацией значений данных (перезапись)
Выполняем в 2 шага:
1) Удаляем данные из target, которые есть во временной таблице по уникальному идентификатору записи (например, id). Это удалит нам записи, которые нужно обновить
Таким образом в target таблицу будут добавляться новые записи и перезаписываться обновленные актуальные записи из source
Оставляйте реакции, если пост был полезен 😉
✨ В предыдущем посте мы разобрали инкрементальную загрузку с сохранением всей историчности данных. Давайте разберем загрузку инкремента, чтобы в target таблицы оставались только актуальные значения данных, т.е. исторические значение перезаписывались актуальными.
Ключевые этапах этого процесса будут следующие:
1️⃣ Определение инкремента данных
Пример выделения инкремента из таблицы source по условию, что поле
update_date имеет сегодняшнюю датуSELECT *Лучше нам результат запроса сохранить в промежуточную временную таблицу.
FROM source s
WHERE update_date = CURRENT_DATE()
CREATE TEMPORARY TABLE tmp_increment AS
SELECT *
FROM source s
WHERE update_date = CURRENT_DATE()
2️⃣ Вставка инкремента в target таблицу с актуализацией значений данных (перезапись)
Выполняем в 2 шага:
1) Удаляем данные из target, которые есть во временной таблице по уникальному идентификатору записи (например, id). Это удалит нам записи, которые нужно обновить
DELETE FROM target2) Вставляем инкремент с актуальными записями из временной таблицы
WHERE id IN (SELECT id
FROM tmp_increment);
tmp_increment в target
INSERT INTO target
SELECT *
FROM tmp_increment;
Таким образом в target таблицу будут добавляться новые записи и перезаписываться обновленные актуальные записи из source
Оставляйте реакции, если пост был полезен 😉
👍24🔥4
Кому интересно почитать про внутрянку устройства PostgreSQL, а не только аналитические запросы на SQL писать, предлагаю почитать эту статью
На очень понятно языке со схема объяснено как что работает.
Есть еще вторая часть, которую сам пока не читал, но в ближайшее время ознакомлюсь
На очень понятно языке со схема объяснено как что работает.
Есть еще вторая часть, которую сам пока не читал, но в ближайшее время ознакомлюсь
Habr
PostgreSQL 16. Организация данных. Часть 1
> PostgreSQL 16. Организация данных. Часть 1 PostgreSQL 16. Изоляция транзакций. Часть 2 PostgreSQL 16. Страницы и версии строк. Часть 3 PostgreSQL 16. Снимки данных. Часть 4 Введение...
❤9🔥3👍1
💵 Новая статистика зарплат подъехала
Ждём результаты performance review в компании всем коллективом, будет на что ориентироваться в ожиданиях)
Статья
Ждём результаты performance review в компании всем коллективом, будет на что ориентироваться в ожиданиях)
Статья
🔥15👍4❤2
Давайте поздравим Даню с новым местом работы веб-аналитиком! 😃
Даня пришел ко мне на менторские занятия с запросом поиска работы аналитиком, имея опыт работы таргетологом и SMM-специалистом. Для этого мы
📍подтянули техническую базу навыков
📍собрали резюме
📍тренировались проходить собесы
Пару месяцев работы и твердый результат в виде трудоустройства, поздравляю! 🎉🎉🎉
#кейс
Даня пришел ко мне на менторские занятия с запросом поиска работы аналитиком, имея опыт работы таргетологом и SMM-специалистом. Для этого мы
📍подтянули техническую базу навыков
📍собрали резюме
📍тренировались проходить собесы
Пару месяцев работы и твердый результат в виде трудоустройства, поздравляю! 🎉🎉🎉
#кейс
👍44🎉21🔥10❤2
Вчера ходили отмечать годовщину 🤵👰♀️ в Японский Сад в Краснодаре
Прошло уже больше года после его открытия, но туда до сих пор стоят очереди за QR-кодом на вход. Мы купили депозит в ресторан, таким образом получили вход в парк. Однозначно рекомендация к посещению кто хочет и еще не сходил или не знал про этот парк. Погружаешься в какую-то сказку или ощущаешь себя действительно в Японии, очень понравилось 😃
Прошло уже больше года после его открытия, но туда до сих пор стоят очереди за QR-кодом на вход. Мы купили депозит в ресторан, таким образом получили вход в парк. Однозначно рекомендация к посещению кто хочет и еще не сходил или не знал про этот парк. Погружаешься в какую-то сказку или ощущаешь себя действительно в Японии, очень понравилось 😃
🎉50
This media is not supported in your browser
VIEW IN TELEGRAM
Вчера вечером катались на великах под дождём. Настольгия из детства, когда июль (единственный свободный месяц моего школьного лета) проводил в деревне у бабушки с дедушкой и главным средством передвижения куда угодно был велик. Съездить в магазин, поехать на футбольное поле с другом, купаться на речку, на рыбалку - все на великах.
Еще было 2 этапа:
1. Обычные велики (у меня был Stels)
На них всегда что-то ломалось, а цепь слетала мне кажется каждые 15 минут поездок 😃
2. Горные скоростные велики (вот на них мы даже из города в деревню и обратно по 50 км в одну сторону гоняли.
В общем любовь к двухколесному коню у меня с раннего детства привилась. Ставьте ❤️ у кого также
Еще было 2 этапа:
1. Обычные велики (у меня был Stels)
На них всегда что-то ломалось, а цепь слетала мне кажется каждые 15 минут поездок 😃
2. Горные скоростные велики (вот на них мы даже из города в деревню и обратно по 50 км в одну сторону гоняли.
В общем любовь к двухколесному коню у меня с раннего детства привилась. Ставьте ❤️ у кого также
❤48
Важно перезагружать мозги 🧠
Вчера вернулся из недельного отпуска, ездили в Пятигорск и путешествовали по разным республикам: Ставропольский край, Кабардино-Балкария, Карачаево-Черкессия, Чечня.
Красота невероятная, для меня как человека-визуала обожающего природу - это просто рай 🔝
В очередной раз убеждаюсь, что у цифровизации есть огромный потенциал развития. Быстрым и качественным сервисом в том числе с помощью приложений в Москве никого не удивить уже, но в регионах в большинстве своём это является точкой развития. И только представьте сколько работы для ITшников могло бы появиться в регионах, где кажется что кроме сельского хозяйства делать нечего.
📍цифровизация туризма
📍цифровизация сферы обслуживания и общепита
📍цифровизация отелей, сервисов доставки, трансфера
…
Ну а мы классно провели время, увидели много интересных мест, познакомились с местными обычаями и запланировали места для будущих поездок 😉
Вчера вернулся из недельного отпуска, ездили в Пятигорск и путешествовали по разным республикам: Ставропольский край, Кабардино-Балкария, Карачаево-Черкессия, Чечня.
Красота невероятная, для меня как человека-визуала обожающего природу - это просто рай 🔝
В очередной раз убеждаюсь, что у цифровизации есть огромный потенциал развития. Быстрым и качественным сервисом в том числе с помощью приложений в Москве никого не удивить уже, но в регионах в большинстве своём это является точкой развития. И только представьте сколько работы для ITшников могло бы появиться в регионах, где кажется что кроме сельского хозяйства делать нечего.
📍цифровизация туризма
📍цифровизация сферы обслуживания и общепита
📍цифровизация отелей, сервисов доставки, трансфера
…
Ну а мы классно провели время, увидели много интересных мест, познакомились с местными обычаями и запланировали места для будущих поездок 😉
🔥22❤10👍4
Важность soft-навыков
Хочу подчеркнуть, что для комфортной работы в коллективе (не только в IT) важно владеть не только прикладными (hard) навыками, но иметь развитые «мягкие» навыки. Что к ним относим:
🗣️ Коммуникативные навыки
- Уважительное общение с коллегами и окружающими тебя людьми
- Умение структурированно формулировать свои мысли и вопросы
- Умение давать и получать обратную связь, анализировать и рефлексировать над этим
🧠 Эмоциональный интеллект
- Адекватное и приличное поведение в коллективе
- Выражение чувств поддержки, помощи и т.п.
- Поиск решения конфликтных ситуаций, а лучше их предотвращение при возможности
- Тактичность
🧐 Критическое мышление
- Умение работы не по «инструкции»
- Внимательность к деталям, анализ и проверка гипотез
- Предложение оптимального решения из нескольких возможных
- Широкий взгляд на задачу, не узкое решение по шаблону
Ставьте 👍 если также как я считаете эти пункты важными умениями для специалистов
Хочу подчеркнуть, что для комфортной работы в коллективе (не только в IT) важно владеть не только прикладными (hard) навыками, но иметь развитые «мягкие» навыки. Что к ним относим:
🗣️ Коммуникативные навыки
- Уважительное общение с коллегами и окружающими тебя людьми
- Умение структурированно формулировать свои мысли и вопросы
- Умение давать и получать обратную связь, анализировать и рефлексировать над этим
🧠 Эмоциональный интеллект
- Адекватное и приличное поведение в коллективе
- Выражение чувств поддержки, помощи и т.п.
- Поиск решения конфликтных ситуаций, а лучше их предотвращение при возможности
- Тактичность
🧐 Критическое мышление
- Умение работы не по «инструкции»
- Внимательность к деталям, анализ и проверка гипотез
- Предложение оптимального решения из нескольких возможных
- Широкий взгляд на задачу, не узкое решение по шаблону
Ставьте 👍 если также как я считаете эти пункты важными умениями для специалистов
👍45🔥2
🔵 Semi-structured данные для обработки SQL
В последнее время много рабочих задач содержат работу с полуструктурированными данными формата JSON, списков из нескольких JSON.
✏️Откуда возникает потребность обрабатывать semi-structured в SQL
Далеко не всегда данные хранятся в чисто табличном виде, иногда в значения могут писать целые сообщения из json или подобных объектов. А для целей аналитики все эти значения нужно удобно разобрать по ключам и разложить на отдельные столбцы и строки в удобный и привычный табличный вид.
Кто уже устал писать простые SQL-запросы и не знает что еще можно прокачать в своих умениях в SQL, посмотрите как можно работать с json и другими объектами вложенной иерархии.
Полезные ссылки для изучения:
🔗 Semi-structured data types
🔗 Типы данных Postgres для работы с с полуструктурированными данными
В последнее время много рабочих задач содержат работу с полуструктурированными данными формата JSON, списков из нескольких JSON.
✏️Откуда возникает потребность обрабатывать semi-structured в SQL
Далеко не всегда данные хранятся в чисто табличном виде, иногда в значения могут писать целые сообщения из json или подобных объектов. А для целей аналитики все эти значения нужно удобно разобрать по ключам и разложить на отдельные столбцы и строки в удобный и привычный табличный вид.
Кто уже устал писать простые SQL-запросы и не знает что еще можно прокачать в своих умениях в SQL, посмотрите как можно работать с json и другими объектами вложенной иерархии.
Полезные ссылки для изучения:
🔗 Semi-structured data types
🔗 Типы данных Postgres для работы с с полуструктурированными данными
👍15❤1
Работа с наставником
Я хожу в спортзал с февраля:
📍3 месяца из них занимался с тренером и индивидуальными тренировками, и дальше продолжу с сентября
📍Остальное время хожу самостоятельно, т.к. из Москвы уезжал в отпуски/поездки
На своем примере еще раз подтверждаю тезис👇
Лично для меня занятия с тренером
📍не оставляют шанса выпасть из режима и установленного расписания
📍наполняют меня теоретической базой как влияют сплиты тренировок, правильные углы силы, питание на результат
📍повышают мотивацию и итоговый выхлоп на тренировке
Без тренера я могу найти отговорку вечером не пойти в зал, профилонить и сделать меньше подходов чем нужно, подобрать неправильно вес и нагрузку для максимальной эффективности.
🧠 А теперь задумайтесь и переложите все это на сферу обучения в IT или любую другую вашу сферу деятельности.
Наставник = ваш более опытный помощник для достижения ваших целей коротким путем
Я хожу в спортзал с февраля:
📍3 месяца из них занимался с тренером и индивидуальными тренировками, и дальше продолжу с сентября
📍Остальное время хожу самостоятельно, т.к. из Москвы уезжал в отпуски/поездки
На своем примере еще раз подтверждаю тезис
Работа с наставником в любой сфере деятельности ускоряет твой прогресс и увеличивает эффективность самого процесса
Лично для меня занятия с тренером
📍не оставляют шанса выпасть из режима и установленного расписания
📍наполняют меня теоретической базой как влияют сплиты тренировок, правильные углы силы, питание на результат
📍повышают мотивацию и итоговый выхлоп на тренировке
Без тренера я могу найти отговорку вечером не пойти в зал, профилонить и сделать меньше подходов чем нужно, подобрать неправильно вес и нагрузку для максимальной эффективности.
🧠 А теперь задумайтесь и переложите все это на сферу обучения в IT или любую другую вашу сферу деятельности.
Наставник = ваш более опытный помощник для достижения ваших целей коротким путем
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15👍5❤4
Благодарность вам 👀
На прошлой неделе канал достиг отметки 7000 подписчиков🎉
Хочу выразить огромную благодарность вам, дорогие подписчики, за вашу активность, обратную связь и поддержку. Получается так, что здесь делюсь не только аналитическими темами, но и фиксирую яркие моменты личной жизни.
Меня читают начинающие и опытные специалисты, коллеги, друзья, знакомые, ученики и уверен что просто хорошие люди, раз вы здесь собрались)
Двигаемся дальше 🔝🧑💻
Ниже будет один вопрос, ответьте пожалуйста, откуда вы узнали про мой канал 😉
На прошлой неделе канал достиг отметки 7000 подписчиков
Хочу выразить огромную благодарность вам, дорогие подписчики, за вашу активность, обратную связь и поддержку. Получается так, что здесь делюсь не только аналитическими темами, но и фиксирую яркие моменты личной жизни.
Меня читают начинающие и опытные специалисты, коллеги, друзья, знакомые, ученики и уверен что просто хорошие люди, раз вы здесь собрались)
Двигаемся дальше 🔝
Ниже будет один вопрос, ответьте пожалуйста, откуда вы узнали про мой канал 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍8
Откуда вы пришли на этот канал?
Anonymous Poll
80%
с других каналов в telegram
12%
со статей на habr
5%
с сайта datastudy.ru
3%
с YouTube канала
Forwarded from Книги по аналитике (BA, DA, SA, PA)
Ральф Кимбалл, Марджи Росс / Инструментарий хранений и анализа данных: полное руководство по размерному моделированию
«Сегодня тысячи компаний собирают и сохраняют большие данные о поведении своих клиентов, ассортименте, производственном процессе и других немаловажных для бизнеса вещах. Однако, чтобы принимать обоснованные решения на основе этих данных, недостаточно их просто собрать – нужно правильно их обработать и провести грамотный анализ. Благодаря этой книге вы освоите все необходимые инструменты для хранения и анализа большого
количества данных, научитесь правильно управлять ими и извлекать полезную информацию для развития бизнеса.»
Скачать книгу
«Сегодня тысячи компаний собирают и сохраняют большие данные о поведении своих клиентов, ассортименте, производственном процессе и других немаловажных для бизнеса вещах. Однако, чтобы принимать обоснованные решения на основе этих данных, недостаточно их просто собрать – нужно правильно их обработать и провести грамотный анализ. Благодаря этой книге вы освоите все необходимые инструменты для хранения и анализа большого
количества данных, научитесь правильно управлять ими и извлекать полезную информацию для развития бизнеса.»
Скачать книгу
🔥9👍4❤3
Вайб сегодняшнего дня
Всем работающим - продуктивного дня, всем отдыхающим - хорошего отдыха 😉😃
Всем работающим - продуктивного дня, всем отдыхающим - хорошего отдыха 😉😃
❤31🔥15👍3🥰1