Временные таблицы в базах данных

В ETL процессах часто возникает необходимость в промежуточном хранении данных. Одним из эффективных решений для этой задачи являются временные таблицы.

🔎 Временная таблица — это специальный тип таблицы в базе данных, которая существует только в течение сессии пользователя или до конца транзакции. Она создается для временного хранения данных и автоматически удаляется после завершения работы.

Чем они отличаются от обычных таблиц?

1️⃣ Временность: Временные таблицы существуют только в течение сессии или транзакции, тогда как обычные таблицы сохраняются в базе данных до тех пор, пока их не удалят вручную.
2️⃣ Изоляция: Временные таблицы видны только в пределах текущей сессии или транзакции, что обеспечивает изоляцию данных между разными пользователями или процессами.
3️⃣ Производительность: Временные таблицы часто хранятся в оперативной памяти, что позволяет значительно ускорить операции с данными.

Эти особенности и дают плюсы использования временных таблиц для оптимизации ETL

Пример создания временной таблицы в SQL из результата SELECT запроса:

CREATE TEMPORARY TABLE temp_table (
    id INT,
    name VARCHAR(50),
    value DECIMAL(10, 2)
);

--либо создание из результата SELECT запроса
CREATE TEMPORARY TABLE temp_table AS 
SELECT 
id
, name
, value
FROM table
;

Также хочу отметить, что временные таблицы позволяют оптимизировать выполнение запросов, если вам нужно преобразовывать и извлекать данные из множества разных таблиц в базе. Например, если из таблицы с продажами за все время вам нужны продажи только за последний месяц для разных видов расчетом, сохраните продажи за последний месяц во временную таблицу и обращайтесь к ней для ваших расчетов, чтобы не делать несколько тяжелых запросов к таблице всех продаж.

Оптимизация запросов в PostgreSQL / Домбровская Г.

"Книга поможет вам писать запросы, которые выполняются быстро и вовремя доставляют результаты. Вы научитесь смотреть на процесс написания запроса с точки зрения механизма базы данных и начнете думать, как оптимизатор базы данных. Объясняется, как читать и понимать планы выполнения запросов, какие существуют методы воздействия на них с точки зрения оптимизации производительности, и показано, как эти методы используются вместе для создания эффективных приложений."

Скачать книгу

Синдром самозванца

Синдром самозванца - психологический синдром, при котором человек не может реально оценить свои качества и личные достижения. Человеку кажется, что он знает меньше других и не достоин того что сейчас имеет. Это проблема адекватной оценки своих достижений и умений.

Лично у себя я ловлю такие мысли иногда, что я "делаю мало", "знаю недостаточно хорошо", "не заслуживаю чего добился" или "мог бы в свои годы достичь большего".

Знакомо❓

Несколько способов как бороться с этим:

1️⃣ Сравнивайте свое текущее состояние с тем что было 1/2/3 года назад
В моменте может показаться, что вы непродуктивны или двигаетесь не так быстро как хотелось бы. Но если вы сравните себя текущего с собой из прошлого, то скорее всего удивитесь как много вы сделали и достигли за это время.

2️⃣ Спрашивайте обратную связь о себе со стороны
Мы себя видим одним образом, люди со стороны могут видеть вас совсем по-другому. Спросите у своих родственников, друзей, коллег что они думают про вас.
- Как бы они вас описали в нескольких предложения, подчеркнув ваши основные черты
- Какие они видят в вас сильные стороны
- Какие они видят в вас недостатки (увы, они есть у всех, но с ними можно работать 👌)
Вы удивитесь сколько нового можно узнать о себе взглядом других людей со стороны.

3️⃣ Всегда занимайтесь саморазвитием и ставьте перед собой цели
Банально, но это дает гарантию, что вы можете оцифровать свои достижения по явному чек-листу прописанных целей. Достижение цели и проставление заветной галочки done ✅ напротив нее дают вам заряд положительных эмоций и фактическое признание своего достижения.

Это пункты, которые я взял себе на вооружение, вы их тоже можете попробовать 😉

Лето - время выбора ...

Для кого-то это выбор места в отпуск. А для выпускников это время выбора дальнейшего места обучения.

По своему опыту знаю как сложно было определиться с магистратурой. С одной стороны есть свои критерии выбора ВУЗа, факультета, программы обучения. Хочется чтобы это обучения было максимально полезным для тебя и будущей карьеры. С другой стороны есть множество предложений с разными фишками.

Для меня было важно
🔹 учиться в одном из топовых ВУЗов страны с сильным дипломом
🔹 получить прикладные знания для моей профессии
🔹 иметь возможность учиться на бюджете
🔹 изучать дисциплины, которые ведут настоящие преподаватели-практики

Одна из подходящих под мои критерии - программа онлайн-магистратуры по аналитике и инженерии от МИФИ и школы Simulative.

Важно что данная программа направлена на практику. Учишься в ВУЗе и практикуешься в решении реальных бизнес-задач, это просто мечта. Обучение идет в онлайн-формате для вашего удобства, есть бюджетные места, а в конце - диплом одного из лучших технических ВУЗов страны.

И бонус для тех кто успеет до 25 июля записаться в магистратуру - участие в 8-недельном тренинге, на котором научитесь делать выводы на основе данных.

Подробнее о программе - тут!

А у вас какие навыки питона? 😂😂😂

Меньше месяца до окончания приема заявок в магистратуру ЦУ с грантом до 75% на все время обучения!

Если хочешь двигаться в новую роль, но не хватает уверенности и структуры — начни обучение на одном из четырех ИТ-направлений магистратуры ЦУ.

Ты сможешь прокачаться:
— в продуктовой аналитике;
— машинном обучении;
— продуктовом менеджменте;
— backend-разработке.

Партнеры университета — ведущие компании на рынке РФ: ВТБ, Сбер, Т-Банк, Яндекс, Avito, Ozon, Х5 Tech и другие. 62% магистрантов ЦУ находят новую работу с ростом зарплаты в 1,6 раза уже на первом курсе, а средняя зарплата достигает 195 000 ₽.

Обучение можно совмещать с работой, так как занятия проводятся по вечерам и выходным.

Успей подать заявку до 24 августа: ссылка

Как лучше писать резюме чтобы пройти ИИ-скрининг

Крупные компании используют ИИ для отбора резюме кандидатов на позиции. Это дополнительный этап воронки, который сокращает выборку резюме и кандидатов для более детального отбора рекрутером.

Увидел пост от Вышки с классной мыслью, что

более развернутые резюме имеют больше шансов пройти дальше

Однако есть свои нюансы) Рекрутеры все равно сами просматривают резюме и читать огромный документ с большим количеством текста они не будут.

Подробнее можете почитать здесь

Analytics Engineering with SQL and dbt / Rui Machado

"With the shift from data warehouses to data lakes, data now lands in repositories before it’s been transformed, enabling engineers to model raw data into clean, well-defined datasets. The data build tool (dbt) helps you take data further. This practical book shows data analysts, data engineers, BI developers, and data scientists how to create a true self-service transformation platform through the use of dynamic SQL."

Скачать книгу

Книга выше ☝️
Моя рекомендация аналитикам погрузиться в процессы инженеров данных и понять как проходят трансформации данных перед тем как они попадут в красивый вид табличек в хранилище.
У нас в Сравни все аналитики сейчас работают с dbt, собирают витрины данных, готовят data-контракты на загрузку данных. Инженеры данных грузят сырой слой данных, помогают оптимизировать запросы для сборки витрин и других аналитических задач.