Вчера вечером катались на великах под дождём. Настольгия из детства, когда июль (единственный свободный месяц моего школьного лета) проводил в деревне у бабушки с дедушкой и главным средством передвижения куда угодно был велик. Съездить в магазин, поехать на футбольное поле с другом, купаться на речку, на рыбалку - все на великах.

Еще было 2 этапа:
1. Обычные велики (у меня был Stels)
На них всегда что-то ломалось, а цепь слетала мне кажется каждые 15 минут поездок 😃
2. Горные скоростные велики (вот на них мы даже из города в деревню и обратно по 50 км в одну сторону гоняли.

В общем любовь к двухколесному коню у меня с раннего детства привилась. Ставьте ❤️ у кого также

Важность soft-навыков

Хочу подчеркнуть, что для комфортной работы в коллективе (не только в IT) важно владеть не только прикладными (hard) навыками, но иметь развитые «мягкие» навыки. Что к ним относим:

🗣️ Коммуникативные навыки
- Уважительное общение с коллегами и окружающими тебя людьми
- Умение структурированно формулировать свои мысли и вопросы
- Умение давать и получать обратную связь, анализировать и рефлексировать над этим

🧠 Эмоциональный интеллект
- Адекватное и приличное поведение в коллективе
- Выражение чувств поддержки, помощи и т.п.
- Поиск решения конфликтных ситуаций, а лучше их предотвращение при возможности
- Тактичность

🧐 Критическое мышление
- Умение работы не по «инструкции»
- Внимательность к деталям, анализ и проверка гипотез
- Предложение оптимального решения из нескольких возможных
- Широкий взгляд на задачу, не узкое решение по шаблону


Ставьте 👍 если также как я считаете эти пункты важными умениями для специалистов

Стажеры сделали подарок, в пятницу у них прошли встречи с обратной связью после 30 дней в компании. Они сказали что думают о нас, а мы о них)

Как думаете, подкуп или жест доброй воли? 😅

Ребятам спасибо, всегда приятно получать презенты 🎁😉

🔵 Semi-structured данные для обработки SQL

В последнее время много рабочих задач содержат работу с полуструктурированными данными формата JSON, списков из нескольких JSON.

✏️Откуда возникает потребность обрабатывать semi-structured в SQL
Далеко не всегда данные хранятся в чисто табличном виде, иногда в значения могут писать целые сообщения из json или подобных объектов. А для целей аналитики все эти значения нужно удобно разобрать по ключам и разложить на отдельные столбцы и строки в удобный и привычный табличный вид.

Кто уже устал писать простые SQL-запросы и не знает что еще можно прокачать в своих умениях в SQL, посмотрите как можно работать с json и другими объектами вложенной иерархии.

Полезные ссылки для изучения:
🔗 Semi-structured data types
🔗 Типы данных Postgres для работы с с полуструктурированными данными

Ральф Кимбалл, Марджи Росс / Инструментарий хранений и анализа данных: полное руководство по размерному моделированию

«Сегодня тысячи компаний собирают и сохраняют большие данные о поведении своих клиентов, ассортименте, производственном процессе и других немаловажных для бизнеса вещах. Однако, чтобы принимать обоснованные решения на основе этих данных, недостаточно их просто собрать – нужно правильно их обработать и провести грамотный анализ. Благодаря этой книге вы освоите все необходимые инструменты для хранения и анализа большого
количества данных, научитесь правильно управлять ими и извлекать полезную информацию для развития бизнеса.»

Скачать книгу

Ситуация прям очень хорошо описывает необходимость создания документации сделанной работы.

НЕ ВСЕГДА достаточно оставлять комментарии в коде или SQL-запросах при работе с данными. Важно помечать преобразования, условия фильтрации и взаимосвязей (джойнов) данных в понятном и структурированном формате, чтобы даже через месяц можно было посмотреть на доку и вспомнить что было сделано 😁.

Индексы в БД

🔎 Индексы - структура данных в базе, которая позволяет определить положение необходимых данных в базе с более высокой скоростью выполнения запросов к БД.

Пример для понимания: представьте, что вы ходите по торговому центру с целью найти магазин X. Если вы будете обходить весь торговый центр в поисках, пытаясь найти магазин по вывеске, это будет очень долго. Гораздо проще иметь в торговом центре карту или схему расположения магазинов с номерными знаками каждого магазина. Вот эти номерные знаки на карте магазинов возле их названия и будут подобием индексов в базе данных.

Зачем нужны индексы:
- более быстрый поиск необходимых данных внутри таблицы
- фильтрация данных по столбцу с индексом происходит быстрее
- объединение данных из таблиц, если в условиях объединения есть столбцы с индексами
- сортировка выборок данных также может ускориться при помощи сортировки по полю с индексом

Синтаксис создания индекса:
CREATE INDEX index_name ON table_name (column_name)

📍Это один из частых вопросах на собеседованиях, поэтому нужно понимать что такое индексы и как их можно применять

Полезные ссылки для знакомства с индексами:

- Что такое индексы (статья)
- Как создавать индексы в PostgreSQL (статья)
- Индексы (видео)
- Индексы для оптимизации SQL запросов (статья)

Недавно скидывал вам книгу от Ральфа Кимбалла про хранилище данных. Теперь почитайте про Data Lakehouse от Билла Инмона (краткий документ на английском)

Bill Inmon / Building the Data Lakehouse

"The data lakehouse architecture presents an opportunity comparable to the one seen during the early years of the data
warehouse market. The unique ability of the lakehouse to manage data in an open environment, blend all varieties of
data from all parts of the enterprise, and combine the data science focus of the data lake with the end user analytics of the data warehouse will unlock incredible value for organizations."

Скачать книгу

Время летит быстрей с возрастом…

Вам не кажется, что чем старше ты становишься, тем быстрей пролетают дни/недели/года?

Вроде только недавно планировал отпуск и собирал сумки 🧳 , а все так быстро пролетело.

Только недавно кажется праздновали Новый Год и планировали лето, а за окном уже осень 🍂

Еще смотря на стажеров с их началом учебного года понимаю, что раньше успевал учиться, работать, создавать и вести свои курсы, при этом учеба занимала большой пласт времени.
А сейчас постоянной учебы нет, а времени кажется еще меньше стало по ощущениям чем было раньше ⏳

Сентябрь - время новых начинаний и начала обучения 📚🤓

Это у нас заложено видимо на уровне биологических часов после обучения в школе и университете. Лично я всегда в сентябре чувствую потребность в знаниях. Вчера выбирал интересные для себя курсы, хочу прокачаться в позиции tech lead, также хочу научиться на новом уровне писать ботов, ну и конечно направление аналитики не осталось без внимания. Есть потребность развиваться в 2 векторах:
- hard техничка (инжиниринг данных и dba)
- менеджмент

Остается еще курсы по игре на барабанной установке найти и буду укомплектован 😅