Сегодня половину дня лежал в постели и смотрел всякий легкий контент на YouTube, например про сафари в Африке, или кто сколько километров проедет по Москве на 20 литрах бензина. В общем отдыхал от рабочих задач)

Но потом в момент пришло дикое желание изучить что-то новое для себя в плане кодинга и я решил осуществить давнее желание научиться писать логирование для своего кода. На работе при решении аналитических задач такой потребности не возникало, но чем больше беру самостоятельно направление в data engineering и реализацию потоков данных для собственных проектов, тем больше чувствую в этом потребность.

Думал сначала научиться пользоваться встроенной в питон библиотекой logging, но на глаза попалась другая библиотека - loguru
Все оказалось максимально просто) Теперь каждый скрипт буду логами оборачивать

В итоге, могу сказать, что новая информация дает очень сильный всплеск энергии для мозга, а из-за этого как правило приходят новые идеи 😉 Поэтому учитесь всегда новому, иначе это как идти по эскалатору в другую сторону - чуть остановился и сразу поехал назад

Сегодня с учениками на курсе "Основы анализа данных" начали модуль по Python с основ библиотеки pandas. В ближайший месяц ученики уже самостоятельно смогут

📍извлекать данные из разных источников (базы данных, API, файлы) с помощью питона
📍проводить исследовательский анализ данных (EDA), RFM-анализ
📍чистить и преобразовывать данные из разных форматов в вид очищенного датафрейма
📍загружать данные в базу данных и автоматизировать ETL процессы
📍строить визуализацию при решении аналитических задач

На прошлом, например, потоке в процессе обучения ученик смог автоматизировать на своей работе процесс сбора и рассылки отчетов на ежедневной основе, и благодаря этому получил новые задачи и возможность повышения 💰🔥
Python пригодится каждому в разной степени, но знание основных библиотек для работы с данными вам точно развяжет сильно руки и упростит жизнь 😉

Уже третий день с женой выбираем место, где можно провести предстоящие 3 выходных. Пока результата особо нет 😅, понравившееся отели и домики все забронированы, уже, на остальное либо ценник 🔝, либо само по себе место не очень.

Подумал уже бросить поиски и засесть дома с ноутбуком работать... но после осуждающего взгляда жены быстро передумал 😂

Интересно, сколько у нас здесь трудоголиков собралось) Поделитесь своими планами в виде опроса ниже ⤵️

Зачем так много решений когда есть одно простое 😂😂😂

Оказывается есть интересная штука в Postgres для работы с http запросами. Можно выполнять запросы и получать на них ответ прямо в базе данных.

Вот здесь прочитал как это делать

Ученик написал отличные новости 😍
Огонь ведь? 🔥

#кейс

Еще когда я был подростком, мне запомнились слова одного важного для меня человека. Он сказал, что цели перед собой нужно завышать, делать их чуть более амбициозными, тогда настоящий желаемый результат будет более досягаем. На пути к такой цели ты можешь достигнуть большего результата, чем ты мог ожидать от себя, поставив как кажется оптимальную перед собой цель.

Например, когда ты хочешь зарабатывать 150к в месяц - это твое желание, исходя из которого можно поставить созвучную цель. Добившись ее, ты крутой - зарабатываешь желаемую сумму. Но если ты исходя из желания зарабатывать 150к поставишь более амбициозную - цель зарабатывать 200к, твое планирование и выполнение шагов по достижению этой цели может привести тебя к 200к. Получается, хотел 150к, поставил цель выше, реализовал ее и получаешь 200к 😃

Такое завышение цели еще объясняет выигрыш в том, что даже если ты не смог достичь амбициозной вершины и дошел до нее только частично, скажем 170к ⬅️ это все равно больше чем ты хотел изначально, а значит метод постановки более амбициозной цели сработал).

Привожу пример в заработке, но на самом деле это можно применять в любой сфере жизни: в спорте, личном развитии, финансовом благополучии и т.д.

Я пользуюсь таким подходом и он действительно много раз срабатывал) иногда завышаю прям сильно планку, недооценивая доступные ресурсы и выходит обратная ситуация, когда сильно завышенная цель может быть достигнута на 10-15% и в такие моменты думаешь что с этим делать...

Надеюсь мысль вам понятна 😃

На работе все больше беру на себя data engineering задач по написанию потоков данных.
Раньше было достаточно написать SQL-запрос и документацию, которые передавались инженеру и уже он оборачивал их в python-код или другой ETL-инструмент. Сейчас цель такая, чтобы наша команда стала максимально независима от команды инженеров DWH, тогда все наши решения сможем реализовывать самостоятельно с понятными приоритетами, сроками выполнения задач и будущей поддержкой и развитием.

P.S.: Самое сложное с чем пока сталкиваюсь - это интеграция своего кода в текущий репозиторий. Иногда кажется, что проще написать свою маленькую функцию, чем переиспользовать уже написанные части кода с множеством ненужных тебе аргументов.
Подумываю взять какие-нибудь курсы именно backend python-разработчика или менторство у крутого специалиста, чтобы лучше понимать структуру кода и перенимать лучшие практики

Кто работает с базой данных PostgreSQL, вам думаю может быть интересна данная статья

Автор рассказывает про устроенную в PostgreSQL подсистему сбора статистики работы сервера. С помощью него можно с легкостью найти ответы на следующие вопросы:
- какие запросы и сколько по времени отрабатывают
- определение нагруженных таблиц
- кол-во транзакций на чтение/запись в базе
- статистика по выполнению функций, использованию индексов

В общем, классный материал, вчера сам на работе сидел копал статистику с целью понимания скорости операций по чтению данных с дисков

Часто смотрю разные доклады по IT-тематике на YouTube, в том числе и лекции от экспертов компаний в разных ВУЗах.

У Сравни.ру есть целый курс лекций совместно с НГУ по теме «Практическая сторона современной IT-разработки». Будет полезно посмотреть как новичкам и студентам, так и специалистам с опытом, чтобы подчеркнуть для себя новые подходы в инженерии.

Лекция по основам работы с базами данных

Оставлю ссылку на плей-лист лекций здесь

Еще одна статья про наблюдение за метриками и работой сервера PostgreSQL. Будет полезно DBA, DE, аналитикам, кто сталкивается с задачами оптимизации ресурсов базы.

Топ полезных SQL-запросов для PostgreSQL

Кто на меня давно подписан, знают, что 2 года назад я разработал свой курс "Основы анализа данных". Кто не знает, рассказываю) За это время программа и материал курса преобразовывался, оттачивался и улучшался множество раз.

Было в самом начале:
📍7 живых уроков в онлайн-формате
📍2 практические домашние работы
📍1 месяц обучения

Сейчас:
📍Более 30 уроков в онлайн-формате + видеоуроки
📍8 практических домашних заданий
📍3.5 месяца обучения профессии
📍реализация практического итогового проекта и его защита
📍блок по подготовке резюме и поиска работы / развития в сфере аналитики


Результат за эти 2 года:
✅ проведено 7 потоков обучения
✅ у меня обучились 85 учеников
✅ проведено более 150 часов онлайн-уроков и консультаций в рамках курса
✅ написано и проверено 2000+ SQL-запросов

Многие ученики делятся результатами во время курса или после обучения по достижению своих целей:
🔥находят первую работу в IT на позиции аналитика
🔥меняют область своих задач в своей специализации и начинают выполнять задачи анализа данных, повышая свою ЗП 💰
🔥закрывают пробелы в своих знаниях после самостоятельного обучения или неуспешной попытки учебы на других курсах

С частью ребят работаю на совместных проектах и рекомендую их в качестве аналитиков в компании / менторов на курсы где сам веду модуль по SQL. Вы большие молодцы 🔝, знаю что меня также здесь читаете 😉

Обо всех, к сожалению, не знаю, нет столько ресурсов чтобы поддерживать общение со всеми.


📍Сейчас идет набор на 8 поток курса "Основы анализа данных"
Старт обучения: 16 января 2024

Самое время после новогодних праздников с новыми силами пойти учиться 😉
Запись в группу и подробная информация о курсе на сайте ➡️ datastudy.ru

Фреймворки Python с параллельной обработкой данных

Часто на практике возникает потребность обрабатывать большие объемы данных, либо работать с большим набором запросов к сервису. Делать это в один поток выполнения кода не всегда эффективно и быстро, а сделать эту работу параллельной помогают различные фреймворки или ETL инструменты.

Читать статью про фреймворки Python для параллельной обработки данных

Давно с вами хочу поделиться радостью и рассеять один миф

На прошлом потоке курса «Основы анализа данных» в группу записалась ученица. Точнее не так, сначала она мне написала спросить:

«Мне 52. Думаю, стоит ли мне окунуться в новую профессию, закончить еще Ваши курсы и довести свою задумку до конца? В плане-возраст. Смогу ли найти применение новых знаний.»

Сомнение как вы понимаете по большей части было а плане возраста. Смена профессии дело само по себе непростое, а с возрастом кажется все еще сложней.

После небольшого диалога о целях обучения и о том, что обучение в первую очередь дает знания, практические навыки и как результат - уверенность в себе. Все это в скопе помогает добиться поставленной цели.

Как вы понимаете, пишу я это не просто так 😃

Наталья отучилась на курсе, сделала итоговый проект (правда без защиты), который сразу смогла еще и монетизировать. Недавно она написала, что получила оффер от крупной IT компании. 🎉🎉🎉😍
И поверьте, компания и правда крупная, многие из вас с ней взаимодействуют, но Наталья просила ее не называть)

📍Вывод:
если человек действительно хочет добиться результата, он ищет возможности и обучается, откидывая все посторонние факторы на задний план 😉

#кейс

Немного новогоднего настроения в видео