🔞 Мне от тебя нужен только С***

На самом деле речь конечно же не об этом. Хотя про CI/CD тоже не сильно много пишут, как и про секс)

Так вот мне удалось прикоснуться к сексу CI/CD! Сейчас быстро, в формате "для бабушки" выдам вам БАЗУ:

Вы написали код. Дальше загрузили его на GitHub в свой репозиторий (папку). А куда он должен деваться дальше? Ведь на гитхабе хранятся только папки с файлами, внутри которых просто код. По факту файлы с кодом – это тупо текст.

Так вот, чтобы написанный код (например он запускает скачивание - обработку - загрузку данных из источников в хранилище) запустился и начал работать, вам нужно настроить еще одну программу. В самом просто виде эта программа может быть на самом GitHub в виде GitHub Actions. Визуально это просто вкладка на сайте, где вы можете выбрать готовые (написанные за вас) файлики в формате .yaml с "машинными" инструкциями внутри. Либо вы можете написать свой файлик и поставить там формат .yaml.

Этот файл в формате .YAML визуально внутри похож на список инструкций по типу, прочитай код, запусти код, установи библиотеки, запусти тест, проверь разницу кода в ветках и так далее. Возможностей там куча, предел только ваша фантазия. Грубо говоря, вы этим файликом просто говорите GitHub, чтобы он взял ваш код и выполнил с ним то, что вы ему прикажите. Например можно автоматизировать, чтобы при каждой загрузке кода в гитхаб, сразу же запускался процесс, который проверяет файлы на синтаксис и стиль кода. Если у нас будет 100 программистов, то это будет очень удобно. Для каждого разработчика есть одинаковые правила по стилю кода и если их код не проходит тесты, то это подсвечивается и например не дает коду запускаться дальше и отправляться на сервера в продакшен (чистовик).

Лично у меня задача была в следующем. Представьте 100 разработчиков пишут SQL скрипты, которые создают таблички в Базе Данных. Разрабы просто закачивают свой код на гитхаб, но ведь в БД таблицы не появляются. Нужен процесс, который будет отслеживать, что появились новые скрипты и их надо запустить на сервере, чтобы таблицы создалИсь. Это понятно. Но если процесс будет запускаться каждый раз, когда 100 разрабов загружают свой код, то мы будем все время пересоздавать одни и те же таблицы. А их кол-во будет расти и нагрузка вместе с ней. Значит надо сделать так, чтобы создавались только новые таблицы, которых ранее не было на GitHub. Это мы можем отследить, просто посмотрев разницу коммитов (загрузок) за предыдущий раз. Видим разницу, что добавилось всего 3 скрипта – вот их и грузим!

Эту всю логику и пишут в файлике. Там также пишут условия, когда должен запускаться код. Например только при PULL REQUEST или при PUSH в мастер ветку, а может и вовсе оставить только ручной запуск (буквально можно запускать самостоятельно с кнопки). Также в этом файле пишут инструкции, которые устанавливают нужные библиотеки, нужную версию языка и так далее. Более того, чтобы создать таблицы в СУБД, надо ведь знать имя базы данных, схему и прочее. Все это еще может быть секретными данными, которые нельзя просто так светить в коде и есть требования, чтобы они шифровались и передавались в файл по "защищенному каналу". Короче говоря, чем сложнее логика и крупнее компания, тем сложнее становится процесс CI/CD.

ПодЫтожим. Код загрузился на гитхаб, потом его проверила программа на то, что он запускается, загрузила на сервер, установила все необходимые библиотеки и запустила. ВООБЩЕ ВСЕМ ЭТИМ занимается DEVOps и казалось бы причем тут я. Но мне было интересно взять эту задачу.

Ладно, отвечу цитатой классика: "Вы держитесь здесь, вам всего доброго, хорошего настроения и здоровья!"

🔴 ГО СЕГОДНЯ СТРИМ в 22:00?

Записи не будет, просто можем пообщаться, потестим насколько эта тема ок. Позадаете вопросы свои в комменты..

Че думаете?

🗣 ССЫЛКА НА СТРИМ!!!

ЗАЛЕТАЕМ ПО ССЫЛКЕ
https://t.iss.one/halltape_data?livestream

Обсуждение в комменты к этому посту

🧭 Кем быть лучше? DA или DE?

Вообще вопросов можно задать побольше и по острее:

Кто зарабатывает больше? А кем быть проще? А можно ли сменить потом направление? А кто виноват в плохих данных?

Хочу начать с качества данных
На практике конфликтов я пока не встречал (кого я обманываю), но при ошибках в данных, ответственность можно перекладывать, как на первых, так и на вторых. И еще не ясно, кто реально прав.

Может аналитики не дали четкого ТЗ, а дата инженеры сделали, как сами сочли нужным. Или косяк ДЕ, что вовремя не уточнили нюансы и теперь мы сидим с некачественными дашбордами и краснеем.

Вообще проблема коммуникаций между людьми и командами – это всегда актуальная тема. Если вам не охота лишний раз писать, звонить человеку и что-то спрашивать по данным, то потом это может выйти боком.

Как видите, общий навык общения нужен обоим профессиям.

Что касается сложности работы, то рынок очень рандомный. Зарплата не всегда прямо коррелирует с обязанностями, поэтому DA в одной компании может зарабатывать больше DE в другой и наоборот. При этом оба могут писать DAGs в Airflow и это будет норма.

Вопрос остается в том, куда вы хотите сами углубляться и двигаться. Если больше в технику и ближе к DevOps, то это лучше через DE. Если вам интересно более визуальная часть и анализ данных, то это в DA и BI. А дальше уже копать в этом направлении и прокачивать навыки в инструментах.

Если вы не знаете какое направление выбрать, то существует куча каналов с миллиардом полезных материалов (бесплатных).
И вот один из таких - Аналитика данных

А вот топ ссылок с полезными материалами:
🟣Дорожная карта аналитика данных
🟣Статьи по оконным функциям (часть 1 и часть 2)
🟣Исследование требуемых навыков в вакансиях data-специализаций
🟣Мок собесы на аналитиков
🟣Учебный проект по реализации платформы данных с нуля (часть 1, часть 2, часть 3)

Мне кстати еще зашла крутая у него идея с отдельным big data книжным каналом - КАНАЛ С БЕСПЛАТНЫМИ КНИГАМИ
Рекомендую подписаться!

🔴 Го СЕГОДНЯ проведем СТРИМ 22:00 МСК!

23 октября 22:00

Для всех, кто недавно подписался, расскажу, че вас ждет до НГ! Расскажу про Roadmap V2.0 и заодно закинем туда ваши хотелки...

СТРИМ будет 23 октября в 22:00 на полтора часа. Записи не будет, поэтому кто хочет, тот пусть приходит!

Покажу, как выглядит ROADMAP! Кстати, если вы не последний человек в ДЕ, то кто-то из тех, кто будет у вас на собесе, вполне мог бы учиться по этому материалу. Поэтому, если у вас есть конкретные пожелания к будущим джунам-мидлам, можете закинуть свой личный материал (да хоть бусти или менторство). С вас контент, с меня реклама.

Также поболтаем на любые темы, просто познакомимся, навалю вам базы, мотивации и денег

🔴 Ссылка на СТРИМ

➡️https://www.twitch.tv/halltape

Вопросы и все остальное пишите в комментарии к этому посту! Отсюда я буду читать в прямом эфире.

ВОПРОСЫ И ОБСУЖДЕНИЕ в КОММЕНТАХ!
⬇️⬇️⬇️

😈 Спасибо всем за СТРИМ!

Мощно дропнули несколько раз телегу! Теперь даже появился мем. Надо будет придумать парочку угарных)) В следюущий раз дропнем весь интернет!

Может заведем свои стикеры реально или реакции))

И кстати вполне вероятно, что следующий можно попробовать провести на Твиче!

И запомните, мы все должны РАЗНЫМИ СПОСОБАМИ ЗАЛЕТЕТЬ В ЭТО IT!

там в комменты скину файлом фотку для мема)

💬 СОБИРАЮ МОЩНЕЙШИЙ ROADMAP

Я уже начал собирать Roadmap V2.0 для Data Engineer, где будет отобранная теория + видосы на русском языке (включая мои). Вставляю туда только релевантный материал без ВОДЫ.

Это будет репозиторий на github, поэтому его можно будет всегда обновлять и править.

Основной материал я делаю своими силами, а вот по Airflow, dbt, Kafka, Оптимизация SQL я буду брать у коллег, но с разрешения естественно.

Data Learn умирает. У нас сильно меняется список инструментов с которыми мы работаем, поэтому даже этот roadmap будет актуален первые 3-4 года, если не меньше.

Собственно, я напишу коллегам по DE на разрешение вставки их материала в этот roadmap. А может я вообще зашью туда ссылки на сервис по покупке дешевых авиабилетов и заработаю еще и на рекламе?) Кстати, могу реально зашить ссылки на ваши бусти и платный контент взамен на репост моего роадмапа – бизнес по бартеру...

Помимо всего прочего, я туда вставлю ссылки на ChatGPT, которым пользуюсь лично я. И вполне вероятно, что нужно будет писать отдельно инфу под VPN сервисы. Чувствуется очень актуально!

💰 Короче, я собираю топ инфу, вы идете по ней и потом залетаете на 300к на руки и пьете смузи на берегу океана!

😙 Наш архитектор раздает мощный контент!

Ребят, 7 ноября стартует цикл лекций в Бауманке про оптимизацию SQL запросов!
Читать будет Паша – наш архитектор в Сравни!

➡️ ссылка на лекцию

Я лично собираюсь смотреть, хотя всегда могу подойти лично.
Прям всем рекомендую записаться. По секрету вам скажу, там достаточно серьезные темы и должно быть полезно тем, кто уже умеет писать на SQL.

Хотя если вы новичок, вы всегда можете выключить, когда стало непонятно. Но, не перестаю повторять, прокачивайте свою эрудицию. Сегодня оно вам не пригодится, а вот завтра сыграет в плюс на собесе!

Буду вести конспект для тех, кто не успеет посмотреть!

➡️ ссылка на лекцию

Расписание:
7 ноября
14 ноября
21 ноября
28 ноября
5 декабря

Время:
17:25 - 19:00

‼️‼️‼️ Pycharm ВСЁ?

Поработал я два месяца в Pycharm Pro, где у меня было настроены БД, S3, два проекта на python.

Лицензии начали слетать еще на прошлой неделе у людей. У меня слетела пару минут назад...

Буду переходить на VSCode, DBeaver и CyberDuck (S3). Вот так и меняется мир.

Конечно, ничего страшного не случилось. Адаптируемся под новые реалии. Но меня это крайне бесит. ЗАТЯНУТЬ ПОЯСА, НАДО НЕМНОГО ПОТЕРПЕТЬ)

⛔️ Ты попадешь в ЧЕРНЫЙ СПИСОК!

Слышал я, что многие бояться черных списков, якобы попав туда, вас вычеркнут из МИРА IT навсегда.
Единственный черный список, который нужно избегать – это список людей с уголовными статьями. Вот туда точно лучше не попадать. А в остальном не парьтесь.