Взял из курса на степике по DE
https://stepik.org/lesson/893154/step/1?auth=login&unit=898095
В целом для совсем нулевого уровня курс норм. Но если вы уже шарите за нормальные формы и знаете отличие OLTP vs OLAP, тогда не стоит.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🔥3👏1
Можем встретиться на IT пикнике, если есть желание))
Если кто был уже, отпишитесь насколько прикольно или интересно. Я в целом иногда бываю на таких мероприятиях. Как минимум можем все увидеться вживую, а не сидеть в своих домах за компуктерами.
https://it-picnic.ru
Не реклама!
Please open Telegram to view this post
VIEW IN TELEGRAM
it-picnic.ru
ИТ-пикник 2025 — летний фестиваль для ИТ-специалистов и их близких
Лекции, интерактивы, детские зоны, музыка и яркий летний день. Ждем вас на ИТ-пикнике 16 августа в Коломенском. Подписывайтесь на телеграм-канал, чтобы не пропустить регистрацию
🔥10🤔4😱2
Это комменты на ютубе к моему видосу про то, кто такие data engineer
Например стать айтишником или пробиться со своим треком в чарты – две разные цели. И там и там есть ошибка выжившего.
Но в первой вероятность успеха намного выше. Тупо айтишников больше, чем успешных артистов. Я такой пример привожу, потому что в прошлом занимался продюссированием треков и понимаю, насколько это сложнее. Там должны все звезды сойтись.
А в айти понятный путь. Делаешь резюме, ходишь на собес. Удачно проходишь собес. Если не зовут на собес, значит корректируешь так резюме, чтобы оно попадало в фильтр. И проходишь эту игру поэтапно. Здесь четкие правила игры и есть ОКЛАД. Это ваш гарантированный доход по ТК РФ.
Не сдаемся и работаем! Те, кто двигаются, те доходят до своей цели!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤25👍11🔥5
ССЫЛКА НА YOUTUBE
ССЫЛКА НА GITHUB
Чувак в реальном времени поднимает сервисы в docker compose и пишет код в airflow. На мой взгляд, если просто повторите за ним и придумаете сами несколько источников, то можно смело говорить, что у вас есть опыт работы с инструментами.
Отличие от комм опыта будет в нагрузке. Вычисления на больших данных конечно требует и контроля ресурсов в Спарке и правильный подход к партициям, кэшированию, сохранениям по слоям и так далее. Но базово понять принцип дата инженера точно получится!
Я рекомендую просто перепечатывать за ним, параллельно закидывая в cht gpt то, что вам непонятно. А еще лучше, если вы будете парсить данные с тех сайтов, которые вам интересны, чтобы было не скучно!
А я пошел смотреть другие видосы у него. Это прям находка!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥36👍7❤4
Объявление для тех, кто решает сейчас задачи на степике по python и так далее.
Если вы видите тупорылые задачи на шахматы, на матрицы или в описании задачи вообще описана какая-то история (типа олимпиадная задача), то смело пропускайте это днище и не засирайте себе мозг!
На работе нет таких задач! DE работает с таблицами, строками, списками, словарями и кортежами большую часть времени. У нас данные. У нас нет матриц или шахмат. У нас даже сортировка уже зашита внутрь мозгов питона, спарка и скл.
Не слушайте умников, которые вам затирают про БАЗУ. Типа надо сначала разобраться, как это работает на низком уровне, а только потом уже можно приступать к более сложному.
Решайте то, что решается. Сели за задачу. Если сидите над ней уже 2 часа, смело пропускайте и идите дальше. Вполне вероятно, что вы к ней сможете вернуться уже, когда получите оффер. Но вам тогда будет уже наплевать. А время идет и возраст уходит.
Пожалуйста, будьте прагматичнее и срезайте путь, как можете. В нашей жизни часто играет большую роль удача, а не умение решать олимпиадные задачи!
У меня кипит!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥86👍12😁4❤3👏2
Уже завтра я буду вести стрим по
Это пример реальной задачи на работе.
Важно:
Это будет тестовый прогон в реальном времени. Можно будет задать любые вопросы по коду, настройке и так далее.
Чистовик я выпущу только осенью на своем Youtube канале (будет доступно всем бесплатно)
Более того, данные и сам скрипт я добавлю в свой проект на github, поэтому любой из вас сможет повторить это у себя дома!
Проводить стрим буду на своем Boosty!
Подписывайся, если не хочешь пропустить!
https://boosty.to/halltape_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍5❤2👎1👏1
Это 27 июля 2022. Я почти в самом начале. Я тогда пробежался по вакансиям на hh.ru и просто выписал слова из вакансий Data Engineer.
Для меня это были просто слова, ну кроме Git и python. Git я знал из школы21, а питон и так на слуху у всех. Тогда я с ужасом смотрел на этот список и сразу впадал в кому. Ментально казалось, что эти технологии надо начинать учить еще со школы, класса так с 5 (ладно, я уже утрирую), с шестого.
Т.е. видно, что я пишу PostgreSQL, а потом СУБД Postgres, хотя это одно и тоже. Или пишу Hive, хотя он входит в Hadoop. А еще мне нравится, как я написал Spark, а потом сразу же уточнил, что PySpark)) Кстати SSIS я до сих пор не знаю что это (Это что-то из MSSQL?). Если вы на этом этапе, то: "Не все технологии нужно знать сразу, какие-то догоните уже на работе"
Вот, как бы я рекомендовал идти:
1. SQL (postgre, mysql)
2. python
3. spark (pandas)
4. docker (+ Git)
5. Airflow
6. BI
Читаем теорию (по возможности тыкаем в технологию):
Clickhouse, Kafka, ScalaJira – это вообще трекер задач на работе. Максимум про него в Youtube можно глянуть.
Redis – это субд, можете в докере развернуть. Она вроде для кэша используется больше.
Короче говоря, если только начали, то не пытайтесь овладеть всем! Основа всегда одна, а там дальше соориентируетесь уже сами, когда будете на работе!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍12❤3👏3
Буду открывать менторство 2к/час
Anonymous Poll
15%
Буду брать
27%
Дорого
19%
На один раз ок
32%
Мне не требуется
8%
Другое (в комментах)
👍11👎3🔥3🤔3
Обучаем IT-специалистов и берём в команду ⚡️
Приглашаем всех, кто любит работать с данными и имеет опыт работы с DWH от 6 месяцев, в Открытые школы Т1 — программу найма в формате ИТ-интенсива.
🚀 Это отличный шанс бесплатно прокачать навыки и присоединиться к одному из крупнейших проектов по созданию новой технологичной платформы данных в России в банковском секторе.
Лучшим участникам предложат оффер в команду Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.
Зачем участвовать?
🔹 Уникальный рыночный опыт. Т1 одни из первых на рынке, кто внедряет технологии для управления данными.
🔹 Попасть в число лучших. Проекты Т1 ежегодно получают лучшие награды на ИТ-конкурсах.
🔹 Поддержка. Тебя ждёт команда опытных профессионалов в области разработки хранилищ данных и аналитических систем, которые помогут расти и развиваться.
Выбирай:
📁 аналитик DWH
🖥 разработчик DWH
Для участия нужен опыт работы от 6 месяцев в DWH.
⏰ Быстрое обучение: 1 месяц
📱 Гибкий формат: онлайн по вечерам (от 8 часов в неделю на вебинары и практику)
Подавай заявку до 2 августа!
Предусмотрено входное тестирование.
Старт интенсива: 5 августа.
Реклама. Информация о рекламодателе
Приглашаем всех, кто любит работать с данными и имеет опыт работы с DWH от 6 месяцев, в Открытые школы Т1 — программу найма в формате ИТ-интенсива.
🚀 Это отличный шанс бесплатно прокачать навыки и присоединиться к одному из крупнейших проектов по созданию новой технологичной платформы данных в России в банковском секторе.
Лучшим участникам предложат оффер в команду Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.
Зачем участвовать?
Выбирай:
📁 аналитик DWH
🖥 разработчик DWH
Для участия нужен опыт работы от 6 месяцев в DWH.
⏰ Быстрое обучение: 1 месяц
📱 Гибкий формат: онлайн по вечерам (от 8 часов в неделю на вебинары и практику)
Подавай заявку до 2 августа!
Предусмотрено входное тестирование.
Старт интенсива: 5 августа.
Реклама. Информация о рекламодателе
Please open Telegram to view this post
VIEW IN TELEGRAM
😁10👍6🤔4❤2🔥2
Стрим#1
Можем проводить такие стримы раз в две недели или по-моему настроению))
Буду на свежем воздухе стримить, пока погода позволяет)
Можем проводить такие стримы раз в две недели или по-моему настроению))
Буду на свежем воздухе стримить, пока погода позволяет)
👍12🔥4😁1
Да ладно вам, расслабьтесь, вкатываться можно и в 100 лет. Но правда не в IT, а в другое место. Но не суть.
Я уже встречал в комментах под моими видосами, как люди вкатывались и в 40 и даже в 50 лет. Это конечно по сложнее задача, но все таки шанс есть. А еще есть шанс залететь на мой бусти!
Очередной раз вам напоминаю, что я раздаю там БАЗУ! А также мы проводим еженедельные созвоны на пылающие темы в DE. У нас мощнейший телеграм канал, который уже перевалил за несколько тысяч сообщений. Плюс у нас есть топик, где сохранены все аудио сообщения с созвонов, а также полезные материалы и самое главное вопросы с реальных собеседований! И их немало!
Вот список вопросов, которые мы очень глубоко обсудили и это уже доступно на бусти:
При этом у нас запланировано еще куча вопросов, которые мы разбираем каждую неделю по полтора-два часа. Все созвоны записываются и их можно прослушать в телеграме как подкаст!
Поэтому даже если вы залетите на бусти сегодня-завтра, вы сможете наверстать упущенное буквально в первый вечер!
https://boosty.to/halltape_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥6👏1
Вакансия!
Ищем NULL Data Engineer!
Требуется NULL Инженер в компанию NULLTech
💵 Зарплата: от NULL руб. на руки
📍 График работы: любой офис из списка (null, null, null, null)
Наша компания на рынке уже null лет, поэтому мы решили развиваться с сторону null технологий!
Если ты хорошо разбираешься в null и хочешь активно в нем расти, то иди на null!
Коротко про наш null:
⚫ Оркестратор на Airnull
⚫ Код пишем на null
⚫ Хранилище в HDnull
➡ Требования:
⚫ Нам очень важно, чтобы вы разбирались в null
⚫ Оптимизировать код на null и переписывать его на null
⚫ Обязательный коммерческий опыт с null
🔥Наши плюшки:
⚫ Выдаем технику (можешь выбрать между null и null)
⚫ Также есть семейный null
⚫ Компенсация null, а также корпоративный null язык и возможность посещать null
Ищем NULL Data Engineer!
Требуется NULL Инженер в компанию NULLTech
📍 График работы: любой офис из списка (null, null, null, null)
Наша компания на рынке уже null лет, поэтому мы решили развиваться с сторону null технологий!
Если ты хорошо разбираешься в null и хочешь активно в нем расти, то иди на null!
Коротко про наш null:
🔥Наши плюшки:
Please open Telegram to view this post
VIEW IN TELEGRAM
😁41🔥11👎5❤2👍2
Посмотрел видос про инженера данных. Сделал скрин требований на магистратуру DE и вот, что я хочу сказать:
Я прошел уже больше 20 собесов. И записывал с них почти все вопросы и задачи с лайвкодинга. Так вот ни на одном собесе не спрашивали даже близко про комбинаторику или про математический анализ. Алгосы были только в Яндексе (но это чисто прикол Яндекса).
Самые годные вопросы – это вопросы по кейсам.
Например:
1. Представь у тебя spill в Spark. Что будешь делать?
2. Какие есть варианты версионности строки?
3. Можно ли убрать поле valid_to в модели Data Vault и чем оно будет лучше или хуже?
4. У нас начал тормозить Airflow (более 200 дагов). Как думаешь, из-за чего?
Это вопросы-боли, которые команды DE решают каждый день. Дата инженеры это не ученые, это конкретные спецы, которые следят за тем, чтобы расчеты велись оптимально, данные складывались аккуратно, а скорость вычислений стремилась к бесконечности. У нас очень конкретные задачи. Мы не дата саентисты и не аналитики. У нас задача довольно понятная. Код упал, надо понять почему и починить его. Все.
И в комментах увидел такой ответ (Смотрите на скриншот комментария).
Мне не понятно откуда он взял эти вопросы и в какой компании их задают, а самое главное, что это вообще за вопросы:
Причем я смотрел собесы на сеньоров, мидлов и там не было таких вопросов. Рынок вообще спрашивает либо классические вопросы с гугла, либо по кейсам, либо дают задачку с leetcode.
Я не понимаю приколов с этими образованиями. Я вам в канале все и так бесплатно даю. Когда я учился, у меня не было моего канала. Какие магистратуры. Для чего? Или там на выходе сразу тех лидом на 600к можно выйти?
Либо я реально чего-то недогоняю. Прошу подсказать в комментах об этом!
Для тех, кто хочет знать, че по рынку спрашивают, то всегда можно залететь на мой бусти. Я там уже слил и зарплаты на рынке и вопросы на рынке и кучу материалов полезных.
Видос по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24👍8🔥4😱3
Трамплин в карьере для системных аналитиков 🚀
Есть опыт работы от года и желание развиваться в профессии? Приходи на онлайн-интенсив в Открытые школы Т1!
🎓Открытые школы — это обучение с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.
Всего за полгода мы выпустили 500+ специалистов, лучшие из которых уже присоединились к командам финтех-разработки и разработки ИТ-продуктов. Также выпускников ждут в юнитах облачных сервисов, развития ИИ-решений, интеграции и консалтинга.
Что в программе?
— курс по работе с требованиями,
— проектирование REST API,
— понимание банковской специфики.
⌛️ Быстрое обучение: 1 месяц.
💻Гибкий формат: все этапы онлайн, занятия по вечерам.
Врывайся в бигтех и подавай заявку до 22 августа!
Старт бесплатного интенсива: 28 августа.
Реклама. Информация о рекламодателе
Есть опыт работы от года и желание развиваться в профессии? Приходи на онлайн-интенсив в Открытые школы Т1!
🎓Открытые школы — это обучение с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.
Всего за полгода мы выпустили 500+ специалистов, лучшие из которых уже присоединились к командам финтех-разработки и разработки ИТ-продуктов. Также выпускников ждут в юнитах облачных сервисов, развития ИИ-решений, интеграции и консалтинга.
Что в программе?
— курс по работе с требованиями,
— проектирование REST API,
— понимание банковской специфики.
⌛️ Быстрое обучение: 1 месяц.
💻Гибкий формат: все этапы онлайн, занятия по вечерам.
Врывайся в бигтех и подавай заявку до 22 августа!
Старт бесплатного интенсива: 28 августа.
Реклама. Информация о рекламодателе
❤4👍2👎1🔥1