Я – Дата Инженер
4.32K subscribers
343 photos
33 videos
12 files
242 links
💻 Как войти в IT?
💵 Как стать Data Engineer
🗄 Что такое Big Data и кто ей управляет?
_____________________________
Автор @halltape
Все вопросы по рекламе @k_shredinger
Download Telegram
Я сейчас в Питере!

Буду смотреть дебаты Антона Назарова вживую!

Начало в 14:00

▶️ Будет также онлайн трансляция:

➡️ Смотреть дебаты

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥132👍2
Анонимное Сообщение

"Как накрутить коммерческий опыт «правдоподобно», если ты вкатун, как пояснить за этот опыт на собесе или же писать 2 года опыта и делать учебные пет-проекты?
Какая стратегия более рабочая в 2025 году?"


Согласно эксперименту, который провел автор канала Инженерообязанный, есть такой вариант:

1. Ставите 2 года опыта
2. Внутри резюме пишите Study | Pet Project. Описываете все ваши пройденные технологии и Пет проекты.


Либо есть второй вариант. С ним можно запросить больше денег при тех же знаниях:

1. Ставите текущее место работы 2 года опыта, но в качестве Дата Инженера
2. Придумываете легенду и подтачиваете ее под текущие задачи на работе. Условно адаптируете опыт


Задать вопрос Анонимно
🔥15👍43
Это БАЗА!

Только 8 месяцев спустя я понял, где можно было использовать декоратор на предыдущем месте работы.

Это лишний раз показывает, что некоторые темы на курсах просто бесполезны без реальных проектов. Поэтому если только учитесь, просто забейте и не трогайте. Иногда это проще, чем понять, зачем вам нужно то, что негде применить.

Рассказываю:

У меня было 10 функций. Они выполняются друг за другом в цикле. Мне нужно, чтобы каждая из них логировала (записывала) время старта и время её финиша в файл. Для этого я естественно использовал библу logger. При этом в цикле я писал строчку с логированием времени перед функцией и сразу после. И да, я логировал время работы функций, чтобы отслеживать нагрузку. Там спарк крутил данные, и я хотел видеть длительность выполнения.

В итоге на 10 функций у меня было 10 *2 = 20 строчек. А функции между прочем могут добавляться. Читаемость кода - треш.

И только сейчас до меня дошло, что я мог написать всего ОДИН декоратор, который оборачивает любую функцию и делает логи в файлик.

Короче для бабушек:
Декоратор - это еще одна функция, которая может добавить функционала уже существующей. Например если у вас функция count_func() считает длину строки, то декоратором можно сделать так, чтобы перед и после выполнения count_func() у вас еще логировалось или печаталось текущее время, чтобы узнать, как долго выполняется функция count_func().

При этом в сам декоратор можно закидывать вообще любые функции. Визуально это похоже на функцию внутри функции. Достаточно запутались?

Если до вас все равно не дошло, то забейте. Для собеса рекомендую выучить определение или говорить, что не знаете. В теории понять, для чего вам нужен декоратор - бестолку.

Но если есть желание именно разобраться, то пишите пет проект и активно просите ChatGPT добавлять декораторы. Тогда точно сильно прокачаетесь! Это прям работает! Декоратор придумали точно для упрощения жизни.
🔥26😁114👍3
Искали каналы про недушный Data-science? Тогда вам может понравиться наше предложение ↓

Направление Data-science Авито развивается. В компании образовалась AI-лаборатория, начала выстраиваться иерархия с матрицами компетенций и единым процессом найма.

И теперь мы хотим активнее делиться новостями из мира Data-science в телеграм-канале: «Доска AI-объявлений».

Там сотрудники Авито рассказывают:
⚙️ Как устроено DS-направление в компании
⚙️ Какие технологии используют и чему обучают модели
⚙️ Как проводят время вне работы и при этом развиваются

В канале вы найдёте посты про жизнь и работу инженеров Авито, а ещё одними из первых будете получать актуальные вакансии и приглашения на наши мероприятия.

Подписывайтесь и следите за обновлениями на нашей «Доске AI-объявлений»
👍6🔥1👏1
ℹ️ Докер и Кубер!

Увидел классное объяснение в комментах в одном из чатов про докер и кубернетес..

Ты понимаешь, зачем нужны и как работают виртуальные машины? VirtualBox например, и другие программы, которые позволяют внутри твоей обычной операционной системы установить полностью изолированную отдельную операционную систему, причем, любую, хоть еще одну винду, хоть линукс, хоть и, с большими ограничениями некоторые версии МакОС.

Вот докер - это сильно улучшенная виртуалка. Лучше тем, что меньше ресурсов жрет. Она тоже изолированная от основной ОС.

Кубернетес - это штука, которая позволяет удобно и автоматически управлять этими "виртуалками" внутри докера.

Представь, что программисту нужно для работы запустить Базу данных postgress + кеширующий Redis сервер + очередь сообщений RabbitMQ. И желательно, чтобы у всех разработчиков были установленны одинаковые версии этих инструментов и на сервере тоже были бы установленны точно такие же версии этих инструментов. Потому что, внезапно, если на сервере postgress 14, а кто-то из разработчиков устновит локально версию 17, то может оказаться, что у него локально что-то работает, а на сервере - не работает.

Так вот, чтобы добиться такого однообразия обычно в проекте у программистов есть docker-compose файл. Это файл позволяет запустить однократно сколько угодно этих docker "виртуалок" с одинаковыми настройками на каждом из компьютеров разработчиков локально.

На этом шаге мы добились того, что у всех программистов локально используется одни и те же версии инструментов. Но нам же нужно то, что программисты наделали как-то проверять? Для этого и создаются "стенды для демонстрации и тестов".

Тут нам и нужен кубернетес. Отличие его от docker-compose в том, что компоуз однократно запускает, то что описано в файле, а дальше ему насрать, что происходит с теми "докер виртуалками". А кубернетес он еще и проверяет, что эта "докер виртуалка" нормально работает и отвечает на запросы. И если вдруг одна из запущенных виртуалок перестанет подавать признаки жизни (перестанет, например, отвечать на ping больше 30 секунд), то кубернетес автоматически удалит такую зависшую виртуалку и запустит вместо неё новую.

Мы, сильно упрощая, на сервере тоже скармливаем такой же docker-compose файл, но kubernetes-у. И он запускает все необходимые виртуалки, следит, чтобы они были запущены и в случае любых проблем перезапускает их.

Остался последний шаг. Мы хотим перед тем как применять изменения программистов на реальном сайте, где живые пользователи что-то у нас покупают протестировать, что программисты не сломают нам наш процесс создания заказов. Что мы делаем для этого?

мы в кубернетесе запускаем минимум 2 копии всех сервисов но на разных доменах. На prod домене там то, что прямо сейчас используется на основном сайте. на dev домене мы запускаем ту версию нашего приложения, которую программист сделал по задаче, но которую еще не успели проверить тестировщики. Если на dev версии мы нашим новым обновлением что-то сломали, то это никак не скажется на основных пользователях и они по прежнему смогут покупать наши товары на основном сайте. а ошибку на деве тестировщик найдет и вернет задачу обратно в работу программисту, чтобы тот поправил сломанные вещи.

Максимально упрощенно это работает вот так :)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥56👍176😁1
Я построю свое DWH с блекджеком и шлюпками

23 марта (ВС) 20:00 МСК

Созваниваемся в Яндекс Телемосте. Я при вас рисую в Miro архитектуру DWH, а потом говорю, где тут могут быть проблемы. Дальше поставлю ТЗ по данным и мы попробуем покидать идеи, как сделать максимально компактно и без веренницы технологий.

Будем разбирать архитектуру и пробовать построить свою. Но не просто так, а с минимальным количеством инструментов. И потом сделаем вывод, а можем ли мы себе это позволить или лучше купить что-то уже готовое и настроенное за нас.

Зачем я это делаю?
Хочу разобраться, почему сразу нельзя построить универсальное хранилище для любой команды и компании?

Если вы бывалый в DE, то приглашаю присоедениться и смело высказать свое мнение.

Что будет на стриме?
🔵Разберем, зачем вообще думать про архитектуру
🔵Попробуем собрать рабочий вариант с минимальным количеством инструментов
🔵Посмотрим, что можно убрать, а без чего никак
🔵Поговорим про стоимость решения


📅 Дата: 23 марта 2025
Время: 20:00 МСК
📍 Где: Яндекс Телемост - ССЫЛКА НА ВСТРЕЧУ

Подписывайтесь, чтобы не пропустить. Будет полезно, без воды и максимально по делу.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥609👍5👏4🤯1
Media is too big
VIEW IN TELEGRAM
Ставь 2 года, если хочешь в IT?

Показательный пример того, как рекрутер просто фильтрует резюме по годам опыта и совершенно его не читает. Либо читает его по диагонали.

Ссылка на пост

Суть эксперимента была в том, чтобы не врать в резюме, а писать, как есть. Но даже при таком раскладе, все забивают болт и опять наш фильтр по годам опыта.

Поэтому на мой взгляд ниже все варианты вхождения в IT от самого безобидного до самого рискованного:

1. Ставим 2 года опыта, пишем Study | Pet Project
2. Берем текущее место работы и адаптируем под DE (можно тоже 2 года опыта). Даже если вы пожарный.
3. Ставим 2 года по ИП, СЗ в рога и копыта
4. Ставим 2 года в реальной компании(студии разработки)

Если у вас есть стажировка 3-4 месяца, смело докручивание её до года. Проверено с одним из моих менти. На работе им довольны. И если не уволили, значит он справляется.

Все, кто считает, что так нельзя, я приглашаю ко мне на стрим. Я хочу услышать от вас конкретные решения и шаги. Я еще раз повторяю, меня не волнует ваше отношение к этому, меня интересуют только конкретные предложения и примеры. Пока кто-то из нас не возьмет ответственность за решения этой проблемы, люди будут так поступать.

Хотите поменять мир, встаньте с дивана! И голосуйте за меня! Я сделаю эту страну еще ЛУЧШЕ!

Задать вопрос Анонимно
29👏10🔥6👍3🤯1
Forwarded from Госпожа аналитик 💚 Ия Зотова (Ия Зотова️)
⚡️Вакансии в команду аналитической платформы.

Работаем с маркетинговыми данными, цифровыми следам пользователей и данными клиентов. Платформа строится для стратегической и аналитической отчетности по маркетингу

У нас сложно (зоопарк из инструментов и технологий, высокая скорость, работа со смежниками, бюрократия), но скучно точно не будет.

Поэтому ищем живых, активных спецов с хардами, которые хотят челленджа и драйва

📍Работа в офисе, Оружейный 41

☑️Junior Data Engineer
5️⃣Требования:
• Можно без опыта
• SQL, Spark, работа с оркестраторами, Git (аналогами)
Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными, техническое высшее образование.

💡Задачи:
• Разработка ETL-процессов
• Сборка витрин Spark/Scala по ТЗ от команды аналитиков
• Оптимизация работы таблиц

☑️Senior Data Engineer
5️⃣Требования:
• Опыт от 2 лет
• Опыт работы Spark, Hadoop
• Опыт работы с BigData, построение и оптимизация хранилищ, вывод витрин
• Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными.

💡Задачи:
• Разработка и построение витрин и хранилищ данных
• Разработка интеграций с другими платформам и системами
• Интеграция аналитических инструментов в платформу

🔘🔘🔘🔘🔘
⚡️Вакансии в команду аналитиков сайта sberbank.ru раздела b2b.

💡Задачи:
• Исследования пользовательских путей, анализ лендингов
• Проведение а/б тестов страниц сайта
• Создание дашбордов и отчётности
• Разработка методологий расчёта эффективности сайта

Нужны специалисты, которые готовы занять активную позицию, хотеть во всем разобраться, быть самостоятельным и не безразличным. За командой сейчас присматриваю я, буду помогать освоиться

📍Работа в офисе, Кутузовский 32, к2

☑️Junior+ Data/Web Analyst. Декретная ставка.
5️⃣Требования:
• Опыт от 6 месяцев
• SQL, Py, мат.стат
• Будет плюсом знание веб-аналитики, экономическое/техническое высшее образование

☑️Middle Data/Web Analyst
5️⃣Требования:
• Опыт от 1,5 года
• SQL, Py, мат.стат
• Будет плюсом работа с системами и данными веб-аналитики, построение сквозной аналитики


🔘🔘🔘🔘🔘
👨‍💻Стек:
Sql, Py, SuperSet, Clickhouse, Hadoop, Spark

✈️Присылайте резюме в личку @IyaZotova
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍4🔥1
Канал Леши Арефьева про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы.

Подборка интересных постов:

- что делать, когда исследований овердохрена https://t.iss.one/alexcouncil/1156
- проектный менеджмент для самых маленьких https://t.iss.one/alexcouncil/1142
- про метрики продукта: CAC - сколько стоит клиент https://t.iss.one/alexcouncil/1136
- как из стартаперской команды сделать продуктовую https://t.iss.one/alexcouncil/1169
- история продукта: Figma https://t.iss.one/alexcouncil/745

Если интересно, подписывайтесь - @alexcouncil
🔥102👏2
Мы построили своё DWH!

▶️ Запись недавнего стрима теперь на YOUTUBE!

Спасибо всем, кто был на стриме, нас было более 150 человек!

Особенно спасибо тем ребятам, кто дискутировал, когда мы начали разговаривать про Trino и Spark.

Думаю, будет хорошей практикой собираться всем вместе и базарить на дата инженерские темы. Да и вообще я люблю стримы , можно выпустить пар после работы)

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Кстати интересно, что видос я нигде не шерил, но он все равно достаточно бодро начал собирать просмотры на ютубе.. прикол конечно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥409👍7👏2🤔1
1 АПРЕЛЯ 20:00 МСК СТРИМ!

Стрим будет на TWITCH
🔴 ССЫЛКА НА МОЙ ТВИЧ

О чем будем говорить?
- Кризис на рынке
- Накрутка опыта
- Как найти работу зарубежом за $$$?

Также будет приглашенный спикер, который залетел в IT просто с ноги и уже получает доллары. От него будет мощнейшая презентация, которая готовилась наверное месяец ПЯТЬ!
Мы с ним кстати учились в Школе21 и то, как он залетел в ITишку – это просто что-то с чем-то!

Короче 1 апреля в 20:00 ГО поговорим о жизни.

Задать вопрос анонимно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥274👏4
Бесплатно! Ребят, го встретимся на конфе?

24 апреля 18:30–21:30

Я зарегался и Шуст тоже. Планирую придти туда ногами, послушать умных людей, ну и поспрашивать каверзные вопросы про Трино..

О чем
"Lakehouse Meetup #3: внедрение Trino в Лемана Тех, опыт работы с Nessie в Азбуке Вкуса, круглый стол о проблемах lakehouse"

Зарегестрироваться - https://cedrusdata.timepad.ru/event/3299844/

Самое забавное - это не реклама. Я реально туда иду. Можем встретиться там же и мб потом полететь в бар? Типа мини сходка))
👍18🔥52
Запись стрима будет 7 дней на Twitch


Заходим
https://www.twitch.tv/halltape
9👍2
▶️ Надо ли крутить опыт в IT? [Подкаст За пределами Кода]

Гость: Анна, Дата Аналитик в М2

⚫️Как понять, что годен к IT?
⚫️Стоит ли крутить опыт?
⚫️Как быть джунам?

СМОТРЕТЬ НА YOUTUBE

ДВЕ недели бесплатного VPN для просмотра Youtube - @NamelessNetwork_bot

Подписывайтесь на наши каналы:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Анна Балицкая
💬 Telegram канал
💬 Бот для подготовки к собеседованиям

Полезные ссылки:
➡️ ROADMAP
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍6👏32🤯2
😁36🔥16👍3👏1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥38😁18
▶️ Курс по Hello, World | PYTHON!

Я решил записать по приколу небольшой видос по python. Выводим Hello, World! разными способами: от самого простого до самого сложного и странного!

СМОТРЕТЬ НА YOUTUBE

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍6😁65🤔3
Мы слишком много знаем!

И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.

Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.

Мы собрали действительно звездный состав спикеров, мы очень старались сделать это мероприятие максимально полезным — вам осталось только не пропустить его!

Регистрируйтесь на KARPOV.CONF 2025 — включите Data-driven на полную!
😁10🔥4🤯32👍2