🔤🔤🔤🔤
Нужны ли оконные функции?

Да. Если вы шарите за оконки в sql, то в spark или pandas освоить будет не проблема. Все аналогично. Оконные функции конечно вызывают страх и непонимание с первого раза, но не переживайте, я попробую вам объяснить.

Представьте, что в вашей прямоугольной таблице вы очерчиваете чуть меньше прямоугольник внутри (только ширина остается прежней). И только внутри этого окошка вы считаете например сумму или сортируете столбец. За пределы этого окошка ничего не выходит.

Оконная функция бьет вашу огромную таблицу на такие мелкие таблички(окна). И внутри каждого окна вычисляется то, что вам надо.

Например, если вам нужно посчитать нарастающий итог или пронумеровать в рамках одной группы, то здесь оконка будет самое то!

🔤🔤🔤🔤🔤🔤🔤🔤🔤🔤
Что такое вывести в прод?

Прод, он же продакшен или промышленный код. Есть работающий код, который лежит в гите на ветке master. На этом чистовом виде кода и запускаются витрины, приложения и чего там еще можно запускать. А ваши черновые варианты кода лежат на ветках feature (на самом деле ветку можно назвать и super_rap или nagibator777).

Короче когда вы уверенны в своем коде, что он работает как надо, то вы делаете pull request. Это тупо заявка на то, чтобы вашу ветку nagibator777 залили уже на master. Эту заявку принимает человек, который ответственен за master ветку. Либо это вы сами, если вы очень крутой сеньор помидор сенатор Палпатин.

Собственно он проверяет ваш код, пишет комментарий в местах, где ваш код отстой. И после всех правок, если все ок, то делается merge. Ваша ветка сливается в ветку master.

При этом все изменения и версии кода сохраняются в git. Это удобно, если нужно посмотреть, что было до этого.

Гит - это наш GitHub, либо GitLab, либо Bitbucket. Каждая компания использует свою тему.

🔤🔤🔤🔤
Код писать недостаточно!

Вот вы пишите код, крутите таблички свои, но задаетесь ли вопросом:

«А для кого это делаете?»
«А нужна ли эта штука в целом?»
«А как ей будут пользоваться?»

Любые витрины данных или приложения имеют человека, который будет ими пользоваться. Может это даже вы сами или ваш коллега. И всегда есть тех задание. Вот выдуманный пример:

Сделать витрину данных, где будут продажи молочных продуктов, а также наименования банков, по которым люди оплачивали покупки во всех магазинах сети.

И вот здесь мы выходим за пределы знаний join или spark. Это вообще не имеет смысла, если мы в душе не знаем, откуда брать данные по банковским картам. Причем источник может быть еще и составным. И нельзя найти просто таблицу с картами и банком. Может нам сначала надо как раз и собрать этот источник. А таблицы огромные и широкие и быстро их не прощелкать. И столбцы называются как-нибудь «yup_amt». Это что?

Плюсом сложность добавляется, если у нас строки с вложенностью. Какой-нибудь json или список. Это надо еще распарсить.

А по какому полю соединять? А может нужно по двум ключам соединять? А может вообще anti join нужен?

Поэтому нужна грамотно и понятная расписанная документация, ибо без бутылки водки точно не разберешься. А если это сквозная аналитика по рекламе, то надо понимать, как работает CPA сеть, Яндекс Метрика. Иначе все превращается в обезличенный текст на питоне без смысла.

Документация пишется в Confluence. Это что-то типа GitHub, только там текст. Можно делать ссылки на главы, страницы. А также всевозможное форматирование, возможность рисовать схемки, как в draw.io.

И желательно, чтобы документация была написана для бабушки, чтобы экономило время на изучение и не долбить коллег с вопросами.

🟢Анонс интервью!

Подписывайтесь, кстати на канал Ии.

Ну что, уже завтра буду выкладывать видео с новым подкастом, он получился очешуенным!

Гость: Евгений, Junior Data Engineer, сегодня закончился его испытательный срок и началась настоящая игра). Женя, поздравляю!

Женя поделится:
• как выбирал между DE и Кино
• почему не продолжил обучение в Школе21
• что помогло ему найти работу
• как он отказал Центробанку в собесе
• как работается в Сбере и как проходит адаптация
• какие инструменты сейчас использует
• и ответит на главный вопрос: по любви в профессии или за деньги

💚Подкаст вышел супер емким, независимо от IT-профессии

🎞 DATA ENGINEER: ПО ЛЮБВИ ИЛИ ЗА ДЕНЬГИ
https://youtu.be/tltPPLTemzE

Гость: Евгений, Junior Data Engineer в Сбере✅

В интервью Женя делится:
• как выбирал между DE и Кино
• почему не продолжил обучение в Школе21
• что помогло ему найти работу
• как он отказал Центробанку в собесе
• как работается в Сбере и как проходит адаптация
• какие инструменты сейчас использует
• и ответит на главный вопрос: по любви в профессии или за деньги

💚Подкаст вышел супер емким и будет полезен всем начинающим специалистам, независимо от IT-профессии

Если было полезно и словили инсайты, будем рады донатам. К задонатившим прилипает лучшая в мире работа😁:
https://pay.mysbertips.ru/92484472

Делитесь подкастом и подписывайтесь на наши каналы:
Ия: https://t.iss.one/Lady_Analyst
Женя: https://t.iss.one/halltape_data

P.S.: А еще Женя просто огненный спец по видео: он снял и смонтировал крутой подкаст, даже находясь в кадре🔥 Женя, восхищаюсь твоим талантом! Искреннее благодарю тебя за участие!🔥

🟢 Всем, кто здесь впервые!
.
👨‍💻 Кем ты хочешь стать и что надо учить?
1) BI аналитик
2) Data Аналитик
3) Data Инженер

👩‍💻 Все твои проекты лучше оформить на GitHub

👩‍💻 Ты все выучил? Тогда начинай решать задачи

👩‍💻 Что спросят на собесах?
Вот теоретические вопросы, а вот задачи.
А вот ответы.

💰 Готов искать работу? Все про резюме.

📺 Кто я и как попал в IT?
СМОТРИ интервью со мной!

💬 Как написать telegram бота?

Смотрите, рассказываю на пальцах вариант в лоб. Подходов просто несколько и они разные.

Сначала вам нужно создать телеграм бота в самой телеге. Надо написать @BotFather и там по инструкции придумать имя, псевдоним, описание и задать команды. Команды - это типа /start. Про первом запуске бота мы все с вами нажимаем эту кнопку.

👍Отлично. Бот готов. Но он ничего не делает. Теперь надо написать сам код. Код проще писать на python. Но можете хоть на си, хоть на йопта скрипт, если вы мазохисты.

Чтобы наш бот работал нам надо написать код. Поэтому создаем на компьютере файл любого имени, например nagibator_777.py. Дальше пишем свой код, который будет работать в терминале локально. А вот, чтобы бот работал, надо в коде написать строчку типа bot_API_token: “37484948bfjxbeii374849”, где в кавычках надо вставлять токен, полученный от @BotFather.

Так наш питоновский код будет напрямую обращаться к нашему боту по уникальному ключу.

Но теперь надо будет написать специальные функции и методы для телеграм бота. Для этого есть как минимум две библиотеки: telebot и aiogram. Я использовал telebot. Она проще.

С ней вы можете уже принимать на вход сообщения от пользователя, печатать и выводить разные кнопки. Если что, ChatGPT может накинуть вам рыбу кода для этого.

‼️Кстати, как только вы запускаете свой питоновский файл, ваш бот начинает работать. Но как только вылетает ошибка по коду или вы отключаетесь от интернета, то бот автоматически теряет связь и все. Поэтому для работы бота 24/7 нужно использовать сервер - они платные, либо всегда держите включенный компьютер. Самый простой сервак - 200₽/мес. Либо можно использовать Яндекс.Функцию. Но это еще не всё. На сервере надо же скачать telebot как минимум, а может и другие недостающие библиотеки и подобное. Не будете же вы это все заново устанавливать, как у себя на компе.

👩‍💻 Я рекомендую использовать docker для запаковки вашего кода. Докер это все равно, что ваш exe-файл с counter-strike 🎮. Нажал одну кнопку, он сам все собрал, скачал нужные файлы и запустил. Т.е. грубо говоря, вы делаете еще один файл, где пишите инструкцию, типа

Скачай питон
Скачай telebot
Сделай папку
Запусти код

💿 Можете скачать себе код моего бота и запустить у себя

Если есть вопросы, пишите их в комменты к этому посту.

👍 Мы вас видим насквозь!

📌Давайте тезисно внесу вас в курс дела! Конференция о том, как понять, сколько вы (или компания) зарабатываете, имея на руках БОЛЬШИЕ ДАННЫЕ. Не секрет, что ВСЕ компании так или иначе собирают о нас с вами данные. Наши цифровые двойники уже давно живут в сети и именно на них и охотятся рекламные кампании (Кому показать рекламу, чтобы он точно купил).

❌ Но вы-то не такие простые... мы знаем, что вы все поставили себе блокировки рекламы. А не тут-то было...скажу я вам. Алгоритмы тоже не дураки и найдут вас там, где вы и не ждете. Потом не удивляйтесь, почему вдруг вам начнет показываться реклама о товаре, о котором вы лишь устно беседовали на кухне, сидя за столом. Машины не спят, в отличие от вас. Все на крючке)))

💻 Сегодня было больше про воронки, оптимизацию рекламы, метрики. Завтра будут более технические выступления с нашими DWH, ETL, ChatGPT + Data и работу с данными. Я стараюсь фиксировать моменты, которые мне слышатся впервые. Буду порционно делать посты. Вообще реклама - это прям НЕТРИВИАЛЬНО. И много много слов, типа мэтчинг, косты, cpa, cpc, utm метки, куки
(если 90% слов вы поняли - респект)

P.S. Кстати, можете еще следить за моими сториз - @halltape
Туда я выкладываю видосы с конфы, фотки и вообще рабочие будни...
P.S.S. Еще проходили сегодня тест от Яндекса и нашли ошибку! Все в next постах