Apache Spark

Крайне рекомендую этот урок! Но только после того, как вы потыкали pandas и sql. Видос прям кайф и супер доступно!
https://www.youtube.com/watch?v=OfS5o8vz-O8&t=870s

Бывает и такое:)

Бросайте IT. ИИ отберет у вас работу!

Мои мысли на эту тему с моей колокольни. Где те люди, которые работали с перфокартами? Они же все потеряли работу! Наверное сейчас бедные сидят на лавке никому ненужные. Наверняка обучились чему-то новому.

Это как писать музыку. Я если что в прошлом музыкант и написал достаточно много песен и много работал с группами. Так вот. Лет 10 назад уже во всю использовали записанные заранее сэмплы барабанов. Уже не надо было ехать в студию, оплачивать работу звукорежиссера. Гитары записывались дома через компьютер. Уже не требовалось снятия звука с ламповых усилителей. Дальше продакшн в компе и звук готов.

А вспомните электронную музыку. Она вообще уже давним давно не пишется на синтезаторах. Синты стоят у людей как прикол. Все давно уже заменили VST плагины, кстати которые написали разработчики. Сейчас на создание трека с нуля уходит куда меньше времени, чем уходило у условных Pink Floyd в начале их пути.

И я помню, как наблюдал, как ребята не интересующиеся компьютерным продакшеном и плагинами плавно скатывались в небытие..Помните кстати тот огромный микшерный пульт в студиях. Ну он уже как бы и не нужен. Точно такой же есть у тебя в компьютере. В музыке аналогичные программированию есть IDE.

Так вот насчет ИИ. Раньше приложение писало 100 программистов. Теперь 100 программистов будут писать 100 приложений. Но все они будут шарить за новые технологии.

ChatGPT это просто T9 на стероидах. Это не искусственный интеллект. Это прокаченный Гугл. Я очень много его использую в работе. Ты экономишь часы поиска ответов на нетривиальные вопросы! Единственное, в нем не хватает знаний бизнеса, в котором он используется. Представьте сложную структуру и архитектуру того же банка. Как было бы проще потратить несколько вечеров с чатом и понять, как работает вся система. Ты быстрее вникаешь в бизнес процессы, быстрее начинаешь расти как спец.

Короче бросайте булки с чаем, быстро за обучение!

Airflow

Не читал, но кажется топовая книжка 🤣

Мне понравилось, хоть иногда были продукты, которые я честно не понимал, зачем они нужны. Ну не бывает идеального решения. Иногда какие-то технологии пишутся годами и просто так их не повторить. Плюс для меня это было впервые и здесь важно было понять цели трайба и вообще, что мы делаем.

Коротко о трайбе: мы занимаемся маркетингом. Сюда входит СММ, рекламы, таргет, контекст, сквозная аналитика и так далее. Данных просто куча и со всем этим надо грамотно справляться. И здесь есть свои трудности. В особенности с поиском новых рекламных площадок. Поэтому, все новые фишки и тренды, которые выходят в мире, мы сразу пробуем и тестим..

P.S.Кстати много през было, где использовали кандинского для картинок, а также другие нейронки для озвучки голоса или написания текста...

Задача на SQL

Нужно посчитать медиану дохода. Можно написать просто алгоритм, как будете решать. Кто решит, тому трешка в мск в центре!

Сколько весит таблица?

Нам будут выделять свой собственный кластер, поэтому мы считаем «сколько вешать в граммах». Собственно, как узнать сколько весит таблица, партиция?

Я запускаю в Jupiter notebook:
df.persist()
df.count()

После этого в Spark UI во вкладке Storage появится наша таблица. Можно будет даже проследить, как по мере её вычисления размер в Mb растет. Окончательный вес будет в конце.

Ну а df.count() в ноутбуке покажет количество строк. И не забываем потом чистить хеш unpersist().

Кто как узнает вес данных? Метод с SparkEstimator у меня не пошел - не смог подключить его.. 🤔