Бросайте IT. ИИ отберет у вас работу!

Мои мысли на эту тему с моей колокольни. Где те люди, которые работали с перфокартами? Они же все потеряли работу! Наверное сейчас бедные сидят на лавке никому ненужные. Наверняка обучились чему-то новому.

Это как писать музыку. Я если что в прошлом музыкант и написал достаточно много песен и много работал с группами. Так вот. Лет 10 назад уже во всю использовали записанные заранее сэмплы барабанов. Уже не надо было ехать в студию, оплачивать работу звукорежиссера. Гитары записывались дома через компьютер. Уже не требовалось снятия звука с ламповых усилителей. Дальше продакшн в компе и звук готов.

А вспомните электронную музыку. Она вообще уже давним давно не пишется на синтезаторах. Синты стоят у людей как прикол. Все давно уже заменили VST плагины, кстати которые написали разработчики. Сейчас на создание трека с нуля уходит куда меньше времени, чем уходило у условных Pink Floyd в начале их пути.

И я помню, как наблюдал, как ребята не интересующиеся компьютерным продакшеном и плагинами плавно скатывались в небытие..Помните кстати тот огромный микшерный пульт в студиях. Ну он уже как бы и не нужен. Точно такой же есть у тебя в компьютере. В музыке аналогичные программированию есть IDE.

Так вот насчет ИИ. Раньше приложение писало 100 программистов. Теперь 100 программистов будут писать 100 приложений. Но все они будут шарить за новые технологии.

ChatGPT это просто T9 на стероидах. Это не искусственный интеллект. Это прокаченный Гугл. Я очень много его использую в работе. Ты экономишь часы поиска ответов на нетривиальные вопросы! Единственное, в нем не хватает знаний бизнеса, в котором он используется. Представьте сложную структуру и архитектуру того же банка. Как было бы проще потратить несколько вечеров с чатом и понять, как работает вся система. Ты быстрее вникаешь в бизнес процессы, быстрее начинаешь расти как спец.

Короче бросайте булки с чаем, быстро за обучение!

Airflow

Не читал, но кажется топовая книжка 🤣

Мне понравилось, хоть иногда были продукты, которые я честно не понимал, зачем они нужны. Ну не бывает идеального решения. Иногда какие-то технологии пишутся годами и просто так их не повторить. Плюс для меня это было впервые и здесь важно было понять цели трайба и вообще, что мы делаем.

Коротко о трайбе: мы занимаемся маркетингом. Сюда входит СММ, рекламы, таргет, контекст, сквозная аналитика и так далее. Данных просто куча и со всем этим надо грамотно справляться. И здесь есть свои трудности. В особенности с поиском новых рекламных площадок. Поэтому, все новые фишки и тренды, которые выходят в мире, мы сразу пробуем и тестим..

P.S.Кстати много през было, где использовали кандинского для картинок, а также другие нейронки для озвучки голоса или написания текста...

Задача на SQL

Нужно посчитать медиану дохода. Можно написать просто алгоритм, как будете решать. Кто решит, тому трешка в мск в центре!

Сколько весит таблица?

Нам будут выделять свой собственный кластер, поэтому мы считаем «сколько вешать в граммах». Собственно, как узнать сколько весит таблица, партиция?

Я запускаю в Jupiter notebook:
df.persist()
df.count()

После этого в Spark UI во вкладке Storage появится наша таблица. Можно будет даже проследить, как по мере её вычисления размер в Mb растет. Окончательный вес будет в конце.

Ну а df.count() в ноутбуке покажет количество строк. И не забываем потом чистить хеш unpersist().

Кто как узнает вес данных? Метод с SparkEstimator у меня не пошел - не смог подключить его.. 🤔

Что значит разрабатывать витрины данных и как это выглядит?

Витрина данных - это просто собранная из других таблиц таблица для аналитиков или дата сатанистов. Представьте у вас есть табличка с id людей и их покупки в магазине. И еще есть табличка, где этот же id, но с названиями городов. И вот для аналитиков нужна витрина, где будут отображены только люди и их города, которые покупают исключительно черный хлеб. И нужно, чтобы эта витрина наполнялась каждый день новыми данными.

Ну вот вы и пишете скрипт, который будет за вас каждый день читать таблицы источники и собирать эту витрину только с определенными качествами.

В чем сложность: в таблицах источниках могут быть пустые значения, запакованные json в строках или по-разному записанные значения. Все это дата инженеру надо поймать и отформатировать. Плюс нужно сразу определить, правильно ли будет витрина писаться, с какой периодичностью и с какими полями. Можно дополнять бесконечно. Например витрина при сборке должна обращаться к уже существующей витрине и обновлять некоторые строки или писать новые, учитывая изменения. Вариантов миллион.

Сам скрипт main.py можно запускать в Jupyter notebook руками каждый день. А можно написать DAG в Airflow и это все будет грузиться автоматически само.