Инжиниринг Данных
23.5K subscribers
1.98K photos
55 videos
193 files
3.21K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Мне тут скинули ссылку, может кому интересно, 25 апреля https://ozonmasters.ru/
Ozon Masters - это программа обучения в области анализа данных.
Мы предлагаем два направления: теоретическое с уклоном в программирование Data Science и Data Engineering и сфокусированное на практических кейсах Business Intelligence.
Наша линейка курсов соответствует программам подготовки в области машинного обучения и бизнес-аналитики ведущих университетов мира.

Если кто уже проходил школу, напишите отзыв, как прошло? И вообще это бесплатно или нет?🙈
На последнем вебинара про дата инжиниринг я упомянул термин, который я открыл для себя недавно - "поле искажения реальности", я услышал его в книге про Стив Джобса.

Я упомянул это в контесте прохождения собеседования и устройства на работу. Раньше я говорил fake it till you make it. Что звучала немного грубовато - приврать (в лучшем случае). Теперь же мы можем использовать почти научный способ из сериала Звездный путь - поле искажения реальности. Это значит нам надо верить в то, что мы говорим. Тут подробней. Для datalearn.ru я думал про создания маленького интенсива по поиску работы и использованию выше упомянутых методов;)
А у меня был блог с 2013 по 2016 https://techbusinessintelligence.blogspot.com/ там много про SAP BusinessOnjects. Я его писал с одной целью, ссылочку вставить в резюме.
This media is not supported in your browser
VIEW IN TELEGRAM
Способна ли девушка создать искусственный интеллект в перерывах между фитнесом и СПА?

Легко. На гифке пример обучения той самой нейросети. Хочешь узнать, как разрабатывают подобные технологии из первых уст?

Программистка расскажет тебе:
- IT фишки, которых нет на платных курсах
- за что платят четыре средних зарплаты
- как отвечать на собеседовании в Google

Всего 20 минут чтения в день способы сделать из тебя к концу карантина настоящего специалиста.
Осенью прошлого года в московском офисе Яндекса прошла первая Школа бэкенд-разработки, на Хабр выложили ссылки с видео. https://habr.com/ru/company/yandex/blog/498856/#1
Я как то писал про dbt, это opensource продукт, которые позволяет создавать ELT (SQL трансформации) и оркестрировать ими. Они получили 13 млн инвестиций на прошлой недели, будут дальше разрабатывать и улучшать продукт. Если вы ищете простое и бесплатное решение для вашего проекта, dbt может подойти.
У AWS главный продукт для загрузки данных (ETL/ELT) - Glue. До него был просто data pipeline.

Glue это managed services (SaaS), это значит, что это решение хостится в AWS, и на не надо его устанавливать и настраивать. Для сравнения виртуальная машина с ОС это IaaS, а Redshift это PaaS.

Основной движок Glue это Spark. То есть мы может описывать трансформации, использую Spark (pySpark и SparkSQL).

Раньше это решение было только Batch (то есть выполняем загрузку по расписанию), а теперь появилась опция для стриминга.
Про работу overtime
Упражнение из книги Think Python, пытался понять эту теорему, и увидел страничку из рассказа.
Меня попросили расшарить, может кому будет интересно:

«4 мая ребята из сообщества Data Engineering проведут бесплатный митап: «Data Engineer or Die».
Соберутся хорошие эксперты по теме: Егор Матешук (CDO Qvant), Денис Хуртин (DMP Яндекс.Маркет). Организаторы: Dodo Pizza и New Professions Lab.
Встреча будет актуальна для тех, кто работает с доставкой данных, backend-developers, ну и конечно для тех, кто в теме Data Engineering (или только начинает в ней вариться).

Ссылка на ивент: https://deordie.timepad.ru/event/1303716/».
У меня есть знакомый канадец, он делает стартап на Twilio API. Он ищет специалиста/разработчика, если у кого есть интерес и навыки, напишите ему письмо на [email protected] возможно получится получить удаленную подработку. Пожалуйста, пишите, если вы действительно сможете программировать😉