Инжиниринг Данных
23.5K subscribers
1.98K photos
55 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Свежий отчет Gartner по BI решениям. Появился Alibaba Cloud, ThroughtSpot в лидерах, а вот AWS Quicksight что-то не дотягивает. https://www.tableau.com/reports/gartner
Сегодня прочитал интересную цитату, из средневековья причем - Люди хотят облегчения, но не хотят лечиться, так как это больно. На английском звучит проще - "People Want Relief. Cure Is Painful". Эту цитату можно отнести к чему угодно.

Например, хотим успехов в спорте? Диеты, тренироки? Долго и муторно, лучше как-нибудь по-быстрому. Красивая реклама продаст волшебную пилюлю, и обещает результат.

Хотим денег? Учиться, работать - тоже долго, а вот лотерея это быстрей.

Хотим быть крутыми аналитиками, инжинерами и разработчиками? Тоже можно повестись на красивую рекламу, которая гарантирует "облегчение" но не "лечение".

Так же и с финансовыми операциями, вообще применимо ко всему.

Получается реальный результат достигается через боль и труд. А у вас как?
Я тут написал о своем канале в KZ BI канал, и поэтому я с вами поделюсь этим каналом, вдруг кто из KZ
🎉Ура! KZ BI community исполняется 1 год! - отпразднуем в субботу 22.02.2020 в 12:30 🎉

KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях KZ BI Community любой желающий с нуля может научиться реальным навыкам анализа данных (Excel, PowerBI, SQL, Python и др), а также познакомиться с топовыми экспертами Казахстана и мира (у нас выступали специалисты из аналитических команд Kolesa Group, Kaspi Bank, Beeline, и даже Google!).

🔥🔥🔥На этом митапе мы столкнем друг с другом 3 главных конкурентов в сфере BI-аналитики: PowerBI, Tableau, Qlik Sense - будет жарко! Приходи и отпразнуй наш день рождения вместе с нами! Будут спикеры из Microsoft Kazakhstan, KPMG, EPAM, Tableau User Group, Datanomix

🎯Дата и время: 22.02.2020, суббота, 12:30
📍Локация: г.Алматы, ул. Сатпаева, 16А, университет «Туран», 3 этаж, Актовый зал
💃С собой: иметь хорошее настроение
💰Бюджет: вход бесплатный, по регистрации https://forms.gle/t4CrK6aynfaQtDhS9
Дочитал книгу Fake. Действительно крутая книга, про РЕАЛЬНОЕ финансовое образование. В книге Роберт пишет про:
1) Fake Money - все знаю о том, что деньги печатаются в любом количестве и этот процесс не контролируется государством. Богатые богаче, бедные бедней. Деньги печатаются, инфлация растет, покупательская способность падает. Решение, это реальные деньги - золото, серебро и другие металлы, значит, нужно часть активов хранить в реальных металлах (god's money). Все стоки, бонды ETF, акции и тп, это деривативы, то есть fake.

2) Fake Teachers - это про школу и университеты, где нас не учат реальным знаниям, а готовят по специальности, главная задача, чтобы мы работали и платили налоги, отчисления в пенсию и тп. Рабочий класс несет основную налоговую нагрузку. Для бизнеса очень много налоговых послаблений. Вариант - накопить денег, купить акций, откладывать на пенсию и тп, это плохой вариант. Так как мы сначала заплатим все налоги, фи и тп, и потом нас еще оберут, и деньги подешевеют, это вариант для "бедных" (бедный не значит мало денег, автор делит людей на бедных и богатых по другим признакам, по финансовой грамотности, бедные это рабочий класс и самозанятые, кто платят налоги, а богатые ты кто работает не ради денег, они знают как использовать заемный капитал (кредиты, ипотеки и тп), чтобы быть еще богаче (легально).

Так же он говорит, в общем про учителей, тренеров, менторов и тп, кто нас учит как нужно делать правильно и берут за это деньги. Часто бывает, что это fake, и дает неправильные советы, особенно много финансовых советников, которые живут на комиссиях. То же самое и про курсы по работе с данными. Где вы учитесь? У реальных учителей или нет?

3) Fake Assets - он разделяет на 2 категории liability (то что у нас забирает деньги, например ипотека, кредиты, семья) и assets ( что нам приносит деньги)

Я немного сумбурно пересказал 450 страниц с картинками и графиками. Но я понял, что я был наивный, считал, что я получаю хорошую зп (плачу до хрена налогов) и есть немного акций, откладываю в Канадский пенсионный фонд, и думаю о том, чтобы копить. Так умные люди не делают, если я хочу действительно быть богатым, я должен перейти из квадранта наемного сотрудника и самозанятого контрактора в бизнес квадрант, и не боятся разбираться как работает налоговое регулирование в Северной Америке и научиться использовать заемный капитал, ну и копить золото и серебро. В общем надо учиться реальной финансовой грамотности.

А у вас как с этим? Откладываете зарплату или что посерьезней?
А вот квадрант по Data Science. Я знаю хорошо про DataBricks (Spark) и Alteryx. SAS хоть и лидер, но дорогой и неудобный. https://www.alteryx.com/third-party-content/gartner-2020-mq-data-science-machine-learning-thank-you
Новую книгу начал - flawless consulting, 1981 год, фундаментальные знания про консалтинг и про взаимодействия клиента и консультанта. Кстати, работая BI разработчиком или аналитиком, мы тоже являемся консультантом для наших клиентов (flawless это значит безупречный)
Недавно я скидывал статью на русском про Airflow. Там на хорошо было написано, что такое Directed Acyclic Graphs (DAG). Для тех кто любит углубиться в детали я нашел paper.
Все больше и больше постов про имлементацию моделей. (data science, ML, AI, не важно каких). Вот еще одна с использование AWS SageMaker (вычислительные мощности и фреймфорк + pyhton notebooks), Python, контейнер (Docker) и MLFlow (для обеспечения цикла разрботки, например dev-prod). Лично я хочу в этом разобраться, я писал про свою задача для оттока клиентов Alexa, работая с DataScienеtist я масштабирую модель, автоматизирую data pipelines. Остался последний элемент, все это сделать и использование best practices.
О визуализации данных на понятном языке. Почему столбиковые диаграммы строятся только от нуля, как перестать исппользовать чудовищное стандартное оформление из Экселя, почему даже у президента России графики как из 90-х. Разборы неудачных графиков и диаграмм, и события из мира датавиз в канале @chartomojka. Ведущий — преподаватель визуализации данных в Высшей школе экономики, автор книги "Графики, которые убеждают всех" Александр Богачев.
Столько классных apps, которые интегрируются с Wordpress, но еще больше креативных людей, из Виннипега🙊🙈
Screenshot_20200223-195635~2.png
368.9 KB
Согласно отчету dice, data engineer #1 вакансия по востребованности. В прошлом году это был data scientist, а до него был big data specialist. А ещё где-то был специалист по визуализации. https://techhub.dice.com/Dice-2020-Tech-Job-Report.html
Planning a Power BI Enterprise Deployment.docx
11.9 MB
Отличный документ про планирование и внедрение Power BI. Есть ли у вас еще интересные материалы про Data Governance для PowerBI?
В коллекцию картинок. В общем устал я от GIMP, где в ручную надо все делать, и сделал теперь в canva. Получилось классно.