А вот сейчас

Мы практически закончили модуль 3 #datalearn. Роман Бунин подготовил для студентов крутое задание - визуализировать данные по Airbnb London:

Представьте, что вы занимаетесь профессиональной сдачей жилья — берете в долгосрочную аренду объекты, а потом сдаете их в краткосрочную субаренду через Airbnb. У вас есть две задачи, которые вы хотели бы решить с помощью дашборда в Табло. Придумайте и реализуйте любой из них и опубликуйте на Табло Паблик и пришлите ссылку с результатом и ваши пояснения к решаемой задачи в канал de-module03-final-project в слаке. Идеально, если пояснения к задаче будут оформлены в виде заполненного Dashboard Canvas (недостающую информацию придумайте сами). По результатам выполнения проектов будет проведен вебинар, на котором рассмотрим сделанные проекты и будут даны рекомендации по улучшениям.


Задачи на выбор:

1. Создать аналитический инструмент

Для того, чтобы снять новый объект нужно выбрать наиболее привлекательный район, а также сравнить конкретные объекты. Районы сравниваются по количеству объектов, средней стоимости сдачи и средней загрузки объектов в течение года. Также интересна аналитика в разрезе типа комнаты (room_type), количества спален и площади помещений. Аналитический инструмент должен давать ответ на вопрос в каком районе стоит снять помещение в первую очередь и проанализировать топовые предложения в районе, чтобы искать похожие объекты в аренду.

Задача со звездочкой: При выезде на осмотр конкретного объекта вам хотелось бы иметь мобильную версию с основной информацией по этому району, чтобы проводить торги на месте.

2. Сделать операционный дашборд

Вы уже сдаёте 20 объектов в субаренду (выберите случайным образом). Для операционного управления объектами вам необходим дашборд чтобы видеть общую картину, что происходит с вашим портфелем недвижимости (средняя загрузка объекта, средняя длительность аренды, средний чек, общая прибыль за период, средняя оценка), какие объекты сданы или нет на последний день, а также информацию выполнения плана по каждому из объектов. Идеально было бы видеть сравнение метрик со средним по району. Также важно видеть детальные отзывы по каждому из объектов и оперативно реагировать на негативные. Загрузку объекта считаем как кол-во недоступных дней (считаем, что это значит, что объект сдан) делённых на 366 дней. План по загрузки объектов — 75%.

Задача со звездочкой: Долгосрочная аренда на 40% дешевле, чем подневная аренда объекта за весь год. Амортизация и ремонт на каждом объекте составляет 1500$ в год. Посчитайте какие из ваших объектов рентабельны и сколько вы заработали на сдаче объектов.

Больше информации в Git.

Информация про Рому:
https://revealthedata.com/blog/all/about/
Блог: revealthedata.com
Телеграм: https://t.iss.one/revealthedata

Кто-нибудь проходил курс по облакам? В 5 модуле #datalearn будет как раз введение в облачные вычисления и меня была идея добавить курс на степик, там рассказать в общем про облака и показать на примере AWS/Azure. Но может быть этот курс покрывает достаточно уже, поэтому интерсно узнать. Тогда сделаю по старинке youtube+git.

Еще один свежий BI вендор из Азии - Holistics, предлагает вашему вниманию ebook - The Analytics Stack Guidebook, где вы можете посмотреть про современные аналитические решения и многое другое. Например они рассказывают про Open Source ETL решения, концепты хранилища данных, разницу межлу ETL vs ELT, озера данных и тп. Классные у них в картинки, можно позаимствовать для #datalearn 😜

Даже есть про Кимбала и его dimensional modelling. В целом ничего нового, но все красиво собрано в одном месте.

Недавно я провел опрос про важность блога или других вещей, которые могу помочь вам в развитии карьеры. Реально получается, что 48% считают, что это очень полезно. Но я не уверен, что эти же 48% это делают.

Вам не обязательно быть крутым профи, чтобы вести блог. Например, я начал свой блог TechBI в 2013 и закончил в 2016, когда уже был в Амазоне. Я его начинал только с одной целью, писать туда все в подряд, чтобы у меня была ссылка в резюме. И так как я искал работу за границей, то и блог был на английском. Иногда я переводил русские статья на англ к себе в блог, иногда я фигачил документацию из внутренних порталов Teradata. Были моменты, когда я описывал решения проблем и учился чему-то новому. В целом как блог этот ресурс тянет на 3 с минусом, но как инструмент достижения цели на 4+. Кроме блога, я еще сделал slideshare, на который выкладывал все презентации только на английском языке (еще один актив). Тут я уже больше старался.

Поэтому очередной раз говорю, если серьезно настроены в развитии карьеры в своей области создайте ресурс. Блог проще всего. Можно использовать medium (там нет тролей как на habr или vc). Самое простое, что можно сделать, описывать решение заданий #datalearn, описывать проблемы на работе или может быть писать про ваш путь в мир данных.

Как ни крути, одного резюме с перечнем скилов недостаточно, нужны еще активы. Может быть хороший актив - развитие #datalearn, обучение студентов?;)

В декабре 2018 я писал про интересный lifehack, который я использовал, когда искал работы за границей, да и на hh тоже использовал это вместо cover letter.

У AWS есть сервис - Direct Connect. Это когда мы подключаем свой датацентр напрямую к дата центру AWS. Вот пример использования такого подключения для реального клиента (конечно в штатах). Они используют QuickSight и Redshift - все как обычно BI+DW. Но у них еще есть куча систем on-premise - SQL Server, Teradata, Presto и тп. И вот они решили подключить on-premise данные к Quicksight используя direct connect. Ну и наверно заливая заодно их в Redshift. Вот ссылка.

Так как я работал в Amazon Alexa, хотел рассказать про последнее устройство - AlexaShow 3rd generation. Где прослеживается развитие применения ML для повседневных устройств. Использует новый AZ1 Neural Edge processor (чип специально для ML).

Главное добавление - это возможность экрана вращаться на 360 градусов - motion. Причем она это делает не просто так, а пытается повернуться к вам, на звук. Когда вы разговариваете по Alexa (типа skype видеозвонок, она будет крутиться за вами). Другая интересная фича - security guard. Она может сканировать комнату и отправлять вам фотографию, если замечено движение в ваше отсутствие.

У меня дома есть все 3 поколения AlexaShow и мы можем с детьми созваниваться между комнатами или я могу домой звонить на камеру, когда нахожусь в отпуске. Конечно если нет wifi, то и ничего не будет. Кстати если у вас есть Alexa, скажите ей - "Alexa, fart sound". Мои дети угорают от этого. Кстати google устройство тоже понимает "google, fart sound". Как я понимаю устройства могут найти общий язык. А вот siri еще не дорос до такого уровня AI.

У нас супер новости, #datalearn превысил 2000 студентов, теперь надо на платную подписку mailchimp.

На всякий случай хочу закрпепить информацию про канал и datalearn для новеньких подписчиков и стареньких, кто еще не знает деталей.

Про канал: Я (Дмитрий Аношин LinkedIn telegram) уже больше 15 лет занимаюсь аналитикой, из них 5 лет был в Амазоне, работал в нескольких командах, включая Alexa AI (в Бостоне) и Customer Behaviour Analytics (в Сиэтле). Поучаствовал в действительно инновационных проектах, где драйвером являются данные. Видел и Big Data и Machine Learning, AI в действии в масштабе крупнейшей компании мира. После Амазона работал 5 лет в Microsoft Xbox и Microsoft Azure Data&AI. Активно принимал участие в развитии Microsoft продуктов для аналитики - Synapse, Fabric, Azure Databricks.

Теперь, я помогаю создавать инновационные аналитические решения, создавать дата команды и модернизировать устаревшие решения и как хобби обучаю инженеров и аналитиков через свой образовательный проект Surfalytics.com. Задача Surfalytics - ваша прокачка и трудоустройство на западном рынке, у нас закрытое сообщество в Discord, где мы ботаем DE и аналитику и прокачиваем скилы и добываем job offers.

Я написал несколько книг по аналитике и преподаю Облачные Вычисления (Cloud Computing) в Университете Виктории.

У меня большой опыт в развитии дата сообществ и выступлений на конференциях, meetup и user groups.

Все это помогает быть на пике технологий и следить куда движется индустрия аналитики.

В канале Инжиниринг Данных, я буду писать про современные аналитические решения и истории из жизни, связанные с развитием карьеры, много вредных советов и контента не по теме😜

Ну и конечно для всех желающих есть ресурс на русском DataLearn.ru который мы стартанули с Романом Пономаревым. Может сразу переходить в учебник , выбрать свой курс и учится! И также есть отдельный чат для студентов.

Идея datalearn простая, мы бесплатно учим профессиям для работы с данными. Начиная от основ аналитики - зачем нужны данные и аналитика и заканчиваю BigData. Курс полностью бесплатный. За 3 года я успел записать 7 модулей и потом переключился на Surfalytics.

PS Сейчас работаю над порталом Дата Инженеръ - главный 🇷🇺 портал про Инжиниринг Данных. Вы можете стать контрибъютером, если вам интересно напишите мне.

9-10 декабря будет интерсной ивент - Denodo Data Fest. Как обычно бесплатно практикуем английский и изучаем рынок современных решений и аналитики.

Кстати 2ое подписчиков канала серьезно взялись за Denodo и прошли уже обучение по продукту (Architecture и Developer) и планируют сдавать сертификацию, чтобы поддерживать и развивать Denodo в Канаде удаленно из России. Может быть потом они выступят с докладам и расскажут про свой опыт.

Есть такая же возможнось по Looker и Plotly;)

Пошаговая инструкция для Product Managers, как создавать ML продукты.

От себя добавлю. Польза ML уже доказана для бизнеса. В индустрии есть куча примеров для внедрения ML решений.

Например:
- ранжирование выдчи продуктов для маркетплейсов
- рекомендация товаров и услуг
- классификация продуктов
- бюджетирование и прогнозирования спроса/продаж/действия пользователя
- поиск аномалий
и многое другое.

Product Manager именно тот человек, кто является двигателем прогресса в продуктах и сервисах.

А вот информация от AWS

Отличный пример использования визуализации для введение в ML. Это очень известная ссылка, но вдруг вы не встречали.