Очень подробная статья про написание чистого и качественного кода на SQL.

Главный тезис ещё раз подтвердил для себя:
Если код приятен для чтения и понятен -> его можно без сложностей проверить на качество или расширить его функциональность при необходимости.

На вечер пятницы только такой контент 😂😂😂

Всем отличных выходных 😉

Полезная статья по разворачиванию Apache Superset в VK Cloud разными способами

Сегодня протестировал установку Superset в облаке через Docker, благо там есть еще бесплатный баланс на сервисы 😁😁😁
Думаю, что в будущем попробую перевести свой учебный проект платформы данных в облако. Ну и еще хочется освоить работу с Kubernetes на уверенном уровне работы с кластером. Сейчас почему-то через раз получается подключиться к кластеру в облаке по kubectl, нужно точно глубже погружаться в тему.

Читать статью

Если кто-то хочет пройти курс по аналитике от крупных компаний, то вот здесь собрана информация о доступных учебных программах на будущее. Многие из них бесплатны, но требуют предварительной подготовки и прохождения отбора в виде интервью и тестирований.

Многие из вас знают, что для работы с данными важно знать язык структурированных запросов SQL.
Однако при работе с нереляционными базами данных применяется концепция NoSQL. NoSQL позволяет работать с данными и базами данных в разных структурах:
- документах
- словарях вида ключ-значение
- графах
- колоночных семействах

Нашел отличную статью про NoSQL с примерами в картинках. Также есть сравнение SQL и NoSQL для еще более детального понимания подходов работы с данными

Читать статью

Привет!

Заключительный пост про учебный проект построения платформы данных. Сам проект закончил писать еще недели 2 назад, а до написания поста с итогами руки дошли только сейчас.
В конце поста делюсь ссылкой на репозиторий с кодом и инструкцией)

Учебный проект - Аналитическая Платформа Данных (Итог)

Итоги Года

Привет!

2022 год был насыщенным на различные активности и события. Мировые события конечно сильно подкосили внутреннее состояние в один момент и придали очень большую неуверенность в завтрашнем дне и погрузили в состояние взволнованности.

Пройдусь тезисно по реализованным активностям и по нереализованным тоже)

1. Запуск курса "Основы анализа данных"
Именно год назад я подготовил материалы для первых учеников на курсе. Обучение сначала было полностью индивидуальным. Сейчас обучение идет в малой группе 10-15 человек, что является очень эффективным форматом.
За год было проведено 5 потоков курса, при этом каждый раз занятия и материалы дополнялись и переделывались с учетом обратной связи 🔥🔥🔥

2. Запуск курса "Бизнес-анализ в IT"
Подобная история с прошлым курсом. Сейчас этот курс сильно заточен на практический материал и решение бизнес-кейса с разработкой требований к IT-системе
2 потока были выпущены за год 🔥🔥🔥
Следующий набор на курс стартует в феврале 2023

3. Развитие канала Data Study в Telegram
Первый пост в канале появился 27 февраля. Сейчас уже насчитывается 287 постов и больше 4000 подписчиков 🥳🥳🥳
Спасибо вам за ваш интерес и поддержку)

4. Открытие ИП
Довольно много деталей потребовалось изучить и освоить, чтобы все дальше ехало по накатанным рельсам.
- Сделано было 2 версии сайта https://datastudy.ru/
- Реализована онлайн-оплата
- Подключена возможность оформления рассрочки

5. Личное менторство
На протяжении года я занимался с разыми людьми индивидуально. Это могли быть как единоразовые запросы по консультации, помощь в поиске работы и оформление резюме. Также есть ученики, с которыми я занимаюсь уже длительное время каждую неделю в рамках личного менторства. Есть классные результаты, новые места работы, усиление аналитических навыков
Дальше хочется укреплять эту компетенцию и выводить своих учеников на новый уровень 🔝🔥🔥
Цели уже поставлены, продолжаем к ним идти ✊

6. Переход с иностранного проекта
Не могу отнести это к достижениям и целям, это скорее была вынужденная мера в связи со всеми обстоятельствами. Релокация не рассматривалась, поэтому стал работать на другом проекте

Ну и немного о том, что не удалось сделать:

1. Не прочитал список планируемой литературы
Год назад писал себе список из 10-12 книг, которые хотелось прочитать
В итоге, из них прочитал всего 2 :)
Думаю буду читать их по мере возможности и желания, никакой спешки в этом нет

2. Проваленный отпуск
Летом писал про неудачный отпуск, который сорвался в последний день. Планировали съездить в Турцию, погреться под солнышком и просто отвлечься от всего. В итоге, за вечер собрали чемодан и выехали на машине в Краснодар к родственникам, провели отпуск там.
Была небольшая цель посетить 10 новых городов, но после 5-го города перестал считать 😂
Думаю, что больше 10 городов в России мы посетили)

Здесь написано все довольно большими блоками, более мелкие но также важные активности не вижу смысла перечислять.
Дальше планы и цели уже намечены, возможно в ближайшем будущем я ими тоже здесь поделюсь 😉

Хочу всех поздравить с наступающим праздником!!! 🎄🎄🎄

Проведите эти праздничные дни и весь следующий год с максимальным удовольствием и комфортом 🎁🎅🎉

Вернусь к вам с новым контентом после праздников, а пока поеду дышать Уральским воздухом 😉

Привет!

Сегодня первый день как стартовал работать в 2023, а праздничные дни очень быстро пролетели.

Ездили ко мне в родной город Соликамск, вчера только вернулись (брал 2 дня отпуска к праздникам дополнительно).
Праздники прошли насыщенно 😁 Успели покататься на лыжах, девушка моя с Краснодара вообще первый раз каталась, без падений в сугроб не обошлось) 😆
На второй день приезда ударил мороз -30, на улице уже было не погулять, поэтому катались на крытом катке.
Один из запомнившихся дней - поездка в Чердынь. Это старинный город у нас в крае, там много музеев, церквей, старинных домов и очень живописная природа. Увидели впервые эффект Гало.
Конечно же навестили всех родственников,, не виделись с ними 1.5 года. 101 раз посидели за столом.

Вроде как перегрузился полностью от работы и городской суеты большого города, но вроде кажется что мало и хочется еще)))

Ставьте 🔥 если вы классно провели время в праздники

Разослал на этой неделе сертификаты своим ученикам о прохождении курса.
Обратная связь положительная, значит развиваю курс в правильном направлении 😁

Решил сделать отдельный репозиторий для проектов учеников, которые они выполняли как итоговое задание. На мой взгляд, идея с репозиторием очень полезная как для выпускников курса (они это могут использовать как часть своего портфолио), также это полезно и для будущих учеников на курсе. Работы дают понять, чему в итоге после курса можно научиться, посмотреть интересные идеи проектов, может быть развить одну из идей дальше вне рамках курса.
Многие из ребят до курса вообще не пользовались инструментами аналитики (SQL, Python, BI), а по итогу обучения смогли сделать комплексный pet-проект и некоторые даже получить уже оффер 😃🥳

Оставлю ссылку для всех заинтересованных здесь, опубликовал проекты ребят, кто дал на это согласие: https://github.com/Data-Study-DA/students-projects

По результатам опроса, большинство пользуются headhunter для поиска и отклика на вакансии. Честно, сам свои места работы также находил на hh. Что удивило, что довольно большой процент проголосовавших находят работу по рекомендации, что очень круто 👍

На каналы и чаты приходится меньший процент, скорее всего из-за того, что самих чатов и каналов много, поиск не очень удобен, нет комплексных фильтров, да и вакансии дублируют. Но все же иногда при просмотре натыкаешься на очень интересные 👨‍💻 и привлекательные 🤑🤩 вакансии

Решил поделиться списком каналов/чатов, на которые сам подписан:

https://t.iss.one/analyst_job

https://t.iss.one/analysts_hunter

https://t.iss.one/jobGeeks

https://t.iss.one/myjobit

https://t.iss.one/relocation_vacancies

https://t.iss.one/datajob

https://t.iss.one/biheadhunter

https://t.iss.one/Machinelearning_Jobs

В этом году предстоит написать магистерскую диссертацию. Выбрал для себя интересную тему, звучит она так "Data Product Marketplace: методы построения data-продуктов внутри компаний с современными практиками руководства данными".
В работе собираюсь комплексно посмотреть на основные подходы, архитектурные решения построения data-маркетплейсов и как при этом помогают принципы и методы Data Governance.
Пока разбил исследование на 3 части:

1. Data Product and Data Lifecycle
- ценность продуктов данных
- жизненный цикло создания продукта
- взаимосвязь между владельцами данных (owners), создателями (producers) и потребителями (consumers)

2. Data Marketplace
- какие проблемы с помощью них решаются
- какую пользу можно получить от них
- архитектурные методы и фреймворки
- технические аспекты реализации
- исследование рынка готовых решений

3. Data Governance
- необходимы принципы, политики, метрики управления данными для маркетплейса
- классификация, категоризация данных и инструменты
- управление метаинформацией
- работа с каталогами данных
- проверка качества данных
- исследование рынка готовых продуктов и их функционала

На мой взгляд, тема очень интересная и многогранная, можно много куда углубляться. Нашел уже список академических статей и некоторые интересные топики и записи с конференций. Также есть интересная запись от Amazon Web Services (AWS) про internal data marketplace

Кому интересно, ставьте реакции, по мере погружения в топики буду делиться здесь интересной информацией с ссылкой на источники

Claus O. Wilke / Fundamentals of Data
Visualization: A Primer on Making Informative and Compelling Figures

"If you are a scientist, an analyst, a consultant, or anybody else who has to prepare
technical documents or reports, one of the most important skills you need to have is
the ability to make compelling data visualizations, generally in the form of figures.
Figures will typically carry the weight of your arguments. They need to be clear,
attractive, and convincing."

Скачать книгу

Большинство из вас уже точно слышали про чат-бота с моделью обработки естественного языка ChatGPT. К сожалению, из России сервис недоступен, а так хотелось начать применять его в своих задачах 😔

Сегодня наткнулся на бота в телеграм, говорят его написали с использованием внутри ghatgpt3 модели, проверить не могу, остается верить на словах. Поигрался, посмотрел на результаты своих запросов, выглядит впечатляюще) Единственный момент, что бот не задает уточняющих вопросов как это делает ChatGPT, но возможно у меня просто запросы были такими, что не требовались уточнения для модели.

Оставлю ссылочку здесь, можете сами попробовать попросить бота о чем-то и посмотреть на результаты