Data Engineering Technologies in 2021

Интересная подборка современных инструментов/технологий для работы с данными. Автор утверждает, что о них всех знают лишь 0.6% людей. А сколько инструментов/технологий из списка вы использовали в работе (или хотя бы знали раньше)?

https://techninjahere.medium.com/data-engineering-technologies-fa886398d24e

Медленно, но верно допиливаю свой дата-арт проект, выполненный на курсе Federica Fragapane.

Проект на финальной стадии разработки, а пока я без ноутбука, решила зафиксировать этот новый для себя опыт в скетчах.

Первым этапом был этап сбора данных по интересующей меня теме. Я давно хотела сделать проект на тему ДТП.

Про это я уже рисовала, но будет небольшой повтор.
Данные собирать и обрабатывать оказалось сложнее, чем я думала. Т.к. во многих источниках они разобщены, в текстовом формате, с мусором и т.п.

Все пакеты, в которых я надеялась быстро обработать данные, выдавали море ошибок и даже иногда обнуляли мои труды...
Excel, PowerBI, Google Sheets... И путь ручной обработки, рекомендованный в курсе, оказался самым успешным. Увы. 😂

Ещё в процессе сбора данных я несколько раз меняла свою идею, иногда потому что нужных данных просто не было.
#датаартпроцесс

Второй этап создания дата-арт проекта состоял в том, чтобы набросать эскизы.

Как представить данные? Круги, цветочки, лепестки, завитушки? Геометрические фигуры?..

Мне больше нравятся растительные мотивы, так что я склонялась к цветкам-лепесткам. Но и другие варианты рассматривала. К тому же базовый пример курса был про лепестки, не хотелось повторяться.

Пока тут нет конкретных решений, но уже список основных переменных определён.

Один набор данных - основной. Данные о смертности в ДТП по странам - в динамике по годам. И ещё несколько дополнительных наборов данных уже без динамики.

Например, популяция, ввп... Ещё я взяла длительность дорог, раз уж речь про ДТП.

Что-то будет осями координат, что-то станет кругом или прямоугольником, дающим фон данным. Основной концепт на этом этапе ещё не определён.
#датаартпроцесс

Третий этап был несложным и в то же время требовал принять уже решение о визуальной части проекта.

Поиск вдохновения. Из всех сайтов "с красотой" популярнее, наверное, pinterest, там и искала примеры и элементы для будущей работы.

Сочетания цветов и форм, мотивы, варианты исполнения. Все это формируется здесь. Курс рекомендует собрать себе небольшую галерею по теме и выбирать оттуда.

Опять же, мне трудно подбирать сочетания цветов самостоятельно. А имеющийся пример применения цветов - сильно облегчает работу.

(не буду скрывать, что в основном мои палитры - это пятьдесят оттенков синего 😅)
#датаартпроцесс

Следующий этап - проработка костяка визуализации, то есть, собственно, перевод данных в объекты. Круги и линии.

Делать это предлагается с помощью RawGraphs, очень простого сайта, куда вставляешь копипастой или файлом данные, выбираешь тип визуализации, настраиваешь, а на выходе получаешь svg файл.

Что могло пойти не так? 😅

Во-первых, где-то на этом этапе я решила опять поменять концерт проекта, так что переделывала несколько раз.

Потом я решила усложнить себе задачу и зашифровать в кругах не только доп.инфу, но и динамику (сейчас это звучит крайне сомнительно, не спорю). И все бы ничего, но датасет увеличился в 20 раз, и я стала делать 20 отдельных графических блоков.

И только к концу этой довольно трудоёмкой работы я поняла, что эти фрагменты не синхронизированы друг с другом. RawGraphs - что логично - подгонял оси под размер данных... То есть 6 для одной страны могло быть равно 10 для другой страны.

Начинай опять сначала... Слава богам, нашёлся другой визуал, который выручил меня.
#датаартпроцесс