📈Бесплатный каталог инструментов для работы с данными

Мы в студии собрали на одной странице инструменты для работы с данными с упором в сторителлинг. Сервисы помогают на всех этапах работы — от сбора до финальной публикации исследования. Инструменты проверены на практике, есть как бесплатные, так и платные. Отдельный фильтр помогает найти no-code и zero-code инструменты, что особенно приятно.

Пользуйтесь и создавайте крутые дата-истории, я знаю, вы это умеете! Напомню, что у нас есть каталог порталов открытых данных, который доступен всем желающим.

🛠Смотреть каталог инструментов🛠

Да пребудут с вами данные!

@data_publication

​​📈Важное и интересное, которое попалось на глаза за неделю

💣В России культ правды. Большинство людей, с которыми я общаюсь, считают, что есть та самая истина, а все остальное — фейки и дезинформация. У кого правда — тот и сильнее. В западной традиции есть понятие «утверждения», «точки зрения» и «мнения». Это дает маневр для спора и поиска договоренностей, и в конце — некоего соглашения, которое устраивает обе (или сколько там их) стороны.

На неделе общался на этот счет с другом, который выдал: «Ну вот у статистики точно только один взгляд, единственно верный». Пришлось друга разочаровать и сказать, что как данные могут не отражать реальность из-за неверной методологии, так и исследователь может быть заинтересован в подтверждении той точки зрения, которую он хочет донести. Жить с этой мыслью сложно, но вполне возможно. Поэтому я где только можно говорю про развитие дата-грамотности. Чем больше мы понимаем, как устроены и работают данные, тем лучше мы сможем выявлять манипуляции и тем лучше мы сможем разобраться в том, как устроен мир.

На неделе прочитал хорошее эссе на ворлдбанке, в нем приводится три тезиса, которые верны одновременно: мир ужасен, мир стал намного лучше, мир может быть намного лучше. Мы часто слышим от журналистов именно первую версию, и это вполне нормально, потому что журналистика занимается проблемами. Остальные два тезиса не так интересны нашей психике, но их понимание поможет нам более здраво смотреть на мир. Почитайте

💣Крутой проект финского картографа Топи Туканова, который показавет места рождения самых известных людей по всему миру. Залипательно

💣Обнаружил сервис “геочеки” от ФНС. Он кривенько визуализирует на карте число касс и средний чек по территории. Может пригодится.

💣Любопытное исследование показывает, в каких места американцы считают важным выглядет хорошо. Для всех групп на свидание важно быть во всеоружии, а в тренажерный зал можно придти в потертых трениках. Интересно, что для богатых важно придти нарядным даже в продуктовый магазин.

💣Lisa Charlotte из Datawrapper глубоко погрузилась в тему цвета в визуализации. В очередном эссе она рассказывает, как грамотно выбрать тип интерполяции для вашей цветовой шкалы.

💣Гугл проанализировал перемещения смартфонов и понял, что в США и Японии люди не ходят в отпуск. Посмотреть (с ВПН)

А вам желаю успеть сходить в отпуск этим летом. Увидимся!

📈Спарклайны — любимые диаграммы врачей

📈Парсер 2ГИС без кода
Наткнулся на инструмент, котрый позволяет выкачивать категории объектов на карте. Может помочь в случаях, когда OSM мало чего знает или за Уралом (там 2ГИС гораздо более распрастранен, чем Якарты).

⛏Пользуйтесь⛏

#инструментнедели

​​📈Важное и интересное, которое попалось на глаза за неделю

💣39 человек — именно столько россиян по данным ФСБ выехало в США за апрель-июнь 2022 года. Также сильно снизилось число поездок в прочие недружественные страны по сравнению с тем же периодом прошлого года. (а что случилось?) Однако при анализе данных ФСБ и ЕМИСС стоит учитывать, что фиксируется факт первого пересечения границы. А уже из Еревана, Ташкента и Стамбула можно улететь куда угодно. Взамен в Россию въехало полмиллиона жителей ЛНР и ДНР — они проходят в статистике как «иностранцы».

💣Конечно, хит этого лета — «карточный» туризм. Банки Центральной Азии, а особенно Кыргызстана, фиксируют резкий рост выпуска карт.

💣А тем временем в США пробуют проехать по стране на электрокарах, но заправок не хватает.

💣Под шумок в России растет число заражений ковидом, о котором все забыли. Теперь ведутся активные дискуссии о том, нужно ли вводить ограничения. Даже в рядах медиков консенсуса нет.

💣Более западные страны умирают от жары и размышляют о том, как будут мерзнуть зимой из-за экономии газа. Рейтерс выпустили визуально сложный гайд по заполняемости газовых хранилищ.

💣Красивая работа NYT, которая рассказана через анализ годичных колец деревьев.

💣Напоследок визуальный эксплейнер вселенной фильмов Марвел, я сам уже очень запутался в ней.

Спасибо, что провели эти 2 минуты пятницы с нами) Увидимся

📈Угнать за 60 минут

Давно хотел поиграться с изохронами в Qgis, сделал несколько карт транспортной доступности для городов Краснодарского края и Адыгеи. Скорость рассчитывал по категориям дорог, дополнял данными по скоростным ограничениям с камер. Не хватает данных по пробкам, если знаете, где их взять, буду благодарен.

📈Конструктор карт Felt
Сидел я тут в интренете внезапно наткнулся на любопытный редактор карт. Это что-то среднее между Miro и сервисом Google my Maps. С одной стороны позволяет подгружать внешние геофайлы (до 10mb). С другой –«дорисовывать» границы, добавлять фотки и ссылки с превьюшками. Подробнее в документации. Выглядит интересно.

Попробовать https://felt.com/

#инструментнедели

​​📈В коментах к посту о поиске данных о бомбардировках Ленинграда подписчик поделился ссылой на интерактивную карту. Ее сделали студенты совместной программы моих друзей из Европейского университета и Яндекса “Прикладной анализ данных” (ПАНДАН). Эта программа выделяется тем, что она сделала для людей с социальным и гуманитарным бэкграундом и позволяет им добавить в свою копилочку скиллов современные инструменты работы с данными.

На курсе научат с помощью языков программирования Python и R обрабатывать опросные, административные, текстовые и геоданные, изображения и видео. Студенты учатся применять методы статистического анализа и машинного обучения, организовывать работу в проектах и создавать яркие и понятные визуализации своих результатов. Главная штука — итоговые проекты, которые показывают уровень навыков. Посмотрите:

💣«Город, знакомый до слез» — команда совместно с центром «Прожито» геокодировала тексты дневниковых записей. На Яндекс-карте можно посмотреть места, которые упоминаются в дневниках, и узнать, чем они запомнились жителям и гостям города.

💣"Еврейские надгробия" — С центром «Петербургская иудаика» и Центром «Сэфер» расшифровывали, переводили, датировали и систематизировали базу из тысяч фотографий еврейских надгробий на территории бывшей черты оседлости.

💣"Дневники подростков" — С центром «Прожито» анализировали тексты подростковых дневников методами обработки естественного языка, определяли в них эмоции и проверяли, можно ли научить языковую модель генерировать дневниковые записи, неотличимые от реальных.

💣«Безопасные дороги» — студенты совместно с экспертами по урбанистике и транспортному развитию изучали эффект воздействия национального проекта «Безопасные и качественные автомобильные дороги». Во всех регионах России сравнивалась аварийность, смертность и иные показатели на участках дорог до и после ремонта в рамках программы против участков дорог, не участвовавших в программе.


Все подробности поступления по ссылке, набор заканчивается на этой неделе. Успеть записаться

​​📈Важное и интересное, которое попалось на глаза за неделю

💣РБК в двух сериях графиков рассказывает о том, как военная война повлияла на экономику и географию Европы.

💣$310 000 — столько стоит воспитание ребенка до 17 лет в США, цифры приводит WSJ. Эта сумма сильно выросла из-за инфляции. В России, по некоторым данным, это стоит 13,7 млн рублей (2017 год), это $236 000 по курсу того года. Правда у нас вырастить — это сделать так, чтобы ребенок закончил ВУЗ, то есть спонсировать до 22 лет.

💣О теме трат рассказывают и ребята из Тинькоф Даты. Оказывается, траты семей с детьми на 30% выше трат бездетных. Также семьи с детьми экономят на транспорте, цветах и электронике.

💣Сервис, который позволяет проследить показатели о соседях по району по почтовому коду. Удобно меряться зарплатами.

💣Блумберг рассказал про жару в городах и нашел прохладные места в мегаполисах, в которых можно укрыться от нее укрыться. Почему так хочется пошутить про сердце бывшей?

💣Один график про то, как изменились источники доходов nyt за 10 лет.

💣Datawrapper исследует свои же графики. Любопытно, что по теме Украины чаще используются карты, а для ковида — простые графики.

💣Напоследок хочу пожелать счастья и путешествий по всем странам, где продают кока-колу.

Увидимся осенью.

​​📈Секретные доходы и расходы россиян
Общался с журналистами из разных стран и все подтверждают — тема денег интересует всех и везде. На этой теме вырос первый журнал о финансах в финансово неграмотной стране Т-Ж. Не путайте его с недавно закрывшимся TJ, тот был про мемы.

В России исторически все неплохо с макроэкономикой, благо нефтедоллары помогают закрывать потребности. У нас классные открытые данные минфина, налоговой, госзакупок. До февраля даже большая часть госбюджета была открытой.

Однако если мы развернемся в сторону доходов и расходов конкретного человека или, как говорит Росстат, “домохозяйства”, тот тут нас ждут неутешительные новости. Зарплаты, которые считает Росстат, не покрывают “серого” сектора, который местами доходит до 40%.

С расходами не легче. Их считают в результате выборочного исследования. Респонденты ведут дневники трат и потом аккуратно их сдают. Кто их заполняет? Не уверен, что самые обеспеченные люди. В России не принято говорить про деньги публично, не зря дудевский вопрос «cколько ты зарабатываешь» звучит так интимно.

Помочь здесь могут данные мобильных операторов. Да, они знают, сколько вы тратите, если приходит смс. Есть еще данные ОФД, которые в точности до бутылки пива знают ваши покупки по карте. И те и другие данные продаются по неприлично большой цене, но именно они отражают реальную картину.

Что в этих данных? Тайна. Как-то раз я общался с одним из ОФД с предложением сделать реальную потребительскую корзину россиян, то есть «сколько россияне тратят на самом деле». На что они ответили: «Холивара мы не хотим» Ест у меня гипотеза, что богатые богаче. чем показывает статистика, а бедные — еще беднее. Ни тем, ни другим невыгодно, чтобы об этом знали другие люди. Возможно когда нибудь мы и узнаем, сколько зарабатывают и тратят россияне. Ну а пока посмотрим на карту зарплат от РИА Новостей.

📈Шаблон плиточной карты для Flourish
Сделал шаблон плиточной карты РФ по Flourish. Пользуйтесь!

Не забывайте, что Canva и Flourish работает только с ВПН.

📈Как DALL-E видит слово чуваков
Саша Трубецкой скормил нейросети фразу "_____ чувак" по каждой европейской стране и сделал карту. У нейросетей большой потенциал, но пока выглидт кринжово. Ждем улучшений)

Аккаунт автора в твиттере

📈Инструмент для создания интерактивных карт
Unfolded — один из немногих условно бесплатных картографических сервисов, который при широком наборе функций продолжает работать в РФ без ВПН.

Насладиться

#инструментнедели

​​📈Важное и интересное, которое попалось на глаза за неделю
Нейросети, в которые играет весь интернет вторую неделю, стали доступнее. Теперь каждый из нас может сгенерировать свое уникальное изображение и продать его на NFT (шучу).

Если честно, то все это попахивает новой революцией. Когда-то анализ и визуализация были уделом ученых с их огромными ЭВМ, теперь это может делать любой школьник с телефонов (только если он не в РФ). Сейчас анализ данных доступен каждому.

Скоро мы перейдем от прямой работы с данными к инструментам, которым позволят нам вносить определенное количество данных в систему, а она будет выдавать некий непредсказуемый результат. С одной стороны у человека будет возможность выбрать оптимальное решение или попросить переделать, с другой мы можем находить решения, которые очень сложно найти из-за когнитивных искажений.

Без контроля нейросеть не останется, все мы помним, к чему это приводит, поэтому пугаться не стоит. Забавно, что искусственный интеллект оказался не машиной скайнета, а алгоритм, которого мы не видим.

💣Умер Михаил Горбачев. Об этом я сказал в заглавном графике поста, данные Википедии.

💣Ди Каприо жив-здоров и продолжает свой давний принцип не встречаться с девушками старше 25 лет. Хоть где-то стабильность.

💣В России, как и по всему миру, выросли продажи йодида калия и измерителей радиации.

На этом все, выделяйте время на близких, даже если у вас плотный рабочий график.

Увидимся

📈Самые известные уроженцы городов по данным Википедии
Cобрал данные Википедии по городам и вычислил их самых известных уроженцев. Посчитано суммарное число просмотров статей с 2015 года. Уроженцы деревень в статистику не вошли (простите нас, Леонтьев, Горбачев и Есенин). Размер кружка — число просмотров, интерактив есть только на десктопе.

👩‍🦰Исследовать🧔

Дата-сторителлинг

📈Все в Москву
Если взглянуть на распределение инвестиций в основной капитал (это все стройки, производства и транспорт) по регионам, то многое становится на свои места. Каждый пятый рубль всех инвестиций утекает (скорее остается) в Москве в 2021 году. Доля ее росла ежегодно, например в 2012 году она составляла только 10%.

Остальные лидеры по инвестициям — ресурсодобывающие и северные регионы, в них вкладывают, чтобы потом гарантировано отбить средства. Чуть особняком стоит Краснодарский край — новая крупная агломерация, в которую съезжаются люди со всей страны.

Кстати в пересчете на население в ЯНАО выходит по 2 млн рублей на человека, а в Ингушетии — 40 тысяч. Угадайте, какие из этих регионов будут развиваться)

📈Графики про жизнь
Спешу напомнить, что у меня есть отдельный аккаунт в Инстаграме*, где я по фану делаю смешные, мотивирующие, а иногда просто жизненные графики.

*Компания Meta Platforms признана в России экстремистской организацией и запрещена.

https://www.instagram.com/dorozhnijchart/