О том где найти материалы про открытые данные, данные вообще, их визуализацию и не только.

Мы в Инфокультуре ведем мини-мини проекты по созданию каталогов ссылок на проекты по нескольким темам. Это так называемые "awesome lists" на Github'е.

Если Вы ищите какие-либо материалы по теме то могу порекомендовать начать здесь:
* Открытые данные в России / На русском языке. Каталог ссылок на порталы данных, проекты, сообщества, блоги и так далее https://github.com/infoculture/awesome-opendata-rus
* Дата журналистика (на английском языке). Очень много ссылок на визуализации, движку, курсы по дата журналистике и так далее https://github.com/infoculture/awesome-datajournalism
* Открытые финансы / Открытые бюджеты https://github.com/infoculture/awesome-openbudget узкотематический список про госфинансы

Сейчас там много ссылок на наши проекты Инфокультуры, а мы хотим конечно же, чтобы список был куда шире и полезнее.

А для тех кто хочет посмотреть на все awesome списки которые только есть - они есть вот тут https://github.com/sindresorhus/awesome в том числе и про данные, открытые и большие данные, там много всего.

Зачем нужны такие списки? Нам они нужны на конкурсах и хакатонах, мы собираем там все что необходимо для быстрой разработки проектов. Кроме того они часто полезны студентам при создании проектов.

Ими можно не только воспользоваться, но и поучаствовать. Вы можете редактировать их непосредственно в github'е по инструкции https://github.com/sindresorhus/awesome/blob/master/contributing.md применяя ее для списков выше или же прислав мне на ibegtin@infoculture или в https://telegram.me/ibegtin ссылки с кратким описанием.

Но правильный способ это, конечно, через github который уже стал стандартом де-факто для подавляющего числа открытых проектов.

#opendata #opengov #data #awesomelists

Сегодня в 16 часов во Всемирном банке будет сессия по цифровой экономике. К сожалению, я там присутствовать не смогу, узнал о ней слишком поздно, но тем кто интересуется - по ссылке https://www.worldbank.org/en/events/2016/12/20/developing-the-digital-economy-in-russia-international-seminar-1 можно будет смотреть вживую

#digital #opengov

Только 23-го декабря и совершенно бесплатно, новый и отличный вебинар о том как рабртать с данными Госконтрактов проведет Анна Сакоян. Анна журналист Полит.ру и аналитик проекта Госзатраты вот уже много лет анализирует данные по государственным контрактам.

Знает их уже от и до и расскажет о том как пользоваться открытым API в своих аналитических целях.

Зарегистрироваться можно тут - https://www.facebook.com/events/1752194131773909/?notif_t=plan_user_invited&notif_id=1482410755837948

Сам вебинар проходит в рамках проекта Госзатраты (это проект Комитета гражданских инициатив).

#opendata #opengov #clearspending

Центр гуманитарных данных (The Centre of Humanitarian Data) [1] - это новая организация которая появится по инициативе Управления по координации гуманитарных вопросов ООН (OCHA) [2] которая была недавно анонсирована, а официально появится в конце марта 2017 года.

Этот центр возьмет на себя координацию участников The Humanitarian Data Exchange [3], биржи обмена данными о гуманитарных кризисах. Этот портал открытых данных включает большие объемы собранных данных по произошедшим гуманитарным катастрофам.

На сегодняшний день портал включает данные:
- 4,422 наборов данных
- 257 организаций
- 244 территории
- 850 источников данных

Сам портал работает на базе движка CKAN и пополняется, во многом, автоматически.

В очередной раз я не могу не обратить внимание на то зачем такие порталы нужны. Крупнейшие организации доноры и координаторы работ множества НКО обеспечивают интеграцию их инициатив, возможность использовать результаты друг друга, возможность создавать новые цифровые инструменты. ООН всегда было довольно бюрократической и инертной организацией, но в последние годы создало уже несколько проектов по открытым данным.

Вот лишь некоторые из их банков данных:
- https://comtrade.un.org/data/
- https://urbandata.unhabitat.org/
- https://data.un.org/
- https://data.unops.org
- https://open.undp.org/

И самый главный и детальный - https://undatacatalog.org

Есть ли хоть один портал данных международного уровня на постсоветском пространстве? Оставим этот вопрос риторическим, а ответ невысказанным.

Ссылки:
[1] https://centre.humdata.org/
[2] https://www.unocha.org/
[3] https://data.humdata.org/

#opendata #opengov #data #un

Для тех кто интересуется о том как устроены правоохранительные органы и их данные вышла лекция Алесея Кнорре. Всячески ее рекомендую для тех кто еще новичок в этой теме

На нашем онлайн-портале вышла долгожданная лекция Алексея Кнорре (Alexey Knorre) "Эмпирическое правоведение: как работать с данными криминальной статистики"
Рост количества данных и инструментов для их анализа за последние 20 лет изменил множество сфер, в том числе и сферу правоприменения. Это привело к тому, что теперь при разработке законов и анализе работы правоохранительных ведомств мы можем использовать всю мощь современной науки, которая позволяет отвечать на прикладные вопросы с помощью статистического анализа данных (что получило название "credibility revolution", а соответствующая междисциплинарная область - эмпирические правовые исследования).

https://kgi.zillion.net/ru/event/7358/empirichieskoie-pravoviedieniie-kak-rabotat-s-dannymi-kriminal-noi-statistiki

На сайте Европейской комиссии в разделе "Digital Single Market" [1] вышел обзор Open eGovernment practices in all EU Member States make public services more collaborative, efficient and inclusive [2] с большим числом примеров того как в странах Евросоюза формируется общая экосистема открытых данных, продуктов на их основе, цифровых услуг и технологических стандартов позволяющих всему этому работать вместе.

Важное направление - это "Openness towards third parties", открытость которая обеспечивается другими игроками общества. И там упоминается множество проектов НКО в Европе, такие как OpenSpending, например, проект по мониторингу и открытости бюджетов.

А также обратите внимание на библиотеку лучших практик открытости Европейского союза [3] с большим количеством вдохновляющих примеров.

Ссылки:
[1] https://ec.europa.eu/priorities/digital-single-market_en
[2] https://ec.europa.eu/digital-single-market/en/news/open-egovernment-practices-all-eu-member-states-make-public-services-more-collaborative
[3] https://opengov.semic.eu:3000/

#opendata #opengov #eu

Несмотря на то что мой канал номинировали на конкурс Открытого правительства, я то как раз с каждым годом все более скептичен насчет его будущего (как структуры, а не концепции) в России.

За все эти годы оно скорее снижало активность чем увеличивало.
Вот неполный список того что никогда не было сделано:
- не раскрыты большинство ключевых наборов данных которые должны были быть раскрыты согласно Хартии Большой Восьмерки
- не собрано библиотеки лучших практик
- не обеспечена поддержка общественных инициатив на открытых данных - нет ни одного президентского фонда который бы поддерживал проекты на открытых данных, а зарубежное финансирование этой темы в России сейчас невозможно
- поддержка проектов по открытым данным не стала частью повестки ФРИИ/РВК и других государственных структур развития стартапов

Все это, вместе с непрозрачностью его финансирования и конфликтами интересов его руководства, неизбежно создает ситуацию когда это первое и последние "Открытое правительство" в России. Следующее будет называться как-угодно иначе, но слово "открытость", к сожалению, нынешними его функционерами очень сильно испорчено.

В разговорах с коллегами из других стран СНГ они часто приводят российский опыт как положительный в открытых данных. Но проблема в том что государственные инициативы увязли в российской бюрократии.

#opendata #opengovernment

Я так много пишу про открытые данные в последние годы что многие давно забыли что много лет назад, до 2012 года, основной моей деятельностью и была работа с данными госфинансов - в первую очередь госконтрактов.

И сейчас вот уже год как я вернулся к этой работе как одной из основных. Я являюсь руководителем экспертной группы ЦСРа по контрактной системе и занимаюсь анализом того что называется большими данными о госконтрактах. Не просто в применении общепринятом, но для гораздо более глубокого понимания российской экономики. Обязательно подкрепленное цифрами.

Сегодня вышла статья в Ведомостях (https://www.vedomosti.ru/economics/articles/2016/12/29/671668-goszakaza-dostaetsya) с некоторыми нашими цифрами и комментариями, я возьму на себя смелость скопировать ее целиком из под paywall'а Ведомостей.
——
80% госзаказа достается 6% поставщиков
Конкуренция на тендерах часто имитируется

В 2016 г. государство закупило на 5 трлн руб. (открытые данные на 28 декабря) – минимум после 2011 г. Госкомпании разместили извещений на 22,5 трлн руб. – на 500 млрд меньше, чем год назад.
Единственным поставщикам досталась пятая часть госзаказа (23% в 2016 г., 22% в 2015 г.) и 38% – госкомпаний (40%). Но руководитель ФАС Игорь Артемьев считает, что 95% закупок госкомпаний уходят единственному поставщику, так как больше половины процедур маскируют отсутствие конкурса, например «наш любимый способ закупки». Обязать госкомпании закупать по более строгим правилам Минэкономразвития собирается уже два года. В 2015 г. поправки были внесены в Госдуму, но не прошли дальше первого чтения. Госкомпании не просто защищались, а атаковали: по их просьбе Минэкономразвития согласилось смягчить даже действующие процедуры – вывести из-под закона внутригрупповые сделки и закупки финансовых услуг. Нельзя исходить из того, что все менеджеры обуреваемы только идеей – как украсть, говорил «Ведомостям» замминистра Евгений Елин.

Но и в самом госзаказе конкуренция невелика. На 6% поставщиков (25 000 компаний) приходится 80% госзакупок, говорится в исследовании ЦСР («Ведомости» ознакомились с частью доклада). Данные за 2015 г., но в первые девять месяцев 2016 г. пропорция сохраняется, говорит руководитель экспертной группы ЦСР Иван Бегтин. Представитель Минэкономразвития посоветовала искать информацию на zakupki.gov.ru. Данные ЦСР совпадают с данными информационной системы, подтвердил чиновник федерального казначейства. Треть из этих 25 000 компаний – те же государственные организации, подведомственные заказчикам, уточняет исполнительный директор Бюро контрактной информации Ольга Анчишкина: государство делает вид, что торгует, а по сути – распределяет.
Контрактная система оказалась выгодна крупным игрокам, считает Бегтин, и неудобна для остальных – многие участвуют в торгах один раз и больше не приходят: это не только фирмы-однодневки, но и компании, которым не нравится, что поставщик бесправен. 70% госзаказа приходится на стройку и фармацевтику, замечает Елин, такая концентрация возможна. Но это говорит не о качестве контрактной системы, а об уровне конкуренции в экономике, уверен он. На торгах есть конкуренция – в среднем три участника, но, если посмотреть, кто получает контракты, становится понятно, что госзаказ близок к чистой монополии, говорит Анчишкина: конкуренция имитируется.

Задуманная «реформа» госзаказа – перевод в электронный вид всех процедур – не является реформой и не изменит ситуацию, замечает Анчишкина. Нужно не контролировать процедуру размещения заказа, а изменить отношение к контрактной системе, предлагает она: сделать из госзакупок современную систему снабжения, от эффективности которой в компаниях зависит 75% себестоимости продукции; ограничить список тех, кто имеет право размещать госзаказы: «Почему решили, что это может быть любой бюджетополучатель?» Нужны централизация, кооперация и совместное использование товаров, чтобы, к примеру, детский сад даже теоретически не мог претендовать на закупку собственной снегоуборочной машины, рассуждает Анчишкина. Также необходим реестр результатов исполнения контрактов: не отчеты о потраченных деньгах, а учет приобретенной продукции, продолжает Анчишкина, а для типовых закупок – электронный магазин. Электронный магазин – действительно важный инструмент, его запуск в планах на 2017 г., уточнил Елин.

Конечно, надо следить за результатом, соглашается Елин. Но стоит задача сократить издержки, самые чувствительные из которых коррупционные, объясняет он, а для этого нужно максимально снизить участие чиновника в принятии решений, вот и получается, что сначала необходимо описать процедуры. Контроль за результатом станет возможным, когда система будет полностью готова, когда каталог, который будет поэтапно запускаться с 1 января 2017 г., позволит сравнивать подобное с подобным, когда появятся референтные цены, говорит Елин.


#goszakaz

В то время как в России экспертная группа во главе с Абызовым не пропустила ни одной народной петиции собравшей более 100 тысяч голосов на портале Российской общественной инициативы [1], одновременно с этим в США вышел обзор "‘We the People’: Five Years of Online Petitions" [2] от Pew Research Center посвященный онлайн петициям.

Обзор сделан на детальнейшем API петиций на портале Белого дома [3] и их содержательного анализа. В целом это подробный и интересный обзор того как работает живая система петиций и того как она в дальнейшем воплощается в государственную политику.

Сейчас все гадают как изменится государственная политика в США в этой области с приходом Президента Трампа, впрочем ждать осталось недолго.

Ссылки:
[1] https://www.roi.ru/complete/
[2] https://www.pewinternet.org/2016/12/28/we-the-people-five-years-of-online-petitions/
[3] https://petitions.whitehouse.gov/developers

#opengov #petitions

Вышло новое исследование Open Knowledge Foundation о том как собирать данные от граждан и делать их полезными. Оно так и называется Making Citizen-Generated Data Work [1]. Авторы Danny Lämmerhirt, Shazade Jameson и Eko Prasetyo пишут о многочисленных примерах краудсорсинговых проектов которые создавали бы реальную конечную ценность для общества и авторов.

Исследование является совместным для Open Knowledge Foundation и проекта DataShift [2] помогающего НКО по всему миру собирать данные от граждан и создавать на их основе проекты.

Исследование рекомендую всем кто когда-либо исследовал того как собираются данные через краудсорсинг и задумывался о том в каких случаях это работает, а в каких нет.

Ссылки:
[1] https://blog.okfn.org/2016/12/22/new-report-making-citizen-generated-data-work/
[2] https://civicus.org/thedatashift/

#opendata #opengov

Для тех кто пишет научные и исследовательские работы на тему открытых данных рекомендую прочитать "Towards a Genealogy of Open Data" [1] это научная статья 2014 года написанная Jonathan Gray и посвященная истории появления терминов открытое государство и открытые данные, а также политическая история которая им предшествовала.

В 2012 году я также писал на эту тему публицистическую статью "Открытое государство. История и новый смысл" [2].

Рано или поздно, сразу после или прямо перед оставкой последнего федерального Правительства ревизия сделанного и несделанного будет проведена. И тогда будет время провести и смысловую ревизию, насколько оно отклонилось от изначальных приниципов и чем "открытость по российски" отличается от открытости в мире.

Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2605828
[2] https://polit.ru/article/2012/06/28/open_gov/

#opendata #opengov

Всех с наступившим 2017 годом!

В Монреале власти города решили организовать мониторинг трафика через 100 сенсоров Bluetooth на наиболее загруженных магистралях [1]. Непосредственно работу осуществляла компания Orange Traffic [2], а все данные передаются в Urban Mobility Management Center города.

Цифровизация существующей инфраструктуры меняет не только подход к мониторингу трафика, но и отношения между водителями и гос-вом. В Индии начали выдавать цифровые лицензии для водителей [3], а точнее дали возможность предъявлять полицейским данные со специального приложения Digilocker, вместо бумажной лицензии.


Ссылки:
[1] https://www.springwise.com/montreal-monitoring-city-traffic-via-drivers-bluetooth
[2] https://www.orangetraffic.com/en
[3] https://yourstory.com/2016/09/digilocker/

#opendata #opengov #digitalgov #driving #smartcity

84.8 миллиарда рублей долга только 858 крупных должников Газпром Межрегионгаз на ноябрь 2016 года [1]. При том что Газпром охватывает лишь 59 регионов - эти данные при сочетании с другими, особенно при регулярном их мониторинге, позволяют оценить масштаб внутренней задолженности в стране.

Агрегированные данные по регионам выложены на хаб открытых данных [2], а сам интерес к ним в том что рано или поздно вопросы огромного числа внутренних и внешних долгов в России станут одними из первоочередных и создание проекта "Страна долгов" или "Долговая Россия" уже сейчас возможно на этих данных, данных бюро кредитных историй, банков, списков должнников по ЖКХ и многому другому.

Ссылки:
[1] https://mrg.gazprom.ru/implementation/spisok-dolzhnikov/#list,by_amount
[2] https://hubofdata.ru/dataset/gazprom-mrg-debtors

#opendata #corporatedata #debts

Вышло большое исследование "How can we improve urban resilience with open data?" [1] посвященное использованию открытых данных для создания комфортной городской жизни. Исследование делалось в рамках проекта Open data for Development коллективом из команды Open North и все при поддержке Института откртыых данных Великобритании (Open Data Institute).

Основные выводы исследования можно прочитать в блоге ODI.

Вот лишь некоторые примеры из этого исследования:
- NYC Business Atlas - инструмент анализа бизнес-возможностей по районам Нью-Йорка, с информации о демографии, разрешениях на строительство и так далее.
- BuildingEye in San Francisco - гражданский проект с удобным интерфейсом для активистов для работы с данными о городской инфраструктуре
- The Open Data for Resilience Initiative - проект помогающий государственным властям взаимодействовать с сообществами по сбору данных

Другие примеры: Betaville, Greater Toronto Area Housing Action Lab, Digital Matatus, Dublin City Dashboard, District 2030, Civic Accelerator Programme

и многие другие. Исследование стоит внимательно прочтения, как минимум, из-за обилия живых примером.

Ссылки:
[1] https://drive.google.com/file/d/0B8BZxtR6WDBJcHYzallaZFNBRFU/view
[2] https://theodi.org/blog/improving-the-resilience-of-cities-using-open-data

#opendata #opengov #smartcity #cityresilence #urbandata

Компания Uber открыла проект Movement [1] в котором по запросу готова предоставлять данные о более чем 2 миллиардах поездках машин на Uber по всему миру. Подробнее о том как устроен их проект в ролике на Youtube [2] и, на русском языке, в заметке на Roem [3].

Резонный вопрос который может задать любой читатель этой новости в том зачем коммерческая компания будет предоставлять данные которые являются, в том числе, топливом на котором она строит свою бизнес модель. Ответ в том что для создания репутации и "торга" с властями городов по всему миру. Власти пытающиеся ограничить Uber получают в обратную сторону данные которых они так желают. Журналисты получают возможность ссылаться на Uber в своих data-расследованиях.

И да, конечно, Uber не единственный краудсорсинговый проект придерживающийся подобной политики. В основном его, конечно, реализуют общественные проекты такие как Wikipedia, OpenStreetMap, Dmoz и десятки других созданные некоммерческими организациями и общественными движениями. Но, также, подобная практика есть и у коммерческих компаний. Некоторые из них дают собственные данные, например, Google раздающий данные из своего Transparency report [4] или Citymapper призывающий власти публиковать больше открытых данных [5], [6].

Что можно сказать точно, так это то что крупные международные игроки куда больше вкладывают усилий в популяризацию работы, как со своими данными, так и в публикацию открытых данных властями, по сравнению с практически всем российским интернет-бизнесом. Не называя имен конкретных компаний, можно говорить о том что они лоббируют эксклюзивный доступ к госданным и не предоставляют их, ни пользователям, ни по запросу. В результате, рано или поздно окажется что единственный способ получить данные из некоторых российских компаний будет очень негуманным, лоббированием регулирования раскрытия ими информации через российских законодателей. Но этот способ борьбы с вампирами с помощью людоедов красивым никому не покажется.


Ссылки:
[1] https://movement.uber.com/cities
[2] https://www.youtube.com/watch?time_continue=5&v=bszvEIMVsIc
[3] https://roem.ru/09-01-2017/239968/uber-movment/
[4] https://www.google.com/transparencyreport/
[5] https://theodi.org/news/citymapper-government-open-data-improve-cities
[6] https://medium.com/citymapper/building-a-city-without-open-data-124356672deb

#opendata #opengov #citydata #uber #ubermovement