Чарльз Фишман в колонке "Water is broken. Data can fix it" в The New York Times пишет о том как плохо устроены данные в воде в США и то что они собираются раз в 5 лет небольшой группой исследователей путём опросов недостаточно для умного регулирования использования воды и предотвращения кризисов в связи с её использованием. В пример он приводит энергетическую отрасль где высокая доступность данных чуть ли не в реальном времени позволяет изменить госполитику. Для воды эта политика может изменится в 3-х направлениях: формирование спроса на качественные данные, изменение принципов потребления воды, создание инновационного рынка. Подробнее https://www.nytimes.com/2016/03/17/opinion/the-water-data-drought.html

Лично по мне так безусловно существующие сейчас способы сбора данных в современных государствах всё ещё очень архаичны. Меня поразило что в на коллегии Росстата я не услышал ни слова о технологизации сбора информации. Фактически, по прежнему, автоматизируют только труд переписчиков и то только путём покупки им "защищённых планшетов". #opendata #data #water

Государственная политика в США в области открытого исходного кода https://sourcecode.cio.gov/ Просто удивительно сколько правительства стран за последние годы раскрыли исходного кода. В лидерах США, Великобритания, Канада и англоязычные страны (англосфера) целиком. В России уже сложились группы добивающиеся от государства открытия данных и свободных лицензий (общественного достояния), но, на удивление, слабо представлено open source сообщество. #opensource

отдельный портал/сайт с открытыми данными Администрации Президента США https://open.whitehouse.gov/
Много данных о подотчетности, например, о зарплатах и статусе сотрудников аппарата, о вносимых бюджетах, об отчетах в конгресс, о назначениях и не только.
#‎opendata

Хорошую идею придумали ребята из Plume Labs, повесить голубям на спину ранцы с датчиками загрязнения воздуха и выпустить над Лондоном https://www.pigeonairpatrol.com/ и они же собирают на него средства https://www.crowdfunder.co.uk/crowdsource-air-pollution-in-london #opendata #sensors #IOT

О том что правительство США собирается публиковать больше данных о рабочей силе и об образовании https://www.huffingtonpost.com/dj-patil/open-data-can-transform-j_b_9375960.html и о том как это изменит рынок труда и создаст инструменты для career decision-making.

Что ещё важнее, они создатут Workforce Data Science and Innovation Fund на 500 миллионов долларов.
Кстати, в США идёт кампания по повышению качества данных об образовании и о рабочей силе https://www.workforcedqc.org/

#opendata

О бизнесе на открытых данных.
Motorola Solutions и Socrata работают над обновлением портала CrimeReports где объединяют:
- открытые данные о преступлениях
- сообщения от граждан о сведениях о преступлениях
- зарегистрировать камеру
- дополнительные сервисы для полицейских управлений
Новая версия портала доступна https://preview.crimereports.com
Кстати, у Motorola Solutions в принципе много продуктов в направлении вовлечения граждан и самое что ни на есть актуальное - это анонимки со сведениями о преступниках и других наводках https://www.motorolasolutions.com/…/citizen-eng…/tipsoft.html
#‎opendata

Свежий рейтинг стран по открытости данных https://odin.opendatawatch.com/ на сей раз данных официальных статистических ведомств. Россия на 7-м месте, а в лидерах Мексика, Молдавия и Монголия. При этом оцениваются только развивающиеся страны поэтому, конечно, стран Евросоюза, ОЭСР и др. там нет. Всё это делает Open Data Watch (https://opendatawatch.com/about/) на деньги от UN Foundation вместе с проектом https://data2x.org/ и Фонда Хьюлета которые выдали им чуть меньше чем 2 миллиона долларов на операционные расходы в 2015 году на 3 года. С точки зрения развития открытых данных в мире - это хорошо, тема развивается в повестке ООН и других межгосударственных и международных организаций. #opendata #opengov #un

Европейские чиновники открыли не так давно портал открытых данных Евросоюза https://www.europeandataportal.eu/en и пишут о нём подробнее https://theodi.org/blog/guest-post-europes-onestop-shop-for-public-sector-information-is-on-the-move кроме самих данных там несомненную ценность представляют обзоры и отчёты об использовании данных https://www.europeandataportal.eu/en/content/training-library/library но, в целом, конечно. Онлайн ресурсы евросоюза по забюрократизированности и неудобству уступают только ресурсам ООН. Хочется найти там что-то полезное и светлое, а надо перерыть множество документов прежде чем это сделать. #opendata #opengov

смотрю на то что в Украине делаю по прозрачности госзакупок и госрасходов, их проекты prozorro.gov.ua и spending.gov.ua
Первый очень хорошо выглядит и по смыслу, и по архитектуре и по открытости. Взяли за основу Open Contracting Data Standard и активно делают в режиме открытой разработки https://github.com/openprocurement и даже с некоторой претензией на создание универсальной платформы для e-Procurement
Со spending.gov.ua - похуже, данных маловато и они не в формате открытых данных, хотя и видно что уже есть те кто оттуда их "выковыривает"
Самые заметные отличия по сравнению с раскрытием данных в России:
- гораздо меньше контрактной информации чем в России. Фактически сейчас её пока просто нет, только протоколы торгов и транзакции.
- мало информации идентифицирующей поставщиков
- "информационные разрывы" между данными бюджета, планами закупок, торгов и транзакций. В транзакциях нет бюджетных кодов, например
- нет систематизированных реестров бюджетов получателей бюджетных средств аналогичных российским реестрам госучреждений
С другой стороны:
- есть практика раскрытия даже очень малых транзакций (в России такого нет)
- множество НКО и активистов делают сейчас проекты по анализу госраходов и проектов будет только больше, похоже что скоро там будет расцвет общественных проектов в этой области
- с самого начала идет практика не только открытых данных, но и открытой разработки
#‎opendata #‎openprocurement #‎ukraine

Что очень странно так то что около 1-3% email адресов госорганов Украины по прежнему на хостингах mail.ru и yandex.ru . Не такой масштаб как в России, но заметный.
#opendata

Похоже что #panamapapers по масштабам раскрытия превзойдёт Wikileaks и все предыдущие утечки документов. Сразу несколько проектов https://panamapapers.sueddeutsche.de/en/ , https://www.occrp.org/en/panamapapers , https://panamapapers.icij.org и, наконец, визуализация, static.fusion.net/shell-companies/network.html одно очень жаль что сами датасеты они не публикуют. #opendata #leaks

Кто-то выложил в интернет базу по 50 миллионам жителям Турции https://185.100.87.84/ и это очень серьёзная история. Посмотрите на то какой небольшой это объём в чистых данных. Всего 1.5 гигабайта в сжатом виде и то какие последствия это может произвести. #opendata #privacy #leaks

Депутат Яровая и сенатор Озеров предлагают законопроект обязывающий провайдеров 3 года хранить переписку пользователей и телефонные звонки https://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=1039149-6

Выглядит это так
---
Статья 7
Пункт 1 статьи 64 Федерального закона от 7 июля 2003 года № 126-ФЗ
«О связи» (Собрание законодательства Российской Федерации, 2003, № 28,
ст. 2895) изложить в следующей редакции:
«1. Операторы связи обязаны хранить на территории Российской
Федерации в течение трех лет информацию о фактах приема, передачи,
доставки и (или) обработки голосовой информации и текстовых сообщений,
включая их содержание, а также изображения, звуки или иные сообщения
пользователей услугами связи и предоставлять уполномоченным
государственным органам, осуществляющим оперативно-разыскную
деятельность или обеспечение безопасности Российской Федерации,
указанную информацию, информацию о пользователях услугами связи и об
оказанных им услугах связи и иную информацию, необходимую для
выполнения возложенных на эти органы задач, в случаях, установленных
федеральными законами.».
---
Что это будет означать на практике? Появится закон или подзаконный акт который расширит реестр операторов связи на сервисы почты и социальные сети и мессенжеры. После чего обяжет всех кто их делает и предоставляет быть зарегистрированными в данном реестре. После чего начнут блокировать "незарегистрированных операторов связи". Сделают это за 2-3 года максимум.

PublishWhatYouFund публикуют очередной годовой индекс открытости данных о межгосударственной помощи развивающимся странам. Aid Transparency Index https://ati.publishwhatyoufund.org/

Лидирует там UNDP, а плохие результаты у 5 национальных агентств.

На каком уровне там Россия? Россия вне категорий! Россия не оказывает помощи развивающимся странам и у нас нет агентства международного развития. Вместо него эти функции возложены на Россотрудничество, но оно не публикует никаких данных в стандарте IATI https://iatistandard.org/ в отличии от 398 организаций https://iatiregistry.org/publisher по всему миру

#opendata #opengov

Конгресс США рассматривает возможность введения правила "открытые данные по умолчанию" для федеральных органов власти США https://sunlightfoundation.com/blog/2016/04/14/congress-to-consider-making-open-data-the-default-in-federal-government/ #opendata #opengov

Это хорошая новость. Плохая новость в том что в России пока ничего подобного и не предвидится.

Department of Homeland Security в США выдал свои комментарии к предложению публиковать исходный код подрядчиков по госконтрактам. Вот тут подробности https://github.com/WhiteHouse/source-code-policy/issues/152# Самый убийственный довод, самый первый
---
Government-specific examples: citizenship anti-fraud rules that are coded into software, identification of special codes used to flag law enforcement actions, APT threat indicator scripts, Mafia having a copy of all FBI system code, terrorist with access to air traffic control software, etc. How will this be prevented?
---
Все силовые органы во всём мире одинаковые. А комментарию про мафию просто прекрасен #‎opendata
Ну а тем временем, просто на заметку. Пока в России играют в импортозамещение, причём играют крайне криво и непоследовательно. Тем временем в США во всю внедряют Federal Source Code Policy https://github.com/WhiteHouse/source-code-policy

Очень интересный отчёт Government Accountability Office в США о том как можно экономить средства при госрасходах https://www.gao.gov/assets/680/676473.pdf если сравнить его с отчётами аналогичными в России, то просто небо и земля. А в контексте управления данными - они же пишут про многочисленные проблемы в том как органы власти с данными работают #government #opengov #opendata

В Китае создают так называют "pre-crime network" обеспечивающую predictive policing, предсказание возникновение криминальных инцидентов и других нарушений общественной безопасности об этом пишет Telegraph https://www.telegraph.co.uk/technology/2016/03/09/minority-report-style-technology-to-predict-crime-in-china/ со ссылкой на мартовскую статью в Bloomberg https://www.bloomberg.com/news/articles/2016-03-03/china-tries-its-hand-at-pre-crime

В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно https://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.

 Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol https://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года https://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития

Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice