Свежий отчёт от Civicus "Changing what counts" https://blog.okfn.org/2016/03/03/changing-what-counts/ о том как сбор данных людьми меняет принципы официальной статистики и официальных способов сбора данных. Это не первый подобный отчёт. Не так давно выходил "A world that counts. Data revolution report" от ООН https://www.undatarevolution.org/report/ и другой отчёт Civicus “Citizen-Generated Data and Governments: Towards a Collaborative Model” https://civicus.org/images/citizen-generated%20data%20and%20governments.pdf а также “Democratising the Data Revolution” от OKF https://assets.okfn.org/files/reports/DemocratisingDataRevolution.pdf

#opendata #civicdata
(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)

Пример проекта на журналистике данных "The migrant files" https://www.themigrantsfiles.com/ с охватом масштабов миграционных потоков, расходов евросоюза и количества разрегистрированных смертей мигрантов. Координируется проект командой из Journalism++ https://www.jplusplus.org/ Лично для меня этот проект наглядное подтверждение тому что сейчас вопрос стоит так что журналистика данных должна быть не просто частью обучения журналистов, а так что обучение журналистов без неё станет просто невозможным. То что я смотрю по образовательным программам в этой области в США и Европе, там идёт активнейшая трансформация обучения в сторону "технологической журналистики" по умолчанию. #opendata #ddj

(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)

Работа исследователей из GA Tech о том что разработчики мобильных приложений, в силу специфики платформ, получают доступ к содержанию мобильной рекламы которую они транслируют. Как результат, они имеют возможность с высокой вероятностью идентифицировать информацию о человеке. С вероятностью 75% пол и с вероятностью 66% наличие детеей. А также возраст, политические предпочтения и многое другое. https://www.news.gatech.edu/2016/02/22/georgia-tech-discovers-how-mobile-ads-leak-personal-data #privacy

Те кто лгут чаще делают движения руками, пытаюстся говорить более четко и заглядывают в глаза тому с кем разговаривают. Это лишь одни из критериев по которым работает специальное ПО разработанное исследователями Университета Мичигана на основе анализа 120 видеозаписей судебных заседаний и сопоставления выступления свидетелей с реальными результатами дела где их слова подтверждались или опровергались. Это почти как кодификация "трюков" из фильма "Lie to Me" с Тимом Ротом в главной роли, но вместо него умный алгоритм. Главное отличие от технологий вроде полиграфа в том что анализ можно проводить не имея физического доступа к субъекту, на основе видеозаписей. Подробнее https://record.umich.edu/articles/new-lie-detecting-software-u-m-uses-real-court-case-data

Это интересная технология и вплотную подбирающаяся к вопросам приватности и дополненной реальности. Предположим алгоритмы распознавания будут встроены в VR интерфейсы дополненной реальности. Это может моментально изменить целый пласт социальных отношений. От выявления лжи прямо в разговорах, до ложных обвинений тех кто просто всегда так разговаривает. #privacy

Подробная публикация от International Budget Partnership о таком явлении как "социальный аудит" когда организации некоммерческого сектора проводят внешний аудит деятельности органов власти.
Вот тут подробности https://www.internationalbudget.org/2016/03/social-audits-in-south-africa-can-they-deliver/ и ссылка на подробный гайд https://www.internationalbudget.org/wp-content/uploads/social-audits-in-south-africa-guide-2015.pdf

Я писал об этом в статье "От общественного контроля к общественному аудиту" https://www.vedomosti.ru/opinion/articles/2016/02/11/628492-ot-obschestvennogo-kontrolya-obschestvennomu-auditu

Это гораздо более правильная история чем просто отслеживать "странные закупки", потому что она о том насколько представители государства сами соблюдают законы. И там есть много примеров из южной африки когда активисты обошли множество общественных туалетов и сопоставили списки на бумаге и те что реально работали и сопоставили сметы сколько государство выделяло средств. Много других примеров я приводил в статье и в нашем докладе https://www.infoculture.ru/wp-content/uploads/2016/01/public_control_2015.pdf


#opendata #opengov #publicfinances

данные переписи как фундамент общественных проектов в инициативе президента США The Opportunity Project https://opportunity.census.gov/

Подробнее в видео Белого дома https://www.youtube.com/watch?v=rwES25_sL0E и публикации https://www.whitehouse.gov/the-press-office/2016/03/07/fact-sheet-white-house-launches-opportunity-project-utilizing-open-data

Там уже есть с десяток проектов и скоро явно будет больше. Все посвящённые гиперлокальным данным.

Как получается что граждане создают такие проекты? Как им это удаётся?

Например, одна из причин в появлении CitySDK https://uscensusbureau.github.io/citysdk/

специального ПО для работы с геоданными и использующем Census API (программный интерфейс для доступа к данным переписи).

Вдогонку:
- репозитории открытого кода бюро переписи США https://github.com/uscensusbureau
- API бюро переписи США https://www.census.gov/developers/

Возможно ли подобное в России? А на этот вопрос предлагаю каждому ответить для себя самостоятельно.


#opendata #opengov #census

Результаты исследования и оценки проектов по бюджетам соучастия (participatory budgeting) в США и Канаде https://www.publicagenda.org/pages/research-and-evaluation-of-participatory-budgeting-in-the-us-and-canada . Партисипаторное бюджетирование - это одна из важнейших тем в открытости бюджетов государства, но лично я считаю её вторичной к гражданскому/общественному аудиту. А, в некоторой идеальной конфигруации, они должны друг друга дополнять #opengov #publicfinances #budgets

В MIT разработали технологию Polaris для ускорения загрузки веб-страниц путём приоритизации объектов на странице и загрузке их по мере необходимости для визуализации браузером https://techcrunch.com/2016/03/09/mit-develops-a-new-technique-to-load-webpages-faster/ и прогнозируют более чем 30% ускорение.

Я давно и долго думал над тем как можно было бы ускорить загрузку ресурсов и оптимизировать работу с сайтами, но все самые радикальные изменения требуют изменений к которым нынешние разработчики сайтов и браузеров не готовы.

1. Создание внутреннего CDN внутри браузера
Эдакого "доверенного хранилища" для браузера в котором хранить наиболее популярные библиотеки скриптов разных версий и другие используемые ресурсы.
Добавление в доверенное хранилище только после модерации разработчиками браузера.

Плюсы: уменьшение загрузок библиотек, большая мотивация разработчиков к использованию данных именно оттуда

Минусы: меньше возможностей отслеживать пользователей, возможное увеличение потребления RAM

2. Push уведомления при изменениях в DNS
Изменение взаимодействия с DNS серверами от постоянных запросов на разрешение имён к передаче Push уведомлений изменений в DNS наиболее популярных сайтов.

Плюсы: снижение числа запросов к DNS серверам при просмотре веб-страниц

Минусы: нарушается архитектура DNS, требуется повышенный акцент на безопасности для того чтобы не воспользовались этим механизмом злоумышленники

---
Плюс многое можно добавить путём микропрогнозирования того куда пользователь может захотеть пойти при посещении сайта, но не путём обращений к этим ресурсам, а получения push уведомлений от самих ресурсов.

Более всего меня удивляет именно отсутствие CDN'а внутри браузера. Это кажется абсолютно естественным явлением, странно что Google до сих пор не добавил это в Chrome.

Демократическими выборами можно манипулировать с помощью выдачи в поисковых системах, такой вывод содержится в работе Robert Epstein and Ronald E. Robertson "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections" опубликованной в августе 2015 года https://www.pnas.org/content/112/33/E4512.full.pdf в работе приходят к выводу что тот факт что поисковые системы сейчас не регулируются приводится к возможности манипуляцией мнением людей и это приводит к существенной угрозе демократически проводимым выборам. В качестве мрачного предсказания, если оппозиция в России продемонстрирует высокий шанс выиграть выборы или даже где-то выиграют не прогосударственные кандидаты, то стоит ждать аналогичных исследований и ускоренного введения регулирования в России.

Если у кого-то есть зуб на Яндекс, то достаточно провести аналогичное исследование в России (обойдётся в несколько сотен тысяч рублей максимум, а скорее дешевле) и ужесточение регулирования станет ещё более неизбежным.

#government #elections #publicpolicy #seme

== О рейтингах и тех кто их делает ==
Когда в публичном пространстве появляется какой-либо новый/обновленный старый рейтинг чего бы то ни было, компаний, школ, бензоколонок или официальных сайтов, то прежде чем его цитировать, очень важно понимать кто эти рейтинги составляет и с какой целью они составляются.

А этих целей не так уж много и все они вполне понятны.

Цель первая. Влияние

Это рейтинги которые, как правило, создаются некоммерческими структурами в целях продвижения и развития какой-либо темы. Главные отличительные характеристики таких рейтингов:
a) У организации есть отдельный, не зависящий от объектов рейтинга, бюджет на его проведения
б) У организации есть тема, направление деятельности которую она считает жизненно важной и приоритетной.

Пример такого рейтинга, рейтинг Transparency по восприятию коррупции. Объектами оценки являются правительства стран (страны), при этом финансируется он из независящих от объектов стран источников и является одним из инструментов освещения антикоррупционной политики по всему миру.

Главными адресатами таких рейтингов являются доноры некоммерческих организаций. Результативность рейтинга можно измерить в медийном освещении и в упоминаемости в речах представителей рейтингуемых объектов

Цель вторая. Управление

Зачастую одни органы власти очень хотят влиять и управлять другими, но в силу многих причин напрямую не могут этого сделать. Особенно это относится к разным уровням власти. Поэтому, периодически, возникают рейтинги оценки, внутренних подразделений органов власти или же смежных органов власти другими в целях, например, изменения уровня их вовлечённости в госполитику в какой-то области.

Главными характеристиками таких рейтингов является:
1) Рейтингование от лица органа власти или окологосударственной организации.
2) Использование результатов рейтинга как инструмента государственного управления с последующим поощрением и наказанием лучших и худших объектов рейтингования

Примером такого рейтинга можно привести рейтинг финансового менеджемента Минфина где они рейтингуют другие ведомства по тому насколько те соблюдают сроки подготовки бюджетных заявок, бюджетную дисциплину и так далее.

Аудитория такого рейтинга - это лица принимающие решения. Результативность их измерить сложнее, можно лишь по мере «роста» рейтингуемых в самом рейтинге.

Цель третья. Продажа экспертизы и сопутствующих услуг и товаров

Это не редкие рейтинги выпускаемые как коммерческими компаниями, так и НКО. Их цель демонстрация себя как мозговых центров или центров экспертизы или продуктов коммерческих компаний.

Например Open Knowledge Foundation (OKF) проводит проводит перепись и рейтингование стран по открытию данных их правительствами. При этом OKF оказывают консультации органам власти по внедрению платформы CKAN и, например, помогают правительству Великобритании в поддержке data.gov.uk на коммерческой основе.

Это рейтинг и влияния и продажи экспертизы.

Аналогичным образом делают рейтинги такие организации как EIRIS (Country Sustainability Ratings) и их цель заявить свою экспертизу через вброс в медиа рейтинг по их профилю.

Эти рейтинги характерны тем что:
1) Осуществляются игроком на рынке
2) Максимально публичны и изначально нацелены на популярность

Аудитория здесь максимально широкая. Результативность в частоте просмотров и упоминаний.

Цель четвёртая. Продажа консалтинга роста в позиции в рейтинге

Это наименее приличный вид рейтингов, проводимых как НКО, так и коммерческими компаниями с целью последующей продажи консалтинговый услуг объектам рейтингования по повышению себя в рейтинге.

Это самый распространённый вид рейтингов который только можно встретить и наименее доверительный поскольку де-факто рейтингующая организация преследует свои коммерческие цели, а не цели изменения экосистемы или среды. Единственное что может повысить доверие к подобному рейтингу - это наличие конкретных людей с безупречной репутацией. Но они то как раз в таких рейтингах не участвуют.

Такие рейтинги отличаются тем что:
1) Организации их публикующие активно указывают свои контакты для обратной связи везде где м

огут в самом рейтинге
2) Услуги предоставляемые организацией даже по названиям очень близки к названию рейтинга.
3) Организация не имеет других значимых источников дохода кроме как консалтинга
4) Чаще всего рейтинг публично подаётся не как рейтинг ООО ИксИксИкс, а как рейтинг Проекта ИгрекИгрекИгрек

Вот такие 4 классификации являются самыми распространёнными. Под них подпадают практически все ренкинги и рейтинги.
Лично для меня 4-й вид цели рейтинга, сравним с профессиональным преступлениям. По этой причине я столь критично отношусь к рейтингам прозрачности госсайтов от Инфометра (ранее - Институт свободы информации), потому что знаю количество их контрактов заключёнными с субъектами их рейтингов именно на консалтинг. Но одни ли они такие? Безусловно нет.

#ratings #thoughts

Такие рейтинги отличаются тем что:
1) Организации их публикующие активно указывают свои контакты для обратной связи везде где могут в самом рейтинге
2) Услуги предоставляемые организацией даже по названиям очень близки к названию рейтинга.
3) Организация не имеет других значимых источников дохода кроме как консалтинга
4) Чаще всего рейтинг публично подаётся не как рейтинг ООО ИксИксИкс, а как рейтинг Проекта ИгрекИгрекИгрек

Вот такие 4 классификации являются самыми распространёнными. Под них подпадают практически все ренкинги и рейтинги.
Лично для меня 4-й вид цели рейтинга, сравним с профессиональным преступлениям. По этой причине я столь критично отношусь к рейтингам прозрачности госсайтов от Инфометра (ранее - Институт свободы информации), потому что знаю количество их контрактов заключёнными с субъектами их рейтингов именно на консалтинг. Но одни ли они такие? Безусловно нет.

#ratings #thoughts

Обновился портал открытых данных Всемирного банка https://beta.data.worldbank.org/ там ещё и много систематизированного по тому что Всемирный банк делает в этой области в мире. У них немало данных и все они становятся всё более доступными #opendata #opengov

Чарльз Фишман в колонке "Water is broken. Data can fix it" в The New York Times пишет о том как плохо устроены данные в воде в США и то что они собираются раз в 5 лет небольшой группой исследователей путём опросов недостаточно для умного регулирования использования воды и предотвращения кризисов в связи с её использованием. В пример он приводит энергетическую отрасль где высокая доступность данных чуть ли не в реальном времени позволяет изменить госполитику. Для воды эта политика может изменится в 3-х направлениях: формирование спроса на качественные данные, изменение принципов потребления воды, создание инновационного рынка. Подробнее https://www.nytimes.com/2016/03/17/opinion/the-water-data-drought.html

Лично по мне так безусловно существующие сейчас способы сбора данных в современных государствах всё ещё очень архаичны. Меня поразило что в на коллегии Росстата я не услышал ни слова о технологизации сбора информации. Фактически, по прежнему, автоматизируют только труд переписчиков и то только путём покупки им "защищённых планшетов". #opendata #data #water

Государственная политика в США в области открытого исходного кода https://sourcecode.cio.gov/ Просто удивительно сколько правительства стран за последние годы раскрыли исходного кода. В лидерах США, Великобритания, Канада и англоязычные страны (англосфера) целиком. В России уже сложились группы добивающиеся от государства открытия данных и свободных лицензий (общественного достояния), но, на удивление, слабо представлено open source сообщество. #opensource

отдельный портал/сайт с открытыми данными Администрации Президента США https://open.whitehouse.gov/
Много данных о подотчетности, например, о зарплатах и статусе сотрудников аппарата, о вносимых бюджетах, об отчетах в конгресс, о назначениях и не только.
#‎opendata

Хорошую идею придумали ребята из Plume Labs, повесить голубям на спину ранцы с датчиками загрязнения воздуха и выпустить над Лондоном https://www.pigeonairpatrol.com/ и они же собирают на него средства https://www.crowdfunder.co.uk/crowdsource-air-pollution-in-london #opendata #sensors #IOT

О том что правительство США собирается публиковать больше данных о рабочей силе и об образовании https://www.huffingtonpost.com/dj-patil/open-data-can-transform-j_b_9375960.html и о том как это изменит рынок труда и создаст инструменты для career decision-making.

Что ещё важнее, они создатут Workforce Data Science and Innovation Fund на 500 миллионов долларов.
Кстати, в США идёт кампания по повышению качества данных об образовании и о рабочей силе https://www.workforcedqc.org/

#opendata