Свежая статья вышла в Ведомостях о плане прокуратуры по антикоррупционным мерам в госзаказе [1] мер там предлагается немало и вчера на Общественном телевидении я выступал [2] с комментариями к этой инициативе.

Проблема в том что конфликты интересов не получится разрешить простым образом. Многие госзаказчики и их сотрудники не просто берут взятки, они буквально интегрированы в коммерческие отношения. Нет ситуации когда _даются откаты_, чиновники сразу отдают контракты своим компаниям. Это уже не коррупция, это системная проблема.


Ссылки:
[1] https://www.vedomosti.ru/economics/articles/2016/08/01/651194-genprokuratura-predlozhila-iskat-konflikt-interesov-zakupkah
[2] https://www.otr-online.ru/programmi/segodnya-v-rossii-27580/genprokuratura-utverdila-plan-57063.html

#goszakaz #procurement

Для кто ищет вдохновения в создании проектов на открытых данных я могу посоветовать взглянуть на проекты сделанные в ODI Leeds [1]

Лично мне особенно нравится приложение Population Change. Довольно радикальное решение в том чтобы уровнять все районы в размере и показывать их шестиугольниками, но оно оказывается удобным для восприятия.

А также визуализация неравенства и сравнение территорий по неравенству «Inequality in the UK» [3]

Ссылки:
[1] https://odileeds.org/projects/
[2] https://tomforth.co.uk/wardexplorer/?options=true&location=leeds&data=population
[3] https://tomforth.co.uk/incomebymsoa/

#opendata #opengov

Я на днях уже комментировал Известиям то что Яндекс лоббирует создание "единого реестра остановок" https://izvestia.ru/news/625185 и прокомментирую это дополнительно.

Причём начну издалека. Что мне лично не нравится в нашем обществе сейчас - это культ насилия. Всего его боятся, но сколь многие его жаждут в отношении других. Фразы типа "Сталина на вас нет" и "только расстрелы спасут родину" и призывы казнить "коррупционеров/педофилов/либералов/мракобесов" и тд, всё это звучит постоянно. Ожидание насилия и призывы к нему стали нормой, причём у тех кто, на самом деле, никогда не захочет чтобы это насилие применили к ним самим. Призывают те кто хочет осуществить это насилие чужими руками и, по возможности, абстрактно-обезличнными руками государства.

То что хочет Яндекс с "единым реестром остановок" - это точно такой же призыв к насилию, к насилию федеральной власти над муниципальной, это как и если бы призывать федеральной власти бить и насиловать муниципалитеты по ещё одной, кроме остальных 100500 причин.

Уже сейчас в России есть устоявшаяся практики "технологической унитаризации" когда федеральная власть относится к местному самоуправлению как к подчиненной массе организаций и принуждает их работать в федеральных информационных системах не убеждением и соглашениями, а прямыми насильственными действиями - вначале принимая федеральные законы которые устанавливают общие для всех информационные системы и сразу наделяя федеральное правительство полномочиями устанавливать правила эксплуатации этих систем.

Это именно что форма насилия поскольку далее задействуются механизмы принуждения муниципалитеты и муниципальные организации работать именно через них. Муниципальные служащие всё меньше управляют собственным временем, возможностями, ресурсами, бюджетами и всё более становятся просто низшим звеном государственной власти. Уже даже не губернаторы имеют влияние на муниципалитеты, всё чаще федералы лезут в муниципальные дела напрямую, без прокладки в виде субъектовых властей.

Заставить все муниципальные органы власти и учреждения заносить информацию в ещё одну государственную информационную систему - это чистый и незамутнённый призыв к насилию. Потому что иначе как насилием и принуждением муниципалитеты не начнут публиковать там данные.

Тот же Google после разработки стандарта публикации данных о дорожной инфраструктуре и маршрутах GTFS вот уже много лет занимается убеждением органов власти и транспортных компаний в необходимости публикации этих данных. За эти годы они сформировали большую экосистему и поддержали немало проектов по работе с GTFS во всемя Google Summer of Code в 2015 и 2016 годах как минимум.

GTFS нигде не является обязательным стандартом, им пользуются потому что им пользуются - работа с ним идёт через убеждение. Это позиция лидера, а не позиция мстительной жертвы обстоятельств.

Яндекс же сейчас выступает в роли потребителя и лоббиста институционализированного насилия. Для компании которая не вкладывает ресурсов в поддержания сообществ по открытому коду, открытым данным и общественному достоянию - это позиция которая не найдет общественной поддержки совершенно точно. Яндекс не откроет данных даже закрываемых им проектов, втихую передаст базу поиска для Livejournal Роману Иванову, уйдёт от всех ответов и не вложит ни толики усилий в формирование экосистемы от которой они бы и сами выиграли.

Ну а причина этого проста. Это дефицит той самой культуры открытости который с большим трудом преодолевается внутри нашего государства и с ещё большем трудом будет преодолеваться внутри data-корпораций.

Тут важно помнить что создание новых и поощрение старых "институтов принуждения" не заканчивается ничем хорошим. Когда их существование становится привычным - они могут быть обращены и на их самых активных пользователей. Инициативы по принуждению интернет-компаний к раскрытию данных не начались в России, но, как ни странно, то когда они появится у них будут лоббисты при, привычной уже, неготовности отрасли к грядущим событиям.

#opendata #opengov

Как зарабатывать на открытых данных? Можно ли их монетизировать и как сделать это быстро? Какие есть примеры проектов на открытых данных?
Эти вопросы возникают сами и поднимаются участниками каждой из встреч с разработчиками, хакатонах и онлайн форумах и чатах.

Невозможно ответить кому либо на чём _он[-а] лично_ может зарабатывать на открытых данных, вообще не стоит ждать ответов на вопросы - «Как мне заработать деньги на том-то и том-то?». Те кто уже зарабатывает на эти вопросы отвечать не будут, профессиональные консультанты запросят денег, а остальные будут тыкать пальцем в небо.

Заработок на открытых данных как и на любых других стартапах - это смесь компетенций основателя(-ей) и готовность среды к восприятию создаваемого продукта. Те кто знают как работать с открытыми данными или данным вообще могут дать ответы на то где данные взять, их нюансы и особенности, но не расскажут бизнес-идею.

Так где же искать источники бизнес идей? Во первых, безусловно, в собственном опыте. Во вторых в тех проектах которые уже были созданы за последние годы и которые успешно монетизируют, и сами открытые данные, и технологии работы с ними.

Примеры таких проектов:
- ODINE Companies [1] компании получившие поддержку инкубатора ODINE (Open Data Incubator Europe). Примеры: Farm Dog [2], OpenSensors [3] и OpenLaws [4].
- OpenData500 [5] в этом проекте от TheGovLab собрано по 500 проектов по 6 странам: США, Канада, Австралия, Мексика, Корея, Италия.
- AngelList включает 47 компаний-стартапов по теме «Open Data» [6]

И буквально тысячи других компаний которые даже не знают про термин «открытые данные». Они просто извлекают данные с сайтов органов власти и используют их в своих продуктах.

Итого: можно ли зарабатывать на открытых данных? Да, безусловно это возможно, но не стоит ждать что кто-то за вас придумает то как именно лично Вы это сделаете. Никто за Вас не проживёт Вашу жизнь и не придумает как именно Вы будете зарабатывать, но если Вы загорелись идеей и уже точно не отступите, то Вы всегда сможете найти совет о том где взять данные и как с ними работать.

Ссылки:
[1] https://opendataincubator.eu/companies/
[2] https://farmdog.ag
[3] https://www.opensensors.io
[4] https://openlaws.com
[5] https://www.opendata500.com
[6] https://angel.co/open-data-3

#opendata #opengov

В следующую субботу 13 августа, пройдет спринт в совершенно новом формате в отличие от всех предыдущих хакатонов.

В спринте не надо будет долго выбирать и придумывать себе задачи. Надо будет брать из большого списка готовых и _очень быстро_ их реализовывать и так шаг за шагом. Таких минизадач, очень конкретных, очень детальных будет много.

У Вас будет возможность научиться быстро программировать мини-проекты и сделать их много. Очень много.

В этот раз я буду не ходить и всем подсказывать, а возглавлю одну из команд и буду активно делать проекты вместе со всеми, но, поскольку я член жюри BudgetApps'а, то подавать их потом буду не я и я за них голосовать не буду - потому что это называется "конфликт интересов".

Итак, команды ещё формируются, я один из капитанов, готов взять до 4-х человек максимум. Обязательное требование - умение программировать. Python, Ruby, R, Javascript и тд.

Зарегистрироваться можно тут
https://leader-id.ru/event/2653/

Связаться со мной по поводу участия в команде или задать вопросы можно в телеграм’е @ibegtin или в чате @begtinchat

#opendata #opengov #budgetapps #госфинансы

В Ведомостях вышла моя заметка про генетическую дискриминацию.
https://www.vedomosti.ru/opinion/articles/2016/08/08/652204-geneticheskaya-diskriminatsiya

Тема актуальная и напрямую завязана на персональные данные и не только. Например, Ваш родственник проходя расшифровку его генома раскрывает и Ваши персональные данные тоже, без учёта Вашего мнения.

#‎bigdata #‎privacy

Electronic Frontier Foundation выпустили пресс-релиз о том как государственные хакеры взламывают почту активистов, журналистов и политиков в Казахстане [1]. В этом тексте и в более подробном исследовании [2] подробно описывается операция «Манул» где описывается и то как хакеры получают доступ к компьютерам и переписке и то что они, с высокой вероятностью, являются наёмниками и выполняют работы на заказ.

Удивительно ли то что государства привлекают хакеров для решения своих «непубличных задач» ? Это не удивительно, можно ожидать что различные группы интересантов в государствах и корпорациях будут прибегать к подобной практике ещё не раз. Это всё более напоминает о том что приватность переписки, социальной жизни и всего что происходит в сети - это наше право и отвественность перед самими собой.

Ссылки:
[1] https://www.eff.org/press/releases/malware-linked-government-kazakhstan-targets-journalists-political-activists-lawyers
[2] https://www.eff.org/files/2016/08/03/i-got-a-letter-from-the-government.pdf

#security #privacy

В мае 2016 года в Великобритании государственное агентство CMA (Competition and Market Authority) выпустило набор предложений по развитию банковской системы. В эти предложения, помимо прочего, входит предложение обязать банки реализовывать открытые API для доступа к их сервисам и данным [1]. Это предлагается к реализации в форме open API banking standard.

В мае были выпущены промежуточные рекомендации в 400 страничном PDF отчёте [2], а в начале августа появился полный отчёт [3] который включает не только вопросы открытости API, но и многие другие, включая измерение качества работы банков.

Полный комплект документов публичных консультаций доступны на специальном разделе портала gov.uk [4]

Напомню что работа над стандартом открытости банков в Великобритании идёт уже не первый год и ранее на сайте The Open Data Institute уже публиковались материалы по разработке Open Banking Standard [5] и работе Open Banking Working Group (OBWG) в целом [6].

И, кстати, о британской модели разработки стандартов. Участники этой группы _платят_ за возможность быть спонсорами разработки этого стандарта. У ODI есть спонсорский ценник на участие в OBWG [7] который начинается от 50 тысяч фунтов (4.15 миллиона рублей), но не ниже 5 тысяч фунтов (415 тысяч рублей).

Разработку этого стандарта можно рассматривать с очень разных точек зрения. От примера создания открытого API для банков до примера публичной регуляторной деятельности с вовлечением заинтересованных сторон к участию и до механизмов ресурсного обеспечения подобной работы.

Ссылки:
[1] https://www.gov.uk/government/news/cma-wants-banks-to-work-harder-for-their-customers
[2] https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/523755/retail_banking_market_pdr.pdf
[3] https://assets.publishing.service.gov.uk/media/57ac9667e5274a0f6c00007a/retail-banking-market-investigation-full-final-report.pdf
[4] https://www.gov.uk/cma-cases/review-of-banking-for-small-and-medium-sized-businesses-smes-in-the-uk
[5] https://theodi.org/open-banking-standard
[6] https://theodi.org/news/open-banking-working-group-terms-of-reference
[7] https://docs.google.com/document/d/1fUx0Hbc3k2F_NF4mXD55r2E_TKVU5KY6gDM1RJ0J1ds/edit#heading=h.g10eedc4thyf

#opendata #opengov #openfinances #openbanking

Одна из наиболее известных в США расследовательских НКО ProPublica опубликовала на своём сайте материалы их ProPublica Data Institute [1] прошедших семинаров за 1-15 июня 2016 года по работе с данными для журналистов расследователей. Интересен хороший подбор материалов, актуальный с анализом политических данных по избирательной кампании Дональда Трампа [2] или по работе с данными сената США [3].

На обновления материалов можно подписаться по ссылке [4].

Ссылки:
[1] https://projects.propublica.org/graphics/data-institute-2016
[2] https://docs.google.com/a/propublica.org/spreadsheets/d/1od86DSRi5kJPJfLpDRcSbPj2nJiRk4yJUIrfunjlK4Q/edit?usp=sharing
[3] https://www.senate.gov/general/committee_assignments/assignments.htm
[4] https://go.propublica.org/data-institute-updates

#opendata #opengov #datajournalism

К вопросу о проектах и гиперлокальных данных и о том что можно сделать в тех случаях когда они доступны.
Вот, пример, проект по анализу состояния здоровья жителей Южной Каролины (США) https://healthyinsight.org/dashboard.html

Авторы - несколько крупных федеральных НКО в США занимающиеся проблемами здравоохранения. Они взяли около десятка наборов данных переписи, исследований ожирения, баз торговых точек здоровой едой и junk food и подсчитали множество рейтингов и не только с детализацией по муниципалитетам и округам переписи.

Зачем? Зная о проблемах в муниципалитетах можно далее знать какие приоритеты расставлять в помощи их жителям.
И да, ожирение - это, конечно, проблема приоритетная в США больше чем в других странах, но подобных подход применим и ко многим другим темам.

Например, хотите измерить качество жизни в регионах ? Можно считать дистанцию до ближайшей больницы в километрах или часах.

#opendata #opengov

Кстати, для тех кто хочет знать как правильно должна быть организована работа по сервисам для граждан и раскрытию открытых данных - обратите внимание на сервисы Комитета по правовой статистики Республики Казахстан [1]
и особенно на раздел криминальной статистики

где в виде Excel файлов раскрываются формы статистической отчётности

Данные криминальной статистики - это данные о качестве жизни. Не менее значимые чем, например, данные по качеству образования. И тут Казахстан нас обгоняет. В Казахстане официально доступна муниципальная статистика по качеству образования с детальностью до районов [3] пока в отчётах на сайте Министерства образования, но и хотя бы так.

А на сайтах отдельных департаментов образования областей эти данные есть в виде рейтинга школ. Пример: город Алма-ты [4], есть в в других городах и областях.

С текущим уровнем раскрытия данных у открытого правительства Республики Казахстан гораздо больше шансов занять высокую позицию в рейтинге открытых данных о качестве жизни если такой будет когда либо создан, например, нами в Инфокультуре.

Ссылки:
[1] https://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[2] https://service.pravstat.kz/portal/page/portal/POPageGroup/Services/Pravstat
[3] https://edu.gov.kz/ru/analytics/regionalnaya-obrazov-0
[4] https://dep.edualmaty.kz/ru/ent/30-itogi-ent

#opendata #opengov #kazakhstan

Российское федеральное правительство выпустило правила общественного обсуждения миллиардных закупок [1] в которых подробно прописаны механизмы того как технологически это должно происходить [2]. С одной стороны нельзя не приветствовать любые дополнительные механизмы и способы обеспечения публичности государственного заказа, с другой стороны.

Ключевая проблема во всей этой истории и всё регулировании миллиардных закупок в том что большинство граждан и даже наиболее образованные из них неспособны охватить их целиком. Большая часть контрактов по строительству, ремонту дорог или закупке фармпрепаратов настолько обложены нормативными документами что надо либо их знать, либо быть готовыми к тому что на любой здравомыслящий комментарий найдутся эксперты которые докажут что вот именно так и только так можно было проводить эту закупку.

Граждане, рядовые граждане, гораздо легче воспринимают суммы близкие к их пониманию и закупки связанные именно с их жизнью. Например, москвичей куда больше интересовали бы закупки затрагивающие изменение их инфраструктуры вроде городской программы «Мой город», жителей других городов не менее интересует благоустройство территорий, ремонт их домов, строительство школ или ремонт больниц и многое другое что влияет на качество жизни их именно там где они живут.

Миллиардные контракты такого влияния практически не оказывают или их влияние настолько размазано по стране что желающих давать свои замечания может просто не найтись.

Я считаю что механизмы общественного обсуждения, а ещё точнее «народной экспертизы закупок», должны быть массовыми. Они должны охватывать не только и не столько крупнейшие контракты, сколько все контракты касающиеся качества жизни граждан. Они должны охватывать не только стадию закупки, но и исполнения контракта. Мы, как граждане, должны иметь возможность добиваться от господрячиков гарантированного качества работ во всех случаях когда это касается создания и поддержания общественной инфраструктуры.

Ссылки:
[1] https://government.ru/docs/24288/
[2] https://government.ru/media/files/xl0P4TAANnmJB3AbnPwNopoFy9CYhiPn.pdf

#opendata #opengov #procurement

Пришла пора делать регулярные обзоры _негосударственных_ открытых данных. Начнём с данных затрагивающих крупные компании, открытость науки и робототехнику.

Ещё в марте 2016 года одна из исследовательских команд Google выложила набор данных с результатами обучения роботизированного распознавания предметов в виде наборов [1] и открытого кода для TensorFlow [2]. Подробнее о самих данных в публикации в блоге Google Research [3].
Публикация данных даёт не только возможность воспроизведения исследований, но и инвестиции в сообщество которое может на основе этих данных проводить собственный анализ.

Ссылки:
[1] https://sites.google.com/site/brainrobotdata/home
[2] https://www.tensorflow.org
[3] https://research.googleblog.com/2016/03/deep-learning-for-robots-learning-from.html

#opendata #openscience #google

В Kaggle, возможно наиболее известном сервисе соревнований алгоритмов на базе данных, появился раздел «Datasets» [1] с большим числом наборов данных, большая часть которых негосударственные, а собраны исследователями, предоставлены компаниями или энтузиастами. Например, данные с по футбольным матчам в Европе [2] или данные по кредитам выданным через Lending Club [3] или многое другое что каждый может найти для себя самостоятельно.

Ссылки:
[1] https://www.kaggle.com/datasets
[2] https://www.kaggle.com/hugomathien/soccer
[3] https://www.kaggle.com/wendykan/lending-club-loan-data

#opendata #datasets #contests

Буквально месяц назад, в июле 2016 года вышел доклад THE DATA ACT Vision & Value [1] опубликованный Data Foundation [2] посввящённый принятом в США в 2014 году The Digital Accountability and Transparency Act (DATA) [3]. Этот закон состоит из поправок к закону от 2006 года Federal Funding Accountability and Transparency Act (FFATA)[4] который в 2006 году прописал требование к созданию единого портала отчётности всех федеральных агентств США на портале USASpending.gov [5].

Кстати, в качестве отступления, первый портал по госрасходам в США был создан НКО OMB Watch [6] и назывался он FedSpending [7].
Fedspending.org появился в октябре 2006 и стал основной для USASpending.gov и тот существовал на том же коде около 2-х лет, после чего судьба двух этих порталов - негосударственного и государственного разошлась.

Как бы то ни было, FFATA обеспечивал лишь базовый уровень раскрытия информации и все эти годы НКО и активисты лоббировали повышение уровня раскрытия информации, её качества и находили многочисленные ошибки и проблемы в уже опубликованных данных. Например, в отчёте Sunlight Foundation и их проекте Clearspending [8].

Сейчас The Data Act должен обеспечить появление стандарта открытости бюджетных данных и с мая 2017 года все агентства в США должны будут публиковать данные в этом стандарте.

Об этом подробнее в самой первой ссылке, в свежем вышедшем докладе THE DATA ACT Vision & Value [1].

В качестве второго отступления - в России раскрытие данные о госзакупках идёт не менее чем 10 лет, с принятого закона 94-ФЗ который обязал с 1 января 2006 года публиковать все закупки и контракты федеральных органов власти в соответствующих федеральных информационных системах, а далее и вообще все органы власти, муниципальная власть и регулируемые корпорации попали под действие 44-ФЗ и 223-ФЗ ужесточившие эти требования. Уровень раскрытия информации о госрасходах превосходит раскрытие в США многократно. Несмотря на всю неэффективность и громозкость 44-ФЗ - его открытость - это ключевая особенность российской системы государственны и муниципальных финансов.

Ссылки:
[1] https://static1.squarespace.com/static/56534df0e4b0c2babdb6644d/t/578642f2893fc0672b741637/1468416780354/Electronic+Version+-+DATA+Act+Vision+and+Value.pdf
[2] https://www.datafoundation.org/
[3] https://www.gpo.gov/fdsys/pkg/PLAW-113publ101/pdf/PLAW-113publ101.pdf
[4] https://www.gpo.gov/fdsys/pkg/PLAW-109publ282/pdf/PLAW-109publ282.pdf
[5] https://usaspending.gov/
[6] https://www.ombwatch.org/about_us
[7] https://www.fedspending.org/
[8] https://sunlightfoundation.com/clearspending/

#opendata #opengov #spending #budget #procurement