Для тех кому долго самостоятельно искать тот слив из банка на каймановых островах, вот прямая ссылка [1]. Он там под кодом "Sherwood"

Только помните - там 2 терабайта. Для опытного специалиста это несколько часов работы, для неопытного может занять месяцы. Для современного журналиста расследователя это должно быть по силам, а если чувствуете что "сложно это всё", то срочно беритесь за журналистику данных.

Ссылки:
[1] https://ddosecrets.com/data/corporations/

#leaks #data #datajournalism

Максим Акимов назвал сайт Госуслуг вторым по посещаемости госсайтом в мире [1] и что только посещаемость сайта налоговой службы США (IRS) выше в период сдачи деклараций.

Как бы это аккуратнее прокомментировать. В общем-то не сайт IRS наиболее популярный госсайт в США. Там первыми по списку идут:
- ncbi.nlm.nih.gov - 183 миллионов посещений за 30 дней
- tools.usps.com - 145 миллионов посещений за 30 дней
- medlineplus.gov - 51 миллион посещений за 30 дней
и так далее, полный список на специальном сайте [2]

Возможно у IRS есть и всплески в периоды подачи деклараций, но дело в том что у портала Госуслуг нет никакого общедоступного счетчика. Ни внутреннего, ни внешнего, несмотря на наличие подключенной Яндекс Метрики. Если сравнить gosuslugi.ru и irs.gov через Similarweb к примеру [3], то окажется что Госуслуги значительно более посещаемый ресурс, спору нет. Но если мы сравним его с сайтом Минздрава США (nih.gov) поддоменом которого является PubMed (ncbi.nlm.nih.gov), глобальная библиотека публикаций по здравоохранению, то gosuslugi.ru будут не так хороши [4].

Врядли Максим Акимов сам готовил эти цифры, но тем кто готовил ему выступление большой и жирный минус. А портал Госуслуг действительно один из наиболее посещаемых госпорталов в мире, с этим спору нет при любом раскладе. И счётчик его посещаемости давно бы пора, для приличия, открыть.

Ссылки:
[1] https://www.vedomosti.ru/politics/news/2019/11/19/816637-akimov-nazval-gosuslugi-vtorim-po-poseschaemosti-gosresursom
[2] https://analytics.usa.gov/
[3] https://www.similarweb.com/website/gosuslugi.ru?competitors=irs.gov
[4] https://www.similarweb.com/website/gosuslugi.ru?competitors=nih.gov

#data #webstats #government

А с другой стороны, тоже понятно откуда взята цифра 2. Из того же SimilarWeb в по рейтингу Top sites ranking for Law And Government > Government in the world [1]

Но первым там идёт service.gov.uk, портал госуслуг Великобритании. И тут косяк в общем. Кто-то обманывает заместителя премьер-министра нашего любимого Правительства.

Ссылки:
[1] https://www.similarweb.com/top-websites/category/law-and-government/government

#data #webstats

Небольшое, но нужное и важное обновление нашего небольшого проекта по созданию базу всех госдоменов и госсайтов. В репозиторий [1] выложен файл feddomains.csv [2] с доменами относящимся к федеральной власти размеченным по органам власти, типам сайтов, статусу (действует/не действует) и так далее.

Всего это 7577 доменов, не все, но значительная, если не подавляющая часть их включено.

К каждому домены собираются сведения:
- название
- тип сайта
- орган власти/организация
- статус
- государственная информационная система
- регион, если есть региональная привязка

Пока полностью завершена только привязка домена к госоргану/организации

Не завершены: классификация сайтов по типу, не заполнены данные по госсистемам, пока очень немного заполнено по региональной привязке.

Все домены можно также просмотреть в Airtable [3] где ведется оригинал базы данных.

Зачем это нужно? Первая и основная задача - это необходимо для архивации сайтов в рамках национального цифрового архива [4], другие задачи включают вопросы мониторинга приватности, например, проверку использования HTTPS вместо HTTP и доверенные сертификаты. По аналогии с pulse.cio.gov в США [5].

Дополнительно отмечу что весь этот маленький проект ведётся внутри Информационная культура без какого-либо финансирования. Фактически мы за Минкомсвязь РФ делаем их работу. Пусть хотя бы начнут пользоваться и мониторить госинфраструктуру, потому что есть подозрения что они сами не знают как там всё устроено;)

Вот некоторые цифры и факты:
- более 2500 сайтов (33% от общего числа) - это сайты судов и судебной системы из системы ГАС Правосудие
- чуть более 11% госдоменов находятся в зоне .gov.ru,
- не все домены в зоне .gov.ru ведутся госорганами, есть те которые ведут учреждённые государством НКО
- до сих пор у многих сайтов первичен доменный префикс www
- список доменов неполон, за эти годы несколько госорганов создали "фермы-сайтов" которые будет крайне сложно переносить на один домен, если правительство такое когда-либо задумает. Такие "фермы сайтов" есть у Минобороны, МВД, Судебного департамента, Следственного комитета, Роспотребнадзора и многих других.
- часть госорганов перевели все региональные сайты терр управлений на общий домен, а домены субъектов теперь перенаправляют на него. так сделали ПФР, ГИБДД, ФНС и др.
- сейчас почти не включены домены госучреждений, но они собраны из первосточников и тоже есть в репозитории.

Очищенные данные, исходный код и первичные данные - все выложены на GitHub. В конечном итоге результатом будет собранная база данных, API и веб интерфейс надстройки. И охват всех уровней власти конечно.

Ссылки:
[1] https://github.com/infoculture/govdomains/
[2] https://github.com/infoculture/govdomains/tree/master/refined
[3] https://airtable.com/invite/l?inviteId=inviQBG5Acys5mrEn&inviteToken=0b5ac06d25a4e88470b1c2916fcc4941008dd2dcb312dcfe88bdc2841af9774b
[4] https://ruarxive.org
[5] https://pulse.cio.gov

#opendata #data #government #domains

Для тех кто интересуется дата-журналистикой, робо-журналистикой и тд. подоспела новая тема - ИИ журналистика. Журналистика искусственного интеллекта. Хорошая библиография [1] есть в блоге Лондонской школы экономики. Очень будет полезно и для тех журналистов кто учится и выбирает темы для выпускных работ, и для тех журналистов кто хочет быть на краю технологий или думает о стартапах в своей отрасли

Ссылки:
[1] https://blogs.lse.ac.uk/polis/2019/10/25/journalism-and-artificial-intelligence-a-bibliography/

#ai #journalism

Много вопросов к нам приходит про то как будет развиваться проект Счетной палаты Российской Федерации Госрасходы [1], чем он отличается от уже существующих государственных проектов ЕИС [2] и ЕПБС [3].

Ответ в этой картинке, карта данных по госфинансам в вопросах и ответах.

Что мы будем делать? Отвечать на эти вопросы. А вот то в какой последовательности я пока не расскажу.

Потому что "Хочешь рассмешить Бога - расскажи ему о своих планах" (c).

А вот я напомню что в рамках проекта у нас предусмотрена "Дата лаборатория" [4] и мы не только сами будем публиковать результаты подготовки данных и исследований в виде материалов и кода в Jupyter Notebook, но и предполагаем партнерство со всеми научными центрами работающими с данными по госфинансам.

Пишите если хотите начать работать с этими данными, ведете исследования, пишите научную статью и так далее.

Ссылки:
[1] https://spending.gov.ru
[2] https://zakupki.gov.ru
[3] https://budget.gov.ru
[4] https://spending.gov.ru/datalab/

#opendata #spending #data

Для тех кто ищет инструменты цифровой трансформации, работы с данными, открытый код готовых проектов и тд. в мире, специальная подборка примеров:

- Observatory of Public sector innovation [1] проект ОЭСР по истематизации лучших практик организации проектирования госуслуг, государственных систем, организации форсайтов, мозговых штурмов и так далее.
Всего более 300 инструментов включая 9 игр [2]

- мобильное приложение цифрового гражданства Италии [3] и его открытый код с подробным описанием компонентов, организации процесса разработки и дорожной карты

- лучшие практики разработки исходного кода команды 18fF [5] в США. Охватывает языки Python/Ruby/Node, принципы выбора языка и разные стадии разработки

- австралийская система дизайна компонентов государственных сайтов [6], весьма детально проработанная с охватом всех возможных элементов работы приложений и сайтов

Ссылки:
[1] https://oecd-opsi.org/search-toolkits/
[2] https://oecd-opsi.org/search-toolkits/…
[3] https://io.italia.it/
[4] https://github.com/teamdigitale/io-app
[5] https://github.com/18F/development-guide
[6] https://github.com/govau/design-system-components

#opendata #opensource #tools

Гриша Бобук @addmeto пишет про recreation.gov и о том что это хороший неполитический пример того что государство может делать хорошо. На самом деле таких примеров в мире немало и в России тоже есть, но в другой области. Лучший пример в России культура.рф [1].

Но как бы сказать поточнее, конечно это всё политика, не макро политика возможно, но качество госуправления и концентрация компетенций. Например, американская система закупок мягко говоря далека от идеала. Запуск healthcare.gov в США - это мыльная опера с элементами трагикомедии, а 18F - наоборот мирового уровня группа разработчиков с открытым кодом. Везде есть хорошее и плохое и та часть политики которая называется качеством государственной политики и госуправления. Не politics, но policy

[1] https://культура.рф

А вот еще одно, и опять не про политику: recreation.gov это только что запущенный сайт о туризме в штатах, сделанный государством. И это что-то невероятное, действительно человечный и полезный ресурс с информацией о том, где что посмотреть и как туда добраться. А можно нам такой же по России? Хотя сначала придется дороги построить, конечно https://www.recreation.gov/

О разнице в восприятии, языковых особенностях и о том во что вырождается открытость

Когда переводишь на русский язык слова явлений, определений и многое другое с других языков то часто возникает если не недопонимание то неточные трактовки. Например, устойчивые выражения "по данным открытых источников" или по "открытым данным" много лет мешало русскому переводу термина "open data", тоже открытые данные. Потому что в трактовке журналиста пишущего статью открытые данные - это любая общедоступная информация, но в трактовке open data - это вполне конкретная форма представления информации в машиночитаемом виде и под свободными лицензиями.

Когда появилось "Открытое правительство" и вообще декларируемая открытость органов власти мы пришли к другому искажению, отчасти искусственному. В мире под открытостью государства всегда подразумевается транспарентность как её основа, остальное - это важное обрамление. А вот открытость может иметь много черт, от дней открытых дверей до совершенно нерелевантных к прозрачности органа власти действий.

Во что вырождаются идеи по открытости в России и в каких формах они ещё существуют? Посмотрим на эволюцию open проектов.

1. Для многих городов открытость свелась исключительно к жалобам. Порталы вроде Открытый город Тольяти open.tgl.ru [1] и множество аналогичных - более десятков сайтов городов.
2. Кое где в регионах остались Открытые правительства субъектов федерации. Иркутская область [2], Краснодарский край [3], всего около десятка регионов
3. Очень много проектов под брендами "Открытое образование" [4]
4. Много медийных проектов в стиле "Открытой Россию с РЖД" [5]
5. Сайт федерального "Открытого пр-ва" выродился [6] в ленту новостей и, по хорошему, его надо полностью перезапускать. Потому что превращать сайт про открытость в сайт бездействующего экспертного совета, прямо скажем, некрасиво

Какие ещё формы когнитивных искажений открытости Вам встречались? Как правильно разграничивать термины?

Ссылки:
[1] https://open.tgl.ru
[2] https://open.irkobl.ru/
[3] https://open.krasnodar.ru/
[4] https://open.kbsu.ru/
[5] https://www.open.fpc.ru/
[6] https://open.gov.ru/

#open #opengov

Дата-среда: “Открытые данные международных организаций: когда лучшее не враг хорошего”

4 декабря Алина Владимирова, научный сотрудник Института востоковедения РАН и вице-председатель Исследовательского комитета по политической власти Международной ассоциации политической науки, проведет лекцию об открытых данных международных организаций и подробнее расскажет о базе данных внешней торговли «Комтрейд ООН».

В плане лекции:
- основные вехи создания базы данных «Комтрейд ООН»;
- проблемы, с которыми столкнулись специалисты, собирая торговую статистику;
- особенности открытых данных международных организаций и оценка их качества.

Дата-среда пройдет в рамках проекта КГИ «Госзатраты».

Подробности и регистрация: https://amp.gs/sK9G.

Обратили ли Вы внимание что...

У Министерства просвещения РФ нет раздела "Документы" и публикации нормативно-правовых актов на их сайте [1] которые требуются по 8-ФЗ.

Значит ли это что?
1. 8-ФЗ перестал соблюдаться (закон "помер")
2. Не осталось НКО и активистов кто напоминает госорганов о его существовании.
3. Главный контролёр 8-ФЗ забил на свои полномочия и функции (кстати вспомните что за орган власти)
4. Минпросвещения даже не планировали его соблюдать

Или всё вместе? Но факт остаётся фактом - сайт Минпросвещения мало чем отличается от сайта визитки.

Ссылки:
[1] https://edu.gov.ru/

#opengov #open #website #ministryofsomething

А нет, всё прояснилось. Некоторые баннерорезки, в моём случае Privacy Budger, режет Госбар через который у Минпросвещения, зачем то, дана ссылка на их банк документов [1]

Что, впрочем, не отменяет вопроса почему его нет ни на карте сайта [2] ни на самом сайте в его содержании

Ссылки:
[1] https://docs.edu.gov.ru
[2] https://edu.gov.ru/sitemap/

#opengov

Я регулярно ссылаюсь на пример Австралийской цифровой стратегии как образец понятности и вот они обновили её ещё раз и можно увидеть, и содержательно, и наглядно, как там устроена их цифровая статегия [1]

Это всего 3 приоритета:
- Государство с которым легко взаимодействовать (госуслуги)
- Государство информированное гражданами (обратная связь)
- Государство которое соответствует цифровой эпохе (соответствие ожиданиям граждан)

Сам документ стратегии - это образец понятности [2] и более чем понятная дорожная карта [3] того как эта стратегия будет внедрятся.

Также 3 приоритета расписаны в 13 целей по 4, 4 и 5 целей на приоритет [4]. Каждая из этих целей расписывается ещё подробнее. Например, цель номер 8 - Earn your trust through being strong custodians of your data [5]
У цели всего 3 ключевых показателя:
- 48% доверие граждан правительству через Edelman Trust Barometer [6] с ростом в 8% относительно 2018 года
- публикация стратегии единого хостинга для государства
- публикация модели доверенной цифровой идентификации

И у каждой цели приведены примеры созданных проектов, для цели 8 это:
- Сервис myTax получения налоговых вычетов [7] через мобильное приложение
- Принципы обмена данными [8]
- Стратегия единого хостинга для государства [9]
- Модель доверенной цифровой идентификации [10]

Похожим образом описаны и все остальные цели и примеры проектов.

Ссылки:
[1] https://www.dta.gov.au/digital-transformation-strategy
[2] https://dta-www-drupal-20180130215411153400000001.s3.ap-southeast-2.amazonaws.com/s3fs-public/files/digital-transformation-strategy/digital-transformation-strategy.pdf
[3] https://www.dta.gov.au/dts-roadmap
[4] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard
[5] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard/objective-8-earn-your-trust-through-being-strong-custodians-your-data
[6] https://www.edelman.com/trust-barometer
[7] https://www.ato.gov.au/Individuals/myTax/2019/
[8] https://www.datacommissioner.gov.au/resources/sharing-data-safely-package
[9] https://www.dta.gov.au/our-projects/whole-government-hosting-strategy#:~:targetText=It%20is%20supported%20by%20a,the%20delivery%20of%20government%20services.
[10] https://www.dta.gov.au/our-projects/digital-identity/trusted-digital-identity-framework

#data #opengov #digital #digitalgov

В MIT Technology report пишут [1] о том что в Facebook в своём обновлённом отчёте о прозрачности [2] рассказывают что автоматически отсекают 98% видео и фотографий террористов. Происходит это благодаря технологиям распознавания образов, в том в реальном времени. Во многом причины этого в росте публикаций подобных материалов, также не последней причиной активизации исследований и разработки технологий является живая трансляция террориста из Новой Зеландии в Facebook'е после убийства 49 челове в двух мечетях города Christchurch.

Общественная безопасность это один из, не единственный, драйвер инвестиций в ИИ. Инновации создаваемые технологическими гигантами сейчас уже через несколько лет могут стать частью локальных и глобальных решений "умных" городов, территорий, защищённых пространств.


Ссылки:
[1] https://www.technologyreview.com/f/614774/this-is-how-facebooks-ai-looks-for-bad-stuff/
[2] https://transparency.facebook.com/community-standards-enforcement

#privacy #digital #ai

Откуда в мире столько открытого кода? Почему он необходим? В чём важность проектов открытости? А самое главное где найти финансирование на проекты с открытым кодом. В мире существуют десятки фондов и компаний поддерживающих открытый код. Вот лишь несколько из них:

- Mozilla Open Source Support (MOSS) [1] дают большие гранты на развитие проектов с открытым кодом полезных для продуктов Mozilla Foundation
- Google Open Source [2] поддерживают проекты в которых Google нужна доп функциональность, проекты в жизнестойкости которых Google заинтересован и стратегические проекты
- Samsung Next Stack [3] проекты децентрализованных технологией поддерживаются грантами от компании Samsung
- Digital Impact Allience [4] дают гранты на проекты помогающие обществу
- Sloan Foundation даёт гранты на разработку программного кода [5]
- Python Software Foundation [6] даёт гранты, в том числе на конференции.
- Knights Foundation [7] выдаёт гранты на технологическую журналистику, дата журналистику и прочие ИТ проекты для журналистов
- PrototypeFund [8] государственная грантовая программа Министерства образования и исследований Германии. Поддерживается Open Knowledge Foundation Germany

О том как искать финансирование для проектов на базе открытого кода есть специальное руководство с большим количеством примеров из жизни [8]

Ссылки:
[1] https://www.mozilla.org/en-US/moss/
[2] https://opensource.google/docs/growing/funding/
[3] https://samsungnext.com/whats-next/introducing-the-samsung-next-stack-zero-grant/
[4] https://www.osc.dial.community/grants.html
[5] https://sloan.org/programs/digital-technology/data-and-computational-research
[6] https://www.python.org/psf/grants/
[7] https://knightfoundation.org/programs/
[8] https://prototypefund.de/
[9] https://github.com/nayafia/lemonade-stand

#opensource #open

Ведомости пишут о том из Сколково предложили создать госинтегратора на базе их Технопарка [1]. Телеграм каналы уже активно цитируют эту новость, равно как и СМИ.

Мне, честно говоря, много что есть сказать по этому поводу и для этого придётся отойти от жанра сухого изложения новостей.

Многие из тех кто когда-либо работал в системных интеграторах или сталкивался с ними как заказчик/подрядчик и в иных ролях знают о масштабах, скажем так, их неэффективности. Интеграторы почти всегда выступают посредниками между заказчиком и пулом разработчиков / поставщиков оборудования и решений и, чаще всего, снимают основную маржу с контрактов.

При этом результативность этой работы часто столь низкая что тренд госуправления в мире в последние годы в переходе к in-house разработке и прямой контрактации с вендорами оборудования и ПО. По этой причине в конкурсе Пентагона на облачный сервис конкурировали Microsoft, Google и Amazon [2], а не многочисленные интеграторы которых и в США хватает.

По этой же причине в мире появлялись такие in-House команды как Team Digitale, CSIRO Data61, AlphaGov, GDS, 18f, Etalab и многие другие. Все они - это работающие на основе открытого кода и создающие открытый код команды созданные для создания цифровых услуг, платформ, проектов и продуктов вовлекающие разработчиков в создание реальных изменений в государствах.

В общем и целом системные интеграторы с ориентацией на государство уже давно находятся под двойным давлением - от крупных технологических компаний которые продают свои облачные платформы и интеграторы начинаются подстраиваться под эти платформы и под давлением тренда на открытие кода государственных проектов.

Это меняет бизнес модели, часто резко снижает маржинальность бизнеса, сильно усложняет разного рода серые схемы, двойную продажу одного и того же кода и одних и тех же услуг и многое другое.

Как относится к тому что в России хотят создать _единого госинтегратора_? С некоторым скепсисом, поскольку работа интеграторов построена вокруг государственных информационных систем и требует гораздо более системной госполитики по их проектированию, разработке и дальнейшей эксплуатации.

В некоторых ФОИВах и регионах уже давно выстроены свои замкнутые или полузамкнутые экосистемы под определённый технологический стек и которые требуют весьма специфических специалистов для их поддержания и развития.

Бизнес интеграторов всегда строился не на качестве кода или технологических новинках, а на _управлении сложностью_ ИТ проектов. И, хотя и управляют они так себе, но в течение долгого времени у них получалось это лучше чем у государства. По этой же причине и сейчас по большинству государственных информационных систем ключевые компетенции и люди находятся в интеграторах, а не в госзаказчиках.

Но, да, есть тренд на огосударствление, вернее тренд на огоскорпорачивание системной интеграции. Прямые субсидии и контракты с ед. исполнителем с Ростелекомом, НИИ Восход, Ростех и другими игроками рынка государственного происхождения - это всё про госинтеграцию как замену частных интеграторов.

Туда же можно отнести и эту новость о госинтеграторе на базе Сколковского технопарка, туда же можно отнести новость о цифровой платформе госуправления Сбербанка [3] и ряд других, не столь очевидных, но сигнальных новостей об изменении тренда.

Этот тренд - это передел всего государственного ИТ рынка в пользу 4-5 крупных госинтеграторов, находящихся в той или иной близости к центрам принятия решений. В этой "битве якодзун" за бортом, в первую очередь, останутся крупные и средние частные интеграторы которые будут, либо уходить в субпорядные отношения, либо уходить с рынка. Не моментально, это тренд не одного года, но он уже явно заметен.

Это будет происходить быстрее в дотационных субъектах федерации и ФОИВах с малыми ИТ бюджетами, поскольку на них есть инструменты финансово-бюджетного давления. В остальных это будет происходить сложнее, но сценарий не поменяется.

Я не буду судить сейчас об итоговой картине, хорошо это или плохо, отмечу лишь что в какой-то мере это естественное развитие рынка госИТ в России. И хорошо ещё если этот процесс будет мирный, а не с "публичными посадками" руководителей текущих интеграторов, что тоже можно регулярно наблюдать в последние годы.

Лично я считаю во всем этом важным следующее:
1. Сохранение конкуренции. Единый госинтегратор на всё - это, в целом, губительная история. 5-6 крупнейших - уже дают какую-то возможность конкуренции.
2. Команды in-House. Изменение закона о госслужбе в части найма ИТ специалистов и специалистов со специализацией в технологиях, возможность дистанционной работы и тд. Слишком многое нельзя отдавать на аутсорс интеграторам.
3. Открытый исходный код необходим. Это общемировой тренд на раскрытие исходного кода созданного за бюджетные средства и ведение открытой разработки для вовлечения ИТ сообщества.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2019/12/01/817588-skolkovo-predlozhilo
[2] https://tjournal.ru/tech/122980-microsoft-poluchila-kontrakt-pentagona-na-10-milliardov-dollarov-proigravshiy-amazon-nazval-reshenie-nelogichnym
[3] https://government.ru/news/38464/

#government #it