Свежий дайджест по работе с данными:
- Netflix открыли код Data Explorer [1] инструмента для навигации по хранилищам данных Redis, Cassandra, Dynomite
- команда конструктора аналитики Cube.js с открытым кодом получила $15.5 миллионов инвестиций [2] на развитие их API на данных. Ранее компания уже привлекла $6.2 миллиона в прошлом году [3]
- статья MacKinsey о том почему важно работать с данными для разработки стратегий компаний [4]
- о вреде разметки данных вручную в статье Hand Labeling Considered Harmful [5] команды ORelly, там же ссылка на полезную статью 2017 года Software 2.0 [6]


Ссылкти:
[1] https://github.com/Netflix/nf-data-explorer
[2] https://venturebeat.com/2021/07/19/cube-dev-raises-15-5m-to-commercialize-its-open-source-data-api-platform/
[3] https://www.crunchbase.com/organization/cube-dev/company_financials
[4] https://www.mckinsey.com/business-functions/strategy-and-corporate-finance/our-insights/the-strategy-analytics-revolution
[5] https://www.oreilly.com/radar/arguments-against-hand-labeling/
[6] https://karpathy.medium.com/software-2-0-a64152b37c35

#data #digest

Многочисленные напоминания для тех кто не знает чем я занимаюсь.

Коммерческие проекты:
- https://apicrafter.ru (коммерческие API к ЕГРЮЛ, госзакупкам и тд.)
-https://beta.apicrafter.ru - DataCrafter, публичный первичных данных доступных как открытые данные и API.

Общественные проекты Инфокультуры:
- Госзатраты https://clearspending.ru
- Открытые НКО https://openngo.ru
- Хаб открытых данных https://hubofdata.ru
- Простой язык https://plainrussian.ru
- Национальный цифровой архив https://ruarxive.org
- Данные НКО https://ngodata.ru

Телеграм каналы
- Мой канал в телеграм где я регулярно пишу о данных, государстве, госзакупках, технологиях и ещё много о чём https://t.iss.one/begtin
- Телеграм канал APICrafter'а https://t.iss.one/apicrafter
- Телеграм канал Инфокультуры https://t.iss.one/infoculture
- Телеграм канал ассоциации АУРД https://t.iss.one/aurdata

Открытый код
- мой открытый код https://github.com/ivbeg
- открытый код Инфокультуры https://github.com/infoculture
- открытый код Нацархива https://github.com/ruarxive
- открытый код APICrafter'а https://github.com/apicrafter и https://github.com/datacoon

Рассылки:
- моя рассылка про данные https://begtin.substack.com
- рассылка Инфокультуры https://infoculture.ru

Я регулярно пишу о том существует ли в России практика раскрытия исходного кода и вот пополнение, оказывается у Института системного программирования им. В.П. Иванникова РАН есть открытый аккаунт в Github [1], добавил их в специальный список Awesome list of Russian government open source repositories and projects [2]. Примеров таких исключительно мало, даже неизвестно насколько официальный статус имеет этот аккаунт потому что на сайте ИСП РАН ссылки на Github нет [3], а с другой стороны на Github'е довольно большая команда.

Я, кстати, не могу не напомнить что большая часть общедоступного исходного кода в развитых странах раскрывается именно в рамках открытости научных исследований. Да и открытых данных, кстати, тоже.

Ссылки:
[1] https://github.com/ispras
[2] https://github.com/infoculture/awesome-gov-opensource-russia
[3] https://www.ispras.ru

#opensource #government

К вопросу об актуализации технологий и в продолжение раскрытия государственного кода. Несколько лет назад ДИТ Москвы инициативно раскрыли исходный код нескольких проектов на блокчейн которые используются для голосования в Москве, для заявок в реестр ярмарок и так далее. Всё это подавалось как прозрачные проекты с раскрытием кода и с возможностью проверить записи в блокчейне. Но, не прошло и пары лет, а этот код уже не работает. Пример, код для проверки блокчейн записей о заявках на ярмарки в Москве [1] был основан на продукте Parity Shell, который уже устарен пару лет назад [2], больше не работает и не обновляется код проекта. Как результат не работает и код раскрытый ДИТ Москвы.

Почему? Потому что открытый код - это не однократное его раскрытие, а работа с сообществом над его улучшением. Вот они раскрыли тогда код - хорошо. На тот момент хорошо, а на сегодня уже неработает.

Ссылки:
[1] https://github.com/moscow-technologies/fairs-blockchain
[2] https://github.com/parity-js/shell/

#opensource #moscow

Лично я не могу прокомментировать в подробностях этот проект НПА поскольку не работает regulation.gov.ru, но всё что я успел прочитать о нём очень печально. Как скоро книги о космосе будут изымать из магазинов? Как скоро будут закрывать сайты посвящённые космосу и армии? Уголовное преследование за несекретную информацию звучит очень и очень нехорошо, не только потому что будут пострадавшие, а ещё и потому что это выглядит как какая-то предвоенная мера. А вот чего-чего, а войны, в ближайшем будущем и в любом будущем совсем бы не хотелось.

Проект приказа директора ФСБ Александра Бортникова, опубликованный 19 июля для общественного обсуждения на Федеральном портале проектов нормативных правовых актов меньше, чем за сутки собрал рекордное количество просмотров.

Похоже, портал не выдержал такого наплыва посетителей и еще утром 20 июля перестал работать. В службе технической поддержки весь день сообщали, что “ведутся работы по восстановлению работоспособности портала”.

В итоге ознакомиться с резонансным проектом стало возможно лишь после окончания рабочего дня. На момент написания этого поста у проекта около 13,8 тысяч просмотров и их количество продолжает расти. Хотя другие опубликованные в этот день проекты привлекли всего лишь десятки, в редких случаях – несколько сотен пользователей.

В документе содержится широкий перечень не секретных сведений в области военной и военно-технической деятельности России, которые при получении их иностранным источником могут быть использованы против национальной безопасности.

В 61 пункт перечня входят, в том числе, сведения о “соблюдении законности и морально-психологическом климате” или “о ходе и результатах рассмотрения сообщений о преступлениях и предварительного расследования” в армии, а также о закупках товаров, работ и услуг для нужд военных и даже о результатах научно-технического уровня изучения космоса иностранными организациями.

За сбор таких сведений человек – если он получает от иностранных источников деньги, имущество или любую "организационно-методическую" помощь – должен под угрозой уголовной ответственности признать себя иностранным агентом и зарегистрироваться в соответствующем перечне Минюста. За нарушение этого требования он может получить 5 лет лишения свободы.

Перечень разработан в соответствии с законом, принятым Госдумой в конце 2020 года. Общественное обсуждение проекта продлится до 2 августа, независимая экспертиза – до 25 июля.

В свежем расследовании Сергея Шпилькина про 29 миллионов переболевших [1] важно не только само расследование, к нему уже есть комментарии разбирающие его [2], важнее то что нет смысловой/содержательной/осмысленной реакции Минздрава РФ да и оперштаба тоже. Важная российская особенность в том что с начала пандемии российским Правительством / Минздравом / Оперштабами не опубликовано ни одного набора данных относящихся к COVID-19. Всё что есть было собрано активистами с сайтов вроде стопкоронавирус.рф, из поисковой выдачи поисковых систем, по другим косвенным признакам. Мы от Инфокультуры контактировали с теми кто такие данные собирал и выкладывали их на Humanitarian Data Exchange [3], фактически, выполняя ту работу которую должны делать правительственные и региональные чиновники.

Я хочу обратить внимание что за эти годы весь социальный блок органов власти в нашей стране по закрытости мог бы соревноваться разьве что с МВД или другими правоохранительными органами. Данные не раскрываются не только о COVID-19, в принципе медицинская статистика, даже региональная, а уж о более гранулярной и речи ещё нет, не публикуется. Диалога с обществом о доступности данных не ведётся и, не велось даже во время открытого пр-ва, сопротивление со стороны Минздрава, Минобра и др. было коллосальным.

Что хуже - это то что шло и идёт вымывание профессионалов из очень многих областей госусправления. Вот этот пример с номерами переболевших очень показателен. Может ли со стороны Минздрава кто-то содержательно подробно прокомментировать откуда возникла такая ситуация? Проблема в том что нет, не могут. Также как и в десятках других отраслей. В ИТ сфере это выражается в вымывании самого понятия архитектуры государственных ИТ решений причем в долгосрочном плане. Все настолько увлечены тактическими планами что "поговорить не с кем".

Ссылки:
[1] https://holod.media/2021/07/20/unrz/
[2] https://www.facebook.com/alexx.dragan/posts/4263649057027571
[3] https://data.humdata.org/organization/infoculture

#opendata #investigations

В продолжение про данные о Covid-19, Минцифра заключила контракт с AT Consulting по доработке НСУД и там в документе ТЗ начиная с 43 страницы есть таблица со списком "Базовые наборы данных для первичной загрузки в Подсистему информационно-аналитического обеспечения"

Это не секретные данные, под проект приказа ФСБ не попадают, так почему они до сих пор не открыты? Всего в списке 62 набора данных, если ещё остались журналисты запрашивающие данные у органов власти, то вот вам наводка у какой организации что запрашивать.

#opendata #nsud #contracts

Свежее исследование Forrester Wave со сравнением 12 облачных провайдеров управления данными: Aim, Alation, Ataccama, Collibra, Congruity360, data.world, erwin, Infogix, OneTrust, SAP, Solix, Syniti [1]

В лидерах они упоминают Colibra, Alation, Infogix, Atacamma.

И ещё многих других в "догоняющих". Большая часть этих продуктов в России не представлены потому что все потенциальные их клиенты под прессингом "импортозамещения", но обзор весьма полезен для улавливания трендов в data governance.


Ссылки:
[1] https://reprints2.forrester.com/#/assets/2/1946/RES161533/report

#datacatalogs #clouds

Закрылся ещё один портал открытых данных - Портал открытых данных Приморского края [1], возможно довольно давно, пристально за ним не следили. Вместо этого теперь на сайте администрации края появился раздел "Открытые данные" [2] с 5 тестовыми наборами данных.

Когда-то этот портал анонсировали NextGIS [3] и он позиционировался как портал на базе движка CKAN доработанный для работы с геоданными.

Ссылки:
[1] https://opendata25.primorsky.ru/
[2] https://www.primorsky.ru/opendata2/
[3] https://nextgis.ru/blog/opengeodata-portal/

#opendata #primorsky #datadegradation

Статистика по заболеваемости COVID-19 — одна из самых злободневных тем в России. Граждане не доверяют государственным органам, активисты и СМИ проводят расследования, где утверждается, что число переболевших уже перевалило за 29 миллионов. Не буду сейчас утверждать, правдивы ли официальные данные или надо верить альтернативным оценкам. Однако факт в том, что за последние десятилетия наше государство, в особенности социальный блок правительства, не сделало ничего, чтобы этого доверия стало больше. Данные о качестве жизни скрываются столь же тщательно, как, например, статистика преступлений...

В Forbes вышла моя колонка " Нездоровая закрытость: почему государство не спешит делиться данными с гражданами" [1]

Ссылки:
[1] https://www.forbes.ru/obshchestvo/435565-nezdorovaya-zakrytost-pochemu-gosudarstvo-ne-speshit-delitsya-dannymi-s

#opendata #covid19 #data

К этой "сочной" статистике о повальной неграмотности нормотворцев в исполнительной власти хочется добавить ещё и бесконечный поток нормативки порождаемой органами власти. Ничем не обоснованный поток

👎 Вице-премьер Дмитрий Григоренко оценил качество проектов актов, подготовленных и внесенных бюрократами в Правительство за первые пять месяцев 2021 года. Выяснилось, что аж 52% поступивших проектов не соответствуют регламенту, содержат недостатки правового и лингвистического характера, грамматические и орфографические ошибки.
 
Топ-10 критических нарушений выглядит так:
1) Отсутствие обязательных заключений/результатов экспертиз – 37%;
2) Наплевательское отношение к пояснительной записке – 23%;
3) Отсутствие необходимых согласований – 20%;
4) Непредоставление обязательного протокола заседания Правкомиссии по проведению административной реформы – 18%;
5) Нахальное внесение актов с неурегулированными разногласиями – 13%;
6) Отсутствие внятного обоснования самой необходимости акта – 10%;
7) Отсутствие финансово-экономического обоснования – 10%;
8) Наплевательское отношение к процедуре ОРВ – 9%;
9) Внесение акта неуполномоченным самозванцем – 4%;
10) Наплевательское отношение к процедуре общественного слушания – 4%.
 
В аппарате Правительства устали исправлять документы, которые содержат:
1) Глупые лингвистические и стилистические ошибки – 45%;
2) Грамматические и орфографические ошибки – 43%;
3) Неверные ссылки на источник – 43%;
4) Ошибки правового характера – 32%;
5) Несоблюдение сформированных подходов и сложившейся практики – 22%;
6) Ошибки при форматировании текста – 22%;
7) Ошибки в таблицах – 11%;
8) Дублирование предложений, по которым уже приняты решения – 3%.
 
Дмитрий Юрьевич считает: из-за того, что ряд бюрократов не способен подготовить качественные документы в срок возникают репутационные риски для всего Правительства, а также замедляется развитие российской экономики. От самых обнаглевших чиновников господин Григоренко потребовал прекратить ставить куда ни попадя пометку «Для служебного пользования» ради очевидного обхода обязательной процедуры общественных обсуждений. А всем остальным он поручил тщательно прорабатывать как суть, так и непосредственные тексты вносимых актов, и помнить: в Правительстве фиксируют «косяки» каждого исполнителя по документу, а также его руководителя.

Вот пришёл конец цифровой экономике (c). Да, платформы могут отказаться выполнять эти требования, да у российских разработчиков и не только наступит выбор - регистрируешь юр. лицо за рубежом или сворачиваешь бизнес. А кроме разработчиков ещё много чего и кого от платформ зависят. Да чего уж там, у всех кого почта для домена на Google, к примеру, что им делать?

Готов спорить что эти сроки будут переносить ещё не раз, но даже сам анонс таких мер, это самоудушение экономики.

Минцифры опубликовало проект постановления, дополняющего закон об обязанности иностранных цифровых платформ открывать представительства. Если IT-гиганты не выполнят требования до 1 января 2022 года, им заблокируют проведение финансовых операций через российские банки.

Михаил Третьяк рассказал, что в нынешней редакции закон может сильно ударить по российским разработчикам, рекламодателям и обычным пользователям. Как именно — читайте в «Секрете» ➡️ https://secretmag.ru/news/zhizn-bez-google-play-kak-i-pochemu-zakon-o-prizemlenii-inostrannykh-it-gigantov-navredit-rossiyanam.htm

#комментарии_экспертов

Обновили классификацию объектов в DataCrafter'е. Теперь классифицированы 4405 полей, это 25% от общего их числа.

Добавлены новые классификационные типы:
- Код бюджета Российской Федерации (budgetcode)
- Название кода бюджета Российской Федерации (budgetname)
- Логические типы данных, булевый тип (boolean)
- Код вида расходов (kvrcode)
- Наименование вида расходов (kvrname)
- Уникальный идентификатор MongoDb (mongodbid) - используется внутри системы, не передаётся пользователям поскольку может меняться при перезагрузке данных
- Код РНФИ в реестрах Росимущества (rnfi)

А также многие другие классификационные коды.

Также в систему были загружены данные реестров каталогов открытых данных таких как hubofdata.ru, data.gov.ru и ngodata.ru

#classification #datasets

В D-Russia.ru пишут о изменениях [1] в "трехглавый закон" в котором ввели два новых термина:

«Государственная информационная система – информационная система, созданная в соответствии с настоящим федеральным законом, иными федеральными законами, законами субъектов Российской Федерации, в базах данных которой содержится документированная информация и (или) иные сведения, получаемые или формируемые федеральными органами государственной власти, иными федеральными государственными органами, органами государственной власти субъектов Российской Федерации, иными государственными органами субъектов Российской Федерации, государственными организациями в связи с осуществлением ими полномочий по предоставлению государственных или муниципальных услуг (исполнению государственных или муниципальных функций), предусмотренных нормативными правовыми актами, а также иными организациями, на которые возложено осуществление функций по получению или формированию соответствующей информации и (или) сведений законодательством Российской Федерации, законодательством субъектов Российской Федерации»

и
«Жизненный цикл информационной системы – совокупность взаимосвязанных процессов, объединяемых в этапы, изменения состояния информационной системы от принятия решения о ее создании, формирования исходных требований к ней и до окончания ее эксплуатации (вывода из эксплуатации)».

Определение, конечно, было нужно, но беда в том что определение не решает ключевого вопроса. Все ли ИТ продукты сделанные за бюджетные средства ГИСы? А что делать с эксплуатацией программных продуктов созданных без нормативных документов, например, Минцифра разработала мобильное приложение - это приложение какой статус имеет: ГИС, компонент ГИС и тд. ? Каков его жизненный цикл?

Или, к примеру, Министерство заборостроительства Китежградаского края разработает телеграм-бот. Это ГИС или не ГИС? И такого ещё много.

Иначе говоря законопроект не снимает неоднозначности трактовок, к сожалению.

Ссылки:
[1] https://d-russia.ru/mincifry-opredelilo-ponjatija-gis-i-zhiznennyj-cikl-gis-dlja-vvedenija-ih-v-federalnyj-zakon.html

#gis #government #regulation

Федеральное правительство Германии опубликовало стратегию открытости данных [1]. Довольно подробный текст, доступный только на немецком языке. Много примеров публикации и использования данных и ориентир на дальнейшее их раскрытие и поощрение использования.

В чём отличия от российских реалий?
1. Никаких рейтингов и сравнений госорганов/регионов.
2. Акцент на эффекте от повторного использования данных.
3. Много научных примеров с раскрытием данных на общеевропейском портале Zenodo.org
4. Работа над стандартами по раскрытию данных (стандарт DCAT-AP)

Ссылки:
[1] https://www.bundesregierung.de/breg-de/aktuelles/open-data-strategie-1939808
[2] https://www.bundesregierung.de/resource/blob/975228/1940386/1d269a2ad1b6346fcf60663bdea9c9f8/2021-07-07-open-data-strategie-data.pdf?download=1

#opendata #opengov

Вчера вечером на общественном телевидении (ОТР) я комментировал прошедшие недавно учения по отключению Рунета от Интернета о которых писал ранее РБК [1].

Передачу ОТР и мой комментарий можно посмотреть на сайте их сайте [2] в записи передачи, начиная с 3:26:14.

Честно говоря я хотел об этом написать раньше, но и сейчас не поздно повторить тезисы озвученные в передаче:
1. Отключить рунет от Интернета, конечно, возможно, вопрос лишь цены которая будет непомерной для экономики.
2. С иностранными инвестициями и развитием несырьевой экономики в России можно будет распрощаться.
3. Говорить о том что надо тестировать отключение на случай если нас отключат, это примерно как тестировать самоубийство на случай если могут пристрелить.

В передачу там ещё дозвонился зритель с резонным вопросом что вообще надо всё отключить и вообще ядерная война скоро и она уже должна была ещё ранее произойти.

У меня вот тоже есть вопросы, в самом деле, если отключение Рунета тестируют, то что это давно не было учений ядерных бомбардировок, почему это давно нет учений на случай биологической войны? Граждане, вон, уже забыли где бомбоубежища и авианалётами их пугает Миноброны понарошку на большие военные праздники.

В самом деле, почему нет федерального органа ответственного за создание паники у населения, нет национального проекта нагнетания страха, даже федеральные проекты по запугиванию не попали в 42 приоритетные задачи правительства.

Я в недоумении.

Ссылки:
[1] https://www.rbc.ru/technology_and_media/21/07/2021/60f8134c9a79476f5de1d739
[2] https://otr-online.ru/programmy/segodnya-v-rossii/dolzhno-li-gosudarstvo-kontrolirovat-internet-kak-ozhivit-ekonomiku-kuril-pravo-na-dorogu-tokio-2020-tri-zolota-za-odin-chas-52282.html

#runet