Кратко написал у себя в блоге о эталонных базах данных и золотых записях [1], кратко поскольку тема большая и многие случаи того как они создаются в государстве надо разбирать отдельно.
На самом деле из всех приводимых мной там примеров, по настоящему попытки эталонной базы данных предпринимались при создании реестра участников и неучастников бюджетного процесса и единый реестр населения. Это вот прям базы данных в которых сама логика их создания была в создании "золотой записи". Даже ЕГРЮЛ - это не совсем "золотые записи", а скорее справочные сведения.
Тема неисчерпаемая, есть большие области государства где эталонных данных нет в принципе.
Ссылки:
[1] https://begtin.tech/golden-record/
#data #mdm #goldenrecord #registry
На самом деле из всех приводимых мной там примеров, по настоящему попытки эталонной базы данных предпринимались при создании реестра участников и неучастников бюджетного процесса и единый реестр населения. Это вот прям базы данных в которых сама логика их создания была в создании "золотой записи". Даже ЕГРЮЛ - это не совсем "золотые записи", а скорее справочные сведения.
Тема неисчерпаемая, есть большие области государства где эталонных данных нет в принципе.
Ссылки:
[1] https://begtin.tech/golden-record/
#data #mdm #goldenrecord #registry
Ivan Begtin blog
Единицы правды и золотые записи
Главное что важно помнить при работе с любыми открытыми данными, что за редким исключением, почти все данные довольно плохого качества. Ошибки форматирования, структуры, полноты, актуальности, достоверности и соответствия первоисточнику - это присутствует…
Во всех более менее серьёзных органах власти и компаниях принципы ведения реестров, на самом деле, понимают. И понимают даже в куда более широком смысле чем то что я тут описываю, поскольку ещё есть разного рода системы НСИ, вопросы миграции с унаследованных систем, технологические особенности и не только. Некоторые из таких органов сознательно забивают на малозначащее для них и делают акцент на более значащее. Например, в реестр участников и неучастников бюджетного процесса [3] в Федеральном казначействе полно нерелевантных сведений в виде email адресов и веб-сайтов организаций, но почти идеально вычищены все реквизиты, особенно лицевые счета. Потому что реестр нужен Казначейству именно для учета и согласованной работы со всеми лицевыми счетами.
В качестве завершения, качество сведений в информационных системах и реестрах вполне поддаётся оценке, а измерение качества вполне может быть сформулировано в руководство и даже, частично, автоматизировано. Ну а то насколько полон, актуален, доступен и учётен каждый конкретный реестр - это на совести исключительно людей ответственных за него.
Ссылки:
[1] https://fas.gov.ru/pages/activity/tariffregulation/federalnyij-informaczionnyij-reestr-garantiruyushhix-postavshhikov-i-zon-ix-deyatelnosti.html
[2] https://fias.nalog.ru
[2] https://fias.nalog.ru
[3] https://budget.gov.ru
#data #registry #quality #dataquality #dqm
В качестве завершения, качество сведений в информационных системах и реестрах вполне поддаётся оценке, а измерение качества вполне может быть сформулировано в руководство и даже, частично, автоматизировано. Ну а то насколько полон, актуален, доступен и учётен каждый конкретный реестр - это на совести исключительно людей ответственных за него.
Ссылки:
[1] https://fas.gov.ru/pages/activity/tariffregulation/federalnyij-informaczionnyij-reestr-garantiruyushhix-postavshhikov-i-zon-ix-deyatelnosti.html
[2] https://fias.nalog.ru
[2] https://fias.nalog.ru
[3] https://budget.gov.ru
#data #registry #quality #dataquality #dqm
Коротко про обновлённый "реестр отечественного ПО" [1], в формате "мелких придирок":
1. Раздела "Открытые данные" нет
2. Экспорт реестра в Excel и в XML не работает и давно
3. API для получения данных в JSON нет
4. В записях есть ошибки, в реквизитах, названиях организаций и не только. Пример [2], у организации ИНН 7257777608 не существующий
5. В протоколах заседаний экспертного совета ссылки на приказы из будущего с датой 31.12.2021 [3], см. последнюю страницу.
6. Зачем приказы министра и протоколы эксп. совета публиковать сканами я не понимаю. Это же демонстрация что в министерстве нет электронного документооборота.
Концептуально тоже есть что написать, но это уже про другой жанр и формат.
Ссылки:
[1] https://reestr.digital.gov.ru/reestr/
[2] https://reestr.digital.gov.ru/reestr/303592/
[3] https://reestr.digital.gov.ru/upload/iblock/7b6/%D0%9F%D1%80%D0%BE%D1%82%D0%BE%D0%BA%D0%BE%D0%BB%20220%D0%BF%D1%80%20%D0%BE%D1%82%2019.03.2021.pdf
#it #registry #digital
1. Раздела "Открытые данные" нет
2. Экспорт реестра в Excel и в XML не работает и давно
3. API для получения данных в JSON нет
4. В записях есть ошибки, в реквизитах, названиях организаций и не только. Пример [2], у организации ИНН 7257777608 не существующий
5. В протоколах заседаний экспертного совета ссылки на приказы из будущего с датой 31.12.2021 [3], см. последнюю страницу.
6. Зачем приказы министра и протоколы эксп. совета публиковать сканами я не понимаю. Это же демонстрация что в министерстве нет электронного документооборота.
Концептуально тоже есть что написать, но это уже про другой жанр и формат.
Ссылки:
[1] https://reestr.digital.gov.ru/reestr/
[2] https://reestr.digital.gov.ru/reestr/303592/
[3] https://reestr.digital.gov.ru/upload/iblock/7b6/%D0%9F%D1%80%D0%BE%D1%82%D0%BE%D0%BA%D0%BE%D0%BB%20220%D0%BF%D1%80%20%D0%BE%D1%82%2019.03.2021.pdf
#it #registry #digital
На Cnews феноменальная по кликбейтовости и отсутствию проработки очередная публикация про то что Ростех ещё в марте писал в Минцифру идеи по расширению ИТ льгот и компенсации ИТ-шникам половины аренды, с общим завершением статьи что мол неизвестно чем всё это закончилось. Ссылку на Cnews я давать не буду.
Так вот, чем это закончилось вполне известно, со 2 марта по 20 апреля 2022 года в реестр аккредитованных ИТ компаний было включено 17 юридических лиц относящихся к ГК Ростех.
АО "РТ-ПРОЕКТНЫЕ ТЕХНОЛОГИИ"
АКЦИОНЕРНОЕ ОБЩЕСТВО "ЦЕНТР СУПЕРКОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ"
АО "НИИ "РУБИН"
ООО "МАСТЕРСКАЯ СИСТЕМ"
ООО "РТ-ИНФОРМ"
ООО "СПЕКТР"
АО "СИП РС"
АО "ИНФОРМАКУСТИКА"
АО "ПО "ЭЛЕКТРОПРИБОР"
АО "КОНЦЕРН "АВТОМАТИКА"
ООО "НТ"
АО "ПНИЭИ"
АО "ЦНИИАГ"
ООО "РТ-ЦТ"
АО "КНИРТИ"
АО "РАДИОЗАВОД"
АО "НИИМА "ПРОГРЕСС"
АО "КОМПАНИЯ "СУХОЙ"
Источник - Cписок аккредитованных организаций։ https://digital.gov.ru/ru/activity/govservices/1/
Всё это общедоступные сведения и журналисты CNews, даже при небольшом желании, могли бы и сами это узнать.
И, конечно же, большая часть этих компаний, конечно, же никакого отношения к ИТ отрасли не имеют.
#russia #datasets #registry #it
Так вот, чем это закончилось вполне известно, со 2 марта по 20 апреля 2022 года в реестр аккредитованных ИТ компаний было включено 17 юридических лиц относящихся к ГК Ростех.
АО "РТ-ПРОЕКТНЫЕ ТЕХНОЛОГИИ"
АКЦИОНЕРНОЕ ОБЩЕСТВО "ЦЕНТР СУПЕРКОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ"
АО "НИИ "РУБИН"
ООО "МАСТЕРСКАЯ СИСТЕМ"
ООО "РТ-ИНФОРМ"
ООО "СПЕКТР"
АО "СИП РС"
АО "ИНФОРМАКУСТИКА"
АО "ПО "ЭЛЕКТРОПРИБОР"
АО "КОНЦЕРН "АВТОМАТИКА"
ООО "НТ"
АО "ПНИЭИ"
АО "ЦНИИАГ"
ООО "РТ-ЦТ"
АО "КНИРТИ"
АО "РАДИОЗАВОД"
АО "НИИМА "ПРОГРЕСС"
АО "КОМПАНИЯ "СУХОЙ"
Источник - Cписок аккредитованных организаций։ https://digital.gov.ru/ru/activity/govservices/1/
Всё это общедоступные сведения и журналисты CNews, даже при небольшом желании, могли бы и сами это узнать.
И, конечно же, большая часть этих компаний, конечно, же никакого отношения к ИТ отрасли не имеют.
#russia #datasets #registry #it
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации
Аккредитация ИТ-компаний
Сбербанк социально ориентированная НКО?
Я тут много ругался в адрес Минцифры что они в реестр ИТ компаний навключали всяких и они вроде как даже этот реестр начали чистить.
Но, конечно, есть примеры и похуже. В плане управления качеством данных есть органы власти для которых делать плохо или неправильно - это норма. 2 года назад я писал колонку в РБК [1] о том что Минэкономразвития отвратительно ведёт реестр социально ориентированных организаций. Они даже валидацию реквизитов ИНН/ОГРН не проводили. Прошло 2 года, валидацию они поправили, новое постановление Пр-ва N 1290 выпустили и, стало ли лучше ?
Короткий ответ - нет. Качество данных - это не только качество формы, но и содержания. В реестре социально ориентированных НКО всего 45+ тысяч организаций и там есть не только Сбербанк, но и:
- 288 НКО учрежденных федеральными органами власти и госорганизациями (госНКО)
- 336 НКО учрежденных региональными органами власти (госНКО)
- 314 НКО учрежденных муниципальными органами власти (почти госНКО, с некоторой натяжкой)
- 34 муниципальных учреждения
- Московское областное отделение КПРФ (а как же остальные отделения, не социально ориентированы?)
- 3 региональных министерства и 3 региональных бюджетных учреждения.
Мне есть что про это всё сказать, но скорее я напишу. Последний месяц работаю над книжкой по госНКО. Поднял свои старые записки и хочу привести текст к эпистолярному жанру. К сожалению, многие источники данных уже исчезли из открытого доступа, но и оставшихся достаточно для интересного рассказа.
А за Сбербанк, лично мне, конечно, очень тревожно. То ИТ компания, то СОНКО, неужели всё так плохо?
Ссылки:
[1] https://www.rbc.ru/newspaper/2020/06/19/5ee8ce139a79479edce77585
[2] https://data.economy.gov.ru/analytics/sonko
#registry #data #dataquality #ngo
Я тут много ругался в адрес Минцифры что они в реестр ИТ компаний навключали всяких и они вроде как даже этот реестр начали чистить.
Но, конечно, есть примеры и похуже. В плане управления качеством данных есть органы власти для которых делать плохо или неправильно - это норма. 2 года назад я писал колонку в РБК [1] о том что Минэкономразвития отвратительно ведёт реестр социально ориентированных организаций. Они даже валидацию реквизитов ИНН/ОГРН не проводили. Прошло 2 года, валидацию они поправили, новое постановление Пр-ва N 1290 выпустили и, стало ли лучше ?
Короткий ответ - нет. Качество данных - это не только качество формы, но и содержания. В реестре социально ориентированных НКО всего 45+ тысяч организаций и там есть не только Сбербанк, но и:
- 288 НКО учрежденных федеральными органами власти и госорганизациями (госНКО)
- 336 НКО учрежденных региональными органами власти (госНКО)
- 314 НКО учрежденных муниципальными органами власти (почти госНКО, с некоторой натяжкой)
- 34 муниципальных учреждения
- Московское областное отделение КПРФ (а как же остальные отделения, не социально ориентированы?)
- 3 региональных министерства и 3 региональных бюджетных учреждения.
Мне есть что про это всё сказать, но скорее я напишу. Последний месяц работаю над книжкой по госНКО. Поднял свои старые записки и хочу привести текст к эпистолярному жанру. К сожалению, многие источники данных уже исчезли из открытого доступа, но и оставшихся достаточно для интересного рассказа.
А за Сбербанк, лично мне, конечно, очень тревожно. То ИТ компания, то СОНКО, неужели всё так плохо?
Ссылки:
[1] https://www.rbc.ru/newspaper/2020/06/19/5ee8ce139a79479edce77585
[2] https://data.economy.gov.ru/analytics/sonko
#registry #data #dataquality #ngo