Кратко об открытых данных в Санкт-Петербурге: 3 новых набора данных за 2022-2023 гг
Раз уж пришлось погрузиться в обдумывание идей «Цифровых сервисов» для Санкт-Петербурга, решила заодно посмотреть, что же стало с «Порталом открытых данных», который в марте 2021 года объединили с Системой классификаторов Санкт-Петербурга (до сих пор непонятно, почему Портал ОД является подмножеством Системы классификаторов, но там так интересно все устроено, что об этом будет отдельный пост).
На запрос об «упразднении Портала» Правительство Петербурга ответило: «публикация всех актуальных данных и доступ к уже опубликованным ранее теперь происходят на одном ресурсе». Кстати, спустя два года на сайте Комитета по информатизации нет упоминания о том, что ГИС «Открытые данные Санкт-Петербурга» упразднен, а посвященная ему страница есть.
Что изменилось за два года?
- «исторические» метаданные всех наборов, опубликованных до 2021 года утеряны. Все наборы перенесены с датой версии (первой публикации?) от марта 2021 года. Что было до - не восстановить;
- в паспорте набора нет ни одной даты: невозможно узнать дату актуализации, дату обновления набора данных, дату первой публикации набора данных. Для поиска всех наборов, опубликованных в первые в 2022-2023 году, мне пришлось вручную пройтись по внутренним вкладкам каждого набора данных;
- единственная доступная дата - «дата создания версии». Не нашла на портале, что имеется в виду: Дата выгрузки набора данных из информационной системы? Дата загрузки набора данных на Портал открытых данных? Дата актуальности?
- за 2022-2023 год опубликовано 3 новых набора данных: список светофорных объектов, торговый реестр, внутридворовые спортивные площадки Санкт-Петербурга. Все. В 2020 году на сайте было 194 набора данных, сейчас - 198.
- какие-то старые наборы данных обновляются, некоторые даже регулярно. Но без метаданных их использование затруднительно.
То есть формально Портал открытых данных объединен с Системой классификаторов СПб, но фактически работа над ним не ведется, новые данные не загружаются. Ожидаемо.
При этом в Петербурге есть уникальные и интересные системы, работа над которыми активно ведется: Портал API для разработчиков; Система классификаторов (не в части Портала ОД); Реестр ГИСов Санкт-Петербурга. Жаль, что Порталу открытых данных так «не повезло».
#открытыеданные #спб #системаклассификаторов #открытость
Раз уж пришлось погрузиться в обдумывание идей «Цифровых сервисов» для Санкт-Петербурга, решила заодно посмотреть, что же стало с «Порталом открытых данных», который в марте 2021 года объединили с Системой классификаторов Санкт-Петербурга (до сих пор непонятно, почему Портал ОД является подмножеством Системы классификаторов, но там так интересно все устроено, что об этом будет отдельный пост).
На запрос об «упразднении Портала» Правительство Петербурга ответило: «публикация всех актуальных данных и доступ к уже опубликованным ранее теперь происходят на одном ресурсе». Кстати, спустя два года на сайте Комитета по информатизации нет упоминания о том, что ГИС «Открытые данные Санкт-Петербурга» упразднен, а посвященная ему страница есть.
Что изменилось за два года?
- «исторические» метаданные всех наборов, опубликованных до 2021 года утеряны. Все наборы перенесены с датой версии (первой публикации?) от марта 2021 года. Что было до - не восстановить;
- в паспорте набора нет ни одной даты: невозможно узнать дату актуализации, дату обновления набора данных, дату первой публикации набора данных. Для поиска всех наборов, опубликованных в первые в 2022-2023 году, мне пришлось вручную пройтись по внутренним вкладкам каждого набора данных;
- единственная доступная дата - «дата создания версии». Не нашла на портале, что имеется в виду: Дата выгрузки набора данных из информационной системы? Дата загрузки набора данных на Портал открытых данных? Дата актуальности?
- за 2022-2023 год опубликовано 3 новых набора данных: список светофорных объектов, торговый реестр, внутридворовые спортивные площадки Санкт-Петербурга. Все. В 2020 году на сайте было 194 набора данных, сейчас - 198.
- какие-то старые наборы данных обновляются, некоторые даже регулярно. Но без метаданных их использование затруднительно.
То есть формально Портал открытых данных объединен с Системой классификаторов СПб, но фактически работа над ним не ведется, новые данные не загружаются. Ожидаемо.
При этом в Петербурге есть уникальные и интересные системы, работа над которыми активно ведется: Портал API для разработчиков; Система классификаторов (не в части Портала ОД); Реестр ГИСов Санкт-Петербурга. Жаль, что Порталу открытых данных так «не повезло».
#открытыеданные #спб #системаклассификаторов #открытость
ФНС России опубликовала API для получения сведений из Государственного адресного реестра и статистику по 16 тысячам муниципалитетов
Очень приятно, что появляются новые открытые данные, и на этот раз порадовала ФНС России, которая значительно обновила портал Федеральной информационной адресной системы.
На портале расширили функциональные возможности, обновили дизайн, модернизировали поиск (теперь можно искать по частям адреса, индексам и различным классификаторам), и, самое главное, добавили API.
На данный момент ФНС России предоставляет всем желающим возможность получить данные (а именно 36 Гб) в том виде, в котором им удобно:
- дампы (bulk data) - возможность скачать архив целиком. Тот вид предоставления данных, которого мы очень ждем от Минфина России и Комитета информатизации Санкт-Петербурга. При скачивании дампов доступна версионность до сентября 2022. Конечно, хотелось бы скачивать и более разные версии.
- API для разработчиков (и всех желающих) с документацией в Swagger
- СМЭВ.
Помимо этого разработчикам доступно руководство пользователя API-сервисов (с примерами) и возможность напрямую отправить запросы в техподдержку. Хотела написать, что доступны и условия использования открытых сервисов, но ссылка на них выдает ошибку 404 (думаю, быстро это пофиксят).
На сайте доступна и статистика о количестве адресных объектов: количество муниципальных образований, населенных пунктов, элементов планировочной структуры, улично-дорожной сети, земельных участков, зданий (строений), помещений в пределах здания и помещений в пределах помещений. В веб-интерфейсе указаны текущие значения (но, не указана дата, на которую они выгружены) и динамика за неделю.
Удивительно, но эти данные доступны и в формате открытых данных с детализацией до муниципального образования. Для 16 тысяч муниципалитетов доступны данные по количеству земельных участков, зданий, помещений, машино-мест и пр.
Вот бы и по ЕГРЮЛу так!
fias.nalog.ru
#фнсроссии #открытыеданные #фиас #api #открытость
Очень приятно, что появляются новые открытые данные, и на этот раз порадовала ФНС России, которая значительно обновила портал Федеральной информационной адресной системы.
На портале расширили функциональные возможности, обновили дизайн, модернизировали поиск (теперь можно искать по частям адреса, индексам и различным классификаторам), и, самое главное, добавили API.
На данный момент ФНС России предоставляет всем желающим возможность получить данные (а именно 36 Гб) в том виде, в котором им удобно:
- дампы (bulk data) - возможность скачать архив целиком. Тот вид предоставления данных, которого мы очень ждем от Минфина России и Комитета информатизации Санкт-Петербурга. При скачивании дампов доступна версионность до сентября 2022. Конечно, хотелось бы скачивать и более разные версии.
- API для разработчиков (и всех желающих) с документацией в Swagger
- СМЭВ.
Помимо этого разработчикам доступно руководство пользователя API-сервисов (с примерами) и возможность напрямую отправить запросы в техподдержку. Хотела написать, что доступны и условия использования открытых сервисов, но ссылка на них выдает ошибку 404 (думаю, быстро это пофиксят).
На сайте доступна и статистика о количестве адресных объектов: количество муниципальных образований, населенных пунктов, элементов планировочной структуры, улично-дорожной сети, земельных участков, зданий (строений), помещений в пределах здания и помещений в пределах помещений. В веб-интерфейсе указаны текущие значения (но, не указана дата, на которую они выгружены) и динамика за неделю.
Удивительно, но эти данные доступны и в формате открытых данных с детализацией до муниципального образования. Для 16 тысяч муниципалитетов доступны данные по количеству земельных участков, зданий, помещений, машино-мест и пр.
Вот бы и по ЕГРЮЛу так!
fias.nalog.ru
#фнсроссии #открытыеданные #фиас #api #открытость
Открытая разработка нового сайта Минспорта России
Мы все помним, как Минэк закрыл Портал открытых данных под предлогом инвентаризации данных (конкурсную документацию на которую готовят уже 3-4 месяца). Но не все госорганы являются настолько закрытыми.
Минспорт России, например, предположительно «разрабатывает» новую версию сайта в открытом доступе, опубликовав ее на поддомене preprod.minsport.gov.ru (судя по поддомену, это тестовая среда на продакшене). Все файлы при этом скачиваются с поддомена storage.minsport.gov.ru. Запуск новой версии сайта с сохранением доступа к архивной версии у госорганов встречается довольно часто, а публикацию не афишированной новой версии вижу впервые.
Сейчас новый сайт доступен только на поддомене Минспорта, но еще на выходных копия была и на сайте подрядчика Минспорта, которым является компания Etton (на данный момент подрядчик доступ уже закрыл авторизацией). Контракт на разработку был заключен в 2022 году, его сумма составляет 11,5 млн руб. Срок исполнения контракта закончился 10 мая, штрафов за несоблюдение сроков в ЕИС нет.
Кстати, Минспорт - единственный госорган, который я встречала, без уведомления о регистрации обращений. Вы отправляете обращение, появляется на сайте строка о том, что обращение отправлено, и на этом все. Ни статус, ни номер обращения вы без звонка в Минспорта узнать не можете. Зато при звонке вам сообщают не только номер обращения, но и исполнителя, и его телефон. Надеюсь, в новой версии сайта добавят автоматические уведомления на почту
Скриншоты новой и старой версии сайта прикреплены к посту.
#минспорт #открытыеданные #официальныйсайт #разработка #открытость #минэк
Мы все помним, как Минэк закрыл Портал открытых данных под предлогом инвентаризации данных (конкурсную документацию на которую готовят уже 3-4 месяца). Но не все госорганы являются настолько закрытыми.
Минспорт России, например, предположительно «разрабатывает» новую версию сайта в открытом доступе, опубликовав ее на поддомене preprod.minsport.gov.ru (судя по поддомену, это тестовая среда на продакшене). Все файлы при этом скачиваются с поддомена storage.minsport.gov.ru. Запуск новой версии сайта с сохранением доступа к архивной версии у госорганов встречается довольно часто, а публикацию не афишированной новой версии вижу впервые.
Сейчас новый сайт доступен только на поддомене Минспорта, но еще на выходных копия была и на сайте подрядчика Минспорта, которым является компания Etton (на данный момент подрядчик доступ уже закрыл авторизацией). Контракт на разработку был заключен в 2022 году, его сумма составляет 11,5 млн руб. Срок исполнения контракта закончился 10 мая, штрафов за несоблюдение сроков в ЕИС нет.
Кстати, Минспорт - единственный госорган, который я встречала, без уведомления о регистрации обращений. Вы отправляете обращение, появляется на сайте строка о том, что обращение отправлено, и на этом все. Ни статус, ни номер обращения вы без звонка в Минспорта узнать не можете. Зато при звонке вам сообщают не только номер обращения, но и исполнителя, и его телефон. Надеюсь, в новой версии сайта добавят автоматические уведомления на почту
Скриншоты новой и старой версии сайта прикреплены к посту.
#минспорт #открытыеданные #официальныйсайт #разработка #открытость #минэк
Минэк опубликовал «открытые данные», но это не данные, и они не открытые
В конце мая, ровно за день до дедлайна по моему запросу (ответ на который, кстати, был просрочен), Минэк все-таки опубликовал какие-то «наборы данных» на своем сайте. Сделано это было для галочки по следующим причинам:
- нет единого подхода к публикации данных: в каких-то наборах скопировали паспорт с Портала открытых данных (не заменив при этом неработающие ссылки), где-то просто прикрепили csv с структурой данных (без каких-либо комментариев и непосредственно набора данных);
- видна небрежность во всем: прикрепить ссылку (неработающую, конечно) на данные по говядине замороженной вместо риса длиннозерного; указать об отсутствии информации об ответственном лице, а строкой ниже написать его почту «ИвановИИ@минэк.гов.ру»; выложить структуру данных без набора данных; опубликовать вместо ссылки на набор данных ссылку на главную страницу неработающего портала Открытых данных;
- большинство наборов данных устаревшие: например, данные о тарифных квотах на рис, молоко, свинину, индейку и говядину за 2016-2017 гг. Сложно придумать, что на сегодняшний день можно сделать с этими данными 5-летней давности и почему опубликованы только эти категории;
- всего «наборов» 19, но ни одного полезного для себя не нашла. Например, есть потенциально интересный набор «Основные показатели социально-экономического развития России», но внутри прикрепленного файла нет ни одного значения;
- План внутреннего аудита Минэка опубликован на 2022 год, План работы Общественного совета - на 2021 год, Плану работы Коллегии Минэка повезло еще меньше - он доступен только на 2018 год (и в нем только две строки: итоги деятельность за 2016 год и планы на 2017-2018 гг);
- «Данные об охвате населения» формально опубликованы, но паспорта или описания их структуры нет, поэтому невозможно определить, какие поля описаны в файле, и за какой год этот файл.
С учетом качества опубликованных файлов есть большие сомнения в том, что Минэк разбирается в предметной области, сможет курировать данное направление и консультировать другие госорганы, не говоря уже о качестве инвентаризации (и переходе на Гостех, конечно), проведение которой заявлено в информационном сообщении о закрытии Портала открытых данных (кстати, конкурсная документация для нее готовится уже много месяцев).
И самая большая проблема в том, что с Минэка берут пример другие госорганы, ведь именно Минэкономразвития России отвечает за «открытость» и «открытые данные».
Познакомиться с «открытыми данными» Минэка можно тут: https://www.economy.gov.ru/opendata/, ниже опубликую несколько скриншотов.
#открытыеданные #открытость #порталоткрытыхданных #минэк #гостех
В конце мая, ровно за день до дедлайна по моему запросу (ответ на который, кстати, был просрочен), Минэк все-таки опубликовал какие-то «наборы данных» на своем сайте. Сделано это было для галочки по следующим причинам:
- нет единого подхода к публикации данных: в каких-то наборах скопировали паспорт с Портала открытых данных (не заменив при этом неработающие ссылки), где-то просто прикрепили csv с структурой данных (без каких-либо комментариев и непосредственно набора данных);
- видна небрежность во всем: прикрепить ссылку (неработающую, конечно) на данные по говядине замороженной вместо риса длиннозерного; указать об отсутствии информации об ответственном лице, а строкой ниже написать его почту «ИвановИИ@минэк.гов.ру»; выложить структуру данных без набора данных; опубликовать вместо ссылки на набор данных ссылку на главную страницу неработающего портала Открытых данных;
- большинство наборов данных устаревшие: например, данные о тарифных квотах на рис, молоко, свинину, индейку и говядину за 2016-2017 гг. Сложно придумать, что на сегодняшний день можно сделать с этими данными 5-летней давности и почему опубликованы только эти категории;
- всего «наборов» 19, но ни одного полезного для себя не нашла. Например, есть потенциально интересный набор «Основные показатели социально-экономического развития России», но внутри прикрепленного файла нет ни одного значения;
- План внутреннего аудита Минэка опубликован на 2022 год, План работы Общественного совета - на 2021 год, Плану работы Коллегии Минэка повезло еще меньше - он доступен только на 2018 год (и в нем только две строки: итоги деятельность за 2016 год и планы на 2017-2018 гг);
- «Данные об охвате населения» формально опубликованы, но паспорта или описания их структуры нет, поэтому невозможно определить, какие поля описаны в файле, и за какой год этот файл.
С учетом качества опубликованных файлов есть большие сомнения в том, что Минэк разбирается в предметной области, сможет курировать данное направление и консультировать другие госорганы, не говоря уже о качестве инвентаризации (и переходе на Гостех, конечно), проведение которой заявлено в информационном сообщении о закрытии Портала открытых данных (кстати, конкурсная документация для нее готовится уже много месяцев).
И самая большая проблема в том, что с Минэка берут пример другие госорганы, ведь именно Минэкономразвития России отвечает за «открытость» и «открытые данные».
Познакомиться с «открытыми данными» Минэка можно тут: https://www.economy.gov.ru/opendata/, ниже опубликую несколько скриншотов.
#открытыеданные #открытость #порталоткрытыхданных #минэк #гостех
Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета. Но данных о расходах в отчетах нет
В конце мая Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета на своем официальном сайте, добавив файлы и за 2022 год. В отчетах содержатся:
- детализированные данные по доходам (но без разбивки по администраторам);
- детализированные данные по источникам финансирования дефицита бюджета;
- вкладка «Расходы» осталась, но строк в ней всего две: «Расходы бюджета - всего» и «Результат исполнения бюджета (дефицит / профицит)». Фактически данных о расходах нет.
Если сравним с последним опубликованным полным отчетом (от марта 2022 года), то увидим, что из отчетов пропали:
- разбивка доходов по администраторам;
- детализированные данные о расходах (в т.ч. по администраторам);
- вкладка с детализацией расходов по ФКР.
Напомню, что публикация отчетов об исполнении бюджета на сайте Казначейства России была прекращена в начале прошлого года (последним был опубликован отчет на 1 марта), но до октября данные публиковались на портале ЕПБС в другом формате (с этим тоже были проблемы, т.к. о качестве данные ЕПБС всем известно, а первоисточника для проверки данных не было). Но с октября данные перестали публиковаться и на портале ЕПБС (с последующим удалением данных с апреля по октябрь).
Конечно, публикация данных о доходах и источниках финансирования дефицита бюджета - это уже что-то (и хорошо, что хотя бы в таком виде прошлогодние данные добавили), но хочется большего.
#открытость #казначействороссии #открытыеданные #госфинансы #бюджет #федеральныйбюджет
В конце мая Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета на своем официальном сайте, добавив файлы и за 2022 год. В отчетах содержатся:
- детализированные данные по доходам (но без разбивки по администраторам);
- детализированные данные по источникам финансирования дефицита бюджета;
- вкладка «Расходы» осталась, но строк в ней всего две: «Расходы бюджета - всего» и «Результат исполнения бюджета (дефицит / профицит)». Фактически данных о расходах нет.
Если сравним с последним опубликованным полным отчетом (от марта 2022 года), то увидим, что из отчетов пропали:
- разбивка доходов по администраторам;
- детализированные данные о расходах (в т.ч. по администраторам);
- вкладка с детализацией расходов по ФКР.
Напомню, что публикация отчетов об исполнении бюджета на сайте Казначейства России была прекращена в начале прошлого года (последним был опубликован отчет на 1 марта), но до октября данные публиковались на портале ЕПБС в другом формате (с этим тоже были проблемы, т.к. о качестве данные ЕПБС всем известно, а первоисточника для проверки данных не было). Но с октября данные перестали публиковаться и на портале ЕПБС (с последующим удалением данных с апреля по октябрь).
Конечно, публикация данных о доходах и источниках финансирования дефицита бюджета - это уже что-то (и хорошо, что хотя бы в таком виде прошлогодние данные добавили), но хочется большего.
#открытость #казначействороссии #открытыеданные #госфинансы #бюджет #федеральныйбюджет