Ivan Begtin
7.99K subscribers
1.77K photos
3 videos
101 files
4.49K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Кратко об открытых данных в Санкт-Петербурге: 3 новых набора данных за 2022-2023 гг

Раз уж пришлось погрузиться в обдумывание идей «Цифровых сервисов» для Санкт-Петербурга, решила заодно посмотреть, что же стало с «Порталом открытых данных», который в марте 2021 года объединили с Системой классификаторов Санкт-Петербурга (до сих пор непонятно, почему Портал ОД является подмножеством Системы классификаторов, но там так интересно все устроено, что об этом будет отдельный пост).

На запрос об «упразднении Портала» Правительство Петербурга ответило: «публикация всех актуальных данных и доступ к уже опубликованным ранее теперь происходят на одном ресурсе». Кстати, спустя два года на сайте Комитета по информатизации нет упоминания о том, что ГИС «Открытые данные Санкт-Петербурга» упразднен, а посвященная ему страница есть.

Что изменилось за два года?

- «исторические» метаданные всех наборов, опубликованных до 2021 года утеряны. Все наборы перенесены с датой версии (первой публикации?) от марта 2021 года. Что было до - не восстановить;

- в паспорте набора нет ни одной даты: невозможно узнать дату актуализации, дату обновления набора данных, дату первой публикации набора данных. Для поиска всех наборов, опубликованных в первые в 2022-2023 году, мне пришлось вручную пройтись по внутренним вкладкам каждого набора данных;

- единственная доступная дата - «дата создания версии». Не нашла на портале, что имеется в виду: Дата выгрузки набора данных из информационной системы? Дата загрузки набора данных на Портал открытых данных? Дата актуальности?

- за 2022-2023 год опубликовано 3 новых набора данных: список светофорных объектов, торговый реестр, внутридворовые спортивные площадки Санкт-Петербурга. Все. В 2020 году на сайте было 194 набора данных, сейчас - 198.

- какие-то старые наборы данных обновляются, некоторые даже регулярно. Но без метаданных их использование затруднительно.
То есть формально Портал открытых данных объединен с Системой классификаторов СПб, но фактически работа над ним не ведется, новые данные не загружаются. Ожидаемо.

При этом в Петербурге есть уникальные и интересные системы, работа над которыми активно ведется: Портал API для разработчиков; Система классификаторов (не в части Портала ОД); Реестр ГИСов Санкт-Петербурга. Жаль, что Порталу открытых данных так «не повезло».

#открытыеданные #спб #системаклассификаторов #открытость
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
В течение 27 мая Архив Санкт-Петербурга будет открытым

В честь Дня города (27 мая) Архивный комитет Санкт-Петербурга открывает на сутки доступ к документам, размещенным на портале "Архивы Санкт-Петербурга» (spbarchives.ru).

На сайте доступны различные исторические документы, в том числе и финансовые, например:

- Протоколы заседаний комиссии по бюджету (1928-1929)
- Переписка о финансировании по бюджету (1941-1942)
- Отчеты об исполнении бюджета г. Ленинграда (1940)
- Проекты районного бюджета Красногвардейского района (1942)
- Местный бюджет Ленинградской губернии (1926-1927)
- Протокол заседания комиссии по пересмотру бюджета Ленинградских академических театров (1928)

Есть несколько особенностей:
- оцифровано не все, поэтому лучше сразу поставить фильтр «только с электронными образами»
- доступ только по ЕСИА (Госуслуги)
- качество электронных образов не очень высокое, есть водяные знаки. Если нужны качественные сканы, то доступ только платный - 20 руб/страница.

На конкурс «Твой Бюджет 2.0» мы подавали идею проекта «Петербургский цифровой архив госфинансов и госуправления» и услышали критику о том, что «работа архивариусов стоит дорого, поэтому за нее нужно платить». Но мы, как налогоплательщики, уже заплатили за создание архивов и работу Архивного комитета. Тем более, не зная прошлого нельзя построить будущее, особенно если для получения знаний создаются искусственные барьеры.

У Яндекса есть поиск по архивам (yandex.ru/archive), который был бы невозможен, если бы архивы 7 российских регионов не публиковались в открытом доступе. К сожалению, Санкт-Петербурга в этом списке нет, но хочется надеяться, что власти города поймут, что открытость принесла бы городу гораздо больше, чем те небольшие деньги, которые архивная служба зарабатывает на простых и не очень богатых людях, большинство из которых хотят узнать историю своей семьи с помощью высокотехнологических инструментов. И если Яндекс и другие организации (тот же Минфин России) позволяют бесплатно искать по миллионам сканированных документов (в том числе и по рукописным с использованием алгоритмов распознавания текста), то документы из «закрытых» архивов, таких как Петербургские, остаются для нас малодоступными.

#госархив #открытыеданные #архивныйкомитет #санктпетербург #твойбюджет #госфинансы
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Минэк опубликовал «открытые данные», но это не данные, и они не открытые

В конце мая, ровно за день до дедлайна по моему запросу (ответ на который, кстати, был просрочен), Минэк все-таки опубликовал какие-то «наборы данных» на своем сайте. Сделано это было для галочки по следующим причинам:

- нет единого подхода к публикации данных: в каких-то наборах скопировали паспорт с Портала открытых данных (не заменив при этом неработающие ссылки), где-то просто прикрепили csv с структурой данных (без каких-либо комментариев и непосредственно набора данных);

- видна небрежность во всем: прикрепить ссылку (неработающую, конечно) на данные по говядине замороженной вместо риса длиннозерного; указать об отсутствии информации об ответственном лице, а строкой ниже написать его почту «ИвановИИ@минэк.гов.ру»; выложить структуру данных без набора данных; опубликовать вместо ссылки на набор данных ссылку на главную страницу неработающего портала Открытых данных;

- большинство наборов данных устаревшие: например, данные о тарифных квотах на рис, молоко, свинину, индейку и говядину за 2016-2017 гг. Сложно придумать, что на сегодняшний день можно сделать с этими данными 5-летней давности и почему опубликованы только эти категории;

- всего «наборов» 19, но ни одного полезного для себя не нашла. Например, есть потенциально интересный набор «Основные показатели социально-экономического развития России», но внутри прикрепленного файла нет ни одного значения;

- План внутреннего аудита Минэка опубликован на 2022 год, План работы Общественного совета - на 2021 год, Плану работы Коллегии Минэка повезло еще меньше - он доступен только на 2018 год (и в нем только две строки: итоги деятельность за 2016 год и планы на 2017-2018 гг);

- «Данные об охвате населения» формально опубликованы, но паспорта или описания их структуры нет, поэтому невозможно определить, какие поля описаны в файле, и за какой год этот файл.

С учетом качества опубликованных файлов есть большие сомнения в том, что Минэк разбирается в предметной области, сможет курировать данное направление и консультировать другие госорганы, не говоря уже о качестве инвентаризации, проведение которой заявлено в информационном сообщении о закрытии Портала открытых данных (кстати, конкурсная документация для нее готовится уже много месяцев).

И самая большая проблема в том, что с Минэка берут пример другие госорганы, ведь именно Минэкономразвития России отвечает за «открытость» и «открытые данные».

Познакомиться с «открытыми данными» Минэка можно тут: https://www.economy.gov.ru/opendata/, ниже опубликую несколько скриншотов.

#открытыеданные #открытость #порталоткрытыхданных #минэк #гостех
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета. Но данных о расходах в отчетах нет

В конце мая Казначейство России возобновило публикацию отчетов об исполнении федерального бюджета на своем официальном сайте, добавив файлы и за 2022 год. В отчетах содержатся:

- детализированные данные по доходам (но без разбивки по администраторам);
- детализированные данные по источникам финансирования дефицита бюджета;
- вкладка «Расходы» осталась, но строк в ней всего две: «Расходы бюджета - всего» и «Результат исполнения бюджета (дефицит / профицит)». Фактически данных о расходах нет.

Если сравним с последним опубликованным полным отчетом (от марта 2022 года), то увидим, что из отчетов пропали:

- разбивка доходов по администраторам;
- детализированные данные о расходах (в т.ч. по администраторам);
- вкладка с детализацией расходов по ФКР.

Напомню, что публикация отчетов об исполнении бюджета на сайте Казначейства России была прекращена в начале прошлого года (последним был опубликован отчет на 1 марта), но до октября данные публиковались на портале ЕПБС в другом формате (с этим тоже были проблемы, т.к. о качестве данные ЕПБС всем известно, а первоисточника для проверки данных не было). Но с октября данные перестали публиковаться и на портале ЕПБС (с последующим удалением данных с апреля по октябрь).

Конечно, публикация данных о доходах и источниках финансирования дефицита бюджета - это уже что-то (и хорошо, что хотя бы в таком виде прошлогодние данные добавили), но хочется большего.

#открытость #казначействороссии #открытыеданные #госфинансы #бюджет #федеральныйбюджет
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
22 июня Архивы Санкт-Петербурга снова откроются на сутки.

22 июня можно будет бесплатно осуществлять поиск по информационным ресурсам архивов (обычно это стоит 77 руб. в сутки) и просматривать цифровые образы с водяными знаками и в низком качестве (spbarchives.ru).

Скачивание цифровых образов без водяных знаков и в хорошем качестве по-прежнему стоит 20 р. за цифровой образ (страницу). Если вам нужные неоцифрованные материалы, то стоимость оцифровки будет составлять ~ 300 руб. за страницу (при себестоимости в 3 руб.).

Но еще больше удивляет (особенно людей, не погруженных в архивную деятельность) - взимание платы за использование собственной техники в читальном зале. Вы можете заказать требуемый источник в читальный зал и сфотографировать его на свою технику, но вам придется оплатить постранично.

По информации Архивного комитета Санкт-Петербурга, в соответствии с законодательством «во всех государственных и муниципальных архивах России взимается постраничная плата за использование своей техники». Это не может не удивлять.

Но даже при необходимости взимания платы, размер оплаты, насколько я поняла, устанавливается архивом или Архивным комитетом, и прейскуранты архивов вызывают большие вопросы.

К сожалению, это не все вопросы и проблемы, которые возникают при попытке собрать «Цифровую библиотеку госфинансов». Есть еще проблема в наличии у Архивных комитетов KPI по пополнению бюджета («не оберешь» граждан - не получишь премию), да и вопрос интеллектуальных прав на купленные цифровые образы и условий их использования тоже вызывает вопросы.

#цифровойархив #архивныйкомитет #открытыеданные #госфинансы
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Изостатистика - одна из первых книг по инфографике

Так как мы решаем большую задачу «собрать бюджеты России за 100 лет», приходится часто искать новые источники исторических книг и документов. Одной из самых интересных находок стала книга И.П. Иваницкого «Изостатистика. Изобразительная статистика и венский метод», изданная в «Москве-Ленинграде» в 1932 году.

Изостатистика, как оказалось, примерно то же самое, что в современном мире называют «инфографикой», и что в книге зовется «количественной системой диаграммирования».

Книга описывает базовые принципы создания диаграмм, приводит большое количество примеров исторических инфографик и разбирает каждую из них.

К сожалению, книга черно-белая, но все равно уникальная.

Скачать книгу можно с сайта НЭБ (уникальный источник исторических книг): https://rusneb.ru/catalog/000199_000009_005073846/

#открытыеданные #инфографика #диаграммы