Ivan Begtin
8K subscribers
1.88K photos
3 videos
101 files
4.58K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Маленький преданонс. В августе-ноябре 2018 года мы в Информационная культура и Ассоциация участников рынка данных, а конкретно я лично проводили обследование открытых интерфейсов государственных информсистем и иных информационных систем под госрегулированием на предмет раскрытия из них персональных данных пользователей.

Только на основе общедоступной информации. Результаты не были публичными, их направили в Минсвязь, Роскомнадзор, Генпрокуратуру, что-то всё ещё в работе, а многое уже исправлено.

Около половины найденного - это сведения из удостоверяющих центров, государственных и не очень. И как раз в их случае большая часть найденного уже исправлена, а остальные не исправят пока их явно не "пнешь" похоже.

Лично я долго думал что делать с найденным. Можно ли делать общедоступными результаты этого исследования? Можно ли рассказывать о путях вылова раскрытия перс. данных в информационных системах.

В итоге ту часть исследования которая касается удостоверяющих центров мы будем делать общедоступной. Это подробный анализ систем с конкретными путями воспроизведения и скриншотами по 17 УЦ в которых выявлена эта история (из примерно 50% существующих которые мы проверили).

Сейчас есть развилка:
1. Сделать это в виде собственного доклада, после перепроверки и дополнения информацией о том что было исправлено в итоге после чего рассылать пресс-релиз.
2. Поделиться с одним из крупных федеральных изданий под то что у них будет 1-2 журналиста готовых проверить то что тогда было выявлено и что исправлено и написать об этом качественный материал сославшись на Инфокультуру и Ассоциацию. Может быть даже провести это исследование повторно охватив 100% УЦ.

Если есть идеи и предложения как это лучше сделать - пишите мне на [email protected]

#openness #investigations #gis #personaldata
Меня регулярно спрашивают есть ли у меня добрые слова в адрес наших госорганов? Критиковать всегда легче, чем хвалить, конечно же, особенно когда поводов для критики много. Но бывают случаи когда они находятся.

1. Министерство культуры РФ и Фонд Кино разместили сведения о всех фактах господдержки отечественного кинематографа со сметами, кассовыми результатами и многим другим в разделе "Государственная поддержка" [1]. Теперь можно не просто строить прогнозы успешности кинопроката, но и создавать рейтинги наиболее провальных режиссёров и продюсеров и ещё многое другое. Это многое говорит о российской киноотрасли и надо отдать должное Минкультуры, они выкладывают в открытый доступ данные которые можно и интерпретировать для их критики, тем самым определяя прозрачность как важную часть госполитики. Это как если бы Минздрав начал бы публиковать данные по успешности операций на сердце по больницам, но Минздрав на такое не пойдет;)

2. Очень много примеров сильной ИТ работы есть у субъектов федерации. Например, в Санкт-Петербурге один из лучших в России, а может и просто лучший, реестр государственных информационных систем [2] где есть не только карточки самих систем, контракты, сведения о нормативных документах, но и данные о их базах данных, используемым классификциям и многое другое. Я даже не могу представить себе какую огромную работу проделывает Комитет информатизации Санкт-Петербурга чтобы поддерживать все эти данные в актуальном состоянии.

3. Чуть менее детальный, но также качественный реестр ГИСов в Ленинградской области [3]. Хотя и не столько дотошно как в Санкт-Петербурге, но весьма большая проделанная работа и данные общедоступны

4. Статистика ЕГЭ в Костромской области на сайте местного РЦОИ [4]. Простой, недорогой, BI с детализацией до районови куче фильтров через которые можно увидеть данные в очень интересных разрезах.

Ссылки:
[1] https://ekinobilet.fond-kino.ru/government-support/
[2] https://reestr-gis.gov.spb.ru/rgis/#gis
[3] https://reestr-is.lenobl.ru/registry/public/systems/list
[4] https://www.ege-kostroma.ru/stat/home

#govtech #gov #data
РБК пишут о появлении Федеральной информационной системы биометрических учетов (ФИСБУ) [1] в ближайшем будущем и то что МВД погрузит туда сведения из пока ещё разрозненных систем биометрического учета - ДНК, отпечатков пальцев и фотографий. А в некоторой перспективе и походку и татуировки гражданина.

Как относится к этому? Я бы начал с того что поиск по словам "пробив по учетам МВД" [2] даёт совершенно безрадостную картину того как данные из учётов МВД доступны "неавторизованным пользователям". Да, конечно, вот так просто отпечатки, ДНК или походку не передать серым сервисам чтобы пробить кого угодно, но фотографию точно можно.

Главные мои опасения появления ФИСБУ именно в этом. Второе опасение в том обяжут ли коммерческие компании расшифровки генома, Genotek и Atlas, сдавать сведения о расшифрованных ДНК в ФИСБУ.

И третье опасение в том что все системы биометрической аутентификации и авторизации могут обязать сдавать биометрические сведения в ФИСБУ.

Что это значит для граждан? Тотальный мониторинг передвижения даже тех кто не пользуется мобильными телефонами и ли пользуется телефонами оформленными на других людей.

И, конечно, это означает появление системы учёта граждан сравнимая с учётами в теперь уже единой системе ЗАГС.

Ссылки:
[1] https://www.rbc.ru/technology_and_media/24/02/2020/5e4fb5af9a7947cfdfd5e1e3
[2] https://duckduckgo.com/?t=ffab&q=%D0%BF%D1%80%D0%BE%D0%B1%D0%B8%D0%B2+%D0%BF%D0%BE+%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D0%BC+%D1%83%D1%87%D0%B5%D1%82%D0%B0+%D0%BC%D0%B2%D0%B4&ia=web

#gis #government #gositsystem
Только что вышел аналитический доклад «Оценка открытости государственных информационных систем в России» [1] подготовленный для Счетной палаты Российской Федерации совместно АНО Информационная культура и Центром перспективных управленческих решений

Это большой и обстоятельный доклад о котором уже успели написать Cnews [2], Tadviser [3] и ТАСС [4].

О чём этот доклад? О том что государство тратит огромные средства на государственные информационные системы, но данные оттуда как были так и остаются недоступными, а сам учёт систем и расходов на них, мягко скажем, несовершенен.

Мы не смогли тотально проверить на открытость всё, проверили только 50 наиболее востребованных ГИС и описали методику того как мы это делали.

А я дополню что мы только только подступили к анализу качества данных в этих ГИСах, что мы совсем не успели охватить региональные ГИС. А в регионах есть очень крутой опыт по их инвентаризации и Минкомсвязи есть у кого поучиться в субъектах федерации, особенно если перестать говорить с субъектами федерации свысока, и начать прозревать и понимать что кое-где организация работ выстроена очень неплохо. Иначе говоря работы осталось много и мы её продолжаем.

Надо отметить Министерство культуры которое у нас вышло лидером в оценке их информационных систем, совершенно заслуженно.

Спасибо всем кто нам помогал, отвечал на вопросы, помогал собирать материалы, оценивать, готовить итоговый доклад [5].

Ссылки:
[1] https://ach.gov.ru/news/tolko-16-gosudarstvennykh-informsistem-imeyut-vysokuyu-stepen-otkrytosti
[2] https://www.cnews.ru/news/top/2020-03-27_schetnaya_palata_raskritikovala
[3] https://www.tadviser.ru/index.php/Статья:ИТ_в_федеральных_ведомствах_России
[4] https://tass.ru/ekonomika/8092583
[5] https://ach.gov.ru/upload/pdf/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BE%D1%81%D1%82%D0%B8%20%D0%B3%D0%BE%D1%81%D1%83%D0%B4%D0%B0%D1%80%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85%20%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%B2%20%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D0%B8.pdf

#opendata #opengov #gis #data #it #government #govit
Для тех кто интересуется созданием и развитием государственных информационных систем в России, обратите внимание на последний бюллетень Счетной палаты [1], где на 105-107 страниц есть любопытные подробности по государственной информационной системе учета твердых коммунальных отходов (ГИС УТКО). Не без ссылки на наш аналитический доклад [2] по открытости ГИСов.


Ссылки:
[1] https://ach.gov.ru/upload/iblock/462/46234b3e3624fcccbb8bace5c892f2f4.pdf#page=105
[2] https://ach.gov.ru/upload/pdf/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BE%D1%81%D1%82%D0%B8%20%D0%93%D0%98%D0%A1%202020.pdf

#opendata #gis #data
Я продолжу цикл про государственные информационные системы о которых мало кто знает, несмотря на наличие там вполне полезных данных.

- ЕСИМО [1] Единая государственная система информации об обстановке в мировом океане. Разработана Минэкономразвития, участвуют в ней более десятка органов власти. Включает базу более чем 3300 показателей/наборов данных/цифровых материалов. Можно сказать что это был один из первых порталов данных.
- СГРИР «Автоматизированная информационная система государственной регистрации информационных ресурсов» [2] по логике своего существования должна была включить все сведения о базах данных (информационных ресурсах) регистрируемых государством, по факту это каталоги электронных изданий
- ГАС Управления, документы стратегического планирования в рамках [3] мало кому известных за пределами ряда органов власти реестр документов стратегического планирования. Для тех кто изучает работу муниципальных образований там есть немало интересного.

Ссылки:
[1] https://esimo.ru
[2] https://catalog.inforeg.ru/
[3] https://gasu.gov.ru/stratdocuments

#data #government #gis
В D-Russia.ru пишут о изменениях [1] в "трехглавый закон" в котором ввели два новых термина:

«Государственная информационная система – информационная система, созданная в соответствии с настоящим федеральным законом, иными федеральными законами, законами субъектов Российской Федерации, в базах данных которой содержится документированная информация и (или) иные сведения, получаемые или формируемые федеральными органами государственной власти, иными федеральными государственными органами, органами государственной власти субъектов Российской Федерации, иными государственными органами субъектов Российской Федерации, государственными организациями в связи с осуществлением ими полномочий по предоставлению государственных или муниципальных услуг (исполнению государственных или муниципальных функций), предусмотренных нормативными правовыми актами, а также иными организациями, на которые возложено осуществление функций по получению или формированию соответствующей информации и (или) сведений законодательством Российской Федерации, законодательством субъектов Российской Федерации»

и
«Жизненный цикл информационной системы – совокупность взаимосвязанных процессов, объединяемых в этапы, изменения состояния информационной системы от принятия решения о ее создании, формирования исходных требований к ней и до окончания ее эксплуатации (вывода из эксплуатации)».

Определение, конечно, было нужно, но беда в том что определение не решает ключевого вопроса. Все ли ИТ продукты сделанные за бюджетные средства ГИСы? А что делать с эксплуатацией программных продуктов созданных без нормативных документов, например, Минцифра разработала мобильное приложение - это приложение какой статус имеет: ГИС, компонент ГИС и тд. ? Каков его жизненный цикл?

Или, к примеру, Министерство заборостроительства Китежградаского края разработает телеграм-бот. Это ГИС или не ГИС? И такого ещё много.

Иначе говоря законопроект не снимает неоднозначности трактовок, к сожалению.

Ссылки:
[1] https://d-russia.ru/mincifry-opredelilo-ponjatija-gis-i-zhiznennyj-cikl-gis-dlja-vvedenija-ih-v-federalnyj-zakon.html

#gis #government #regulation
Совершенно незаслуженно упущенный мной и ранее не упомянутый вызов/challenge по созданию 30 дневных карт, 30DayMapChallenge [1]. Он организован специально для самых упоротых упорных дизайнеров, проходит 30 дней с 1 по 30 ноября в течение которых необходимо каждый день публиковать карту на заданную тему: точки, линии, полигоны и так далее. Каждый день надо публиковать результат в социальных медиа с хэштегом #30DayMapChallenge

Весь проект - это частная инициатива Topi Tjukanov который проводит эти конкурсы с 2019 года. Можно посмотреть, например, на работы 2022 года [2].

Никаких призов нет, только фан и репутации в сообществе. Это крутой челлендж, с оценкой результатов по "лайкам" и "ретвитам". Потому что это вызов (challenge), а не конкурс

Правил там немного, главное из которых я бы выделил Don’t be an asshole. Для тех кто хочет самому(-ой) себе бросить вызов - это будет прекрасная возможность, попробовать свои навыки, а потом ещё и рассказать об этом по завершению.

Ссылки:
[1] https://30daymapchallenge.com
[2] https://30daymapchallenge.com/2022/

#gis #contests #challenges #geodata #opendata
Подборка ссылок про данные, технологии и не только:
- OpenSeaMap [1] аналог OpenStreetMap для морей, открытая краудсорсинговая карта морей и морской инфраструктуры. Нигде не видел сравнений масштабов проекта с коммерческими, но может быть есть шанс повторить судьбу OSM ?
- Data Formulator [2] инструмент по автоматизации визуализации данных с помощью ИИ. Создан исследователями из Microsoft в рамках научной работы. Впервые опубликовали в январе 2024, а в октябре добавили возможность запускать его локально
- 30DayMapChallenge [3] глобальный конкурс для GIS специалистов с ежедневными задачками по визуализации геоданных. В этот раз задачки на ноябрь 2024. Для тех кто хочет показать что умеет визуализировать данные - это очень хороший конкурс чтобы показать себе и другим уровень своих навыков.
- A Business Analyst’s Introduction to Business Analytics [4] книга по бизнес аналитике в открытом доступе. Все примеры на языке R, для тех кто интересуется первым и знает второе - самое оно.
- First aid for figures [5] добротная подборка ресурсов о том как учёным лучше оформлять их работы, научные иконки для замены текстов, оформление таблиц, оформление изображений и тд.
- Chart.css [6] один из самых простых инструментов рисования графиков с помощью элементов HTML и CSS стилей. Поддерживает много видов графиков, очень просто настраивается и очень легковесен.
- A vision for public sector data in Scotland [7] в Шотландии моделируют стратегию региона по работе с госданными. Для этого там создали группу экспертов из 30 человек и под названием Horizon Scan Group после чего те разработали вот такой документ долгосрочного видения
- Using Rust in Non-Rust Servers to Improve Performance [8] большой гайд о том как оптимизировать выполнение задач с помощью Rust для проектов не на Rust. Ваш код медленно работает? Так его можно переписать на Rust, во много как альтернатива переписывания его на C++.

Ссылки:
[1] https://openseamap.org
[2] https://github.com/microsoft/data-formulator
[3] https://30daymapchallenge.com/
[4] https://www.causact.com/
[5] https://helenajamborwrites.netlify.app/posts/24-10_linkcollection/
[6] https://chartscss.org/
[7] https://community.thedatalab.com/news/2187703
[8] https://github.com/pretzelhammer/rust-blog/blob/master/posts/rust-in-non-rust-servers.md

#opensource #gis #dataviz #opendata