В США есть официальный реестр государственных доменов в зоне .gov [1], его регулярно обновляют, ведомство GSA публикует обновлённый перечень, а разного рода проекты и активисты активно его используют. Ко времени окончания срока Трампа этот реестр сократился примерно на четверть, в виду госполитики по постепенному сокращению доменов и созданию поддоменов и разделов на госпорталах.

Ben Balter, старший руководитель технических программ в Github'е регулярно анализирует этот список и публикует полученные результаты. Вот и в этом году две недели назад он разместил аналитику со свежими результатами анализа [2].

Что мы можем из него узнать?
- Всего - 1121 федеральный .gov домен (есть ещё некоторое количество в ведение властей штатов и графств)
- 264 домена просто перенаправляют на другие домены
- к 845 доменам можно обращаться без www
- 95.36% доменов поддерживают HTTPS, а 44.3% доменов поддерживают HSTS
- у 669 (72.25%) есть адрес IPv6
- у 305 (32.94%) доменов идентифицируется CMS

и так далее. Полный список доменов и их профилей и данные сканирования общедоступны [3].

Напомню что в России нет официального госреестра госдоменов и большая часть доменов не в зоне .gov.ru. Неофициальный их реестр доступен в репозитории Инфокультуры [4] и там только корневых доменов более 180, а только в зоне .gov.ru с поддоменами более 941 штук.


Ссылки:
[1] https://github.com/GSA/data/tree/master/dotgov-domains
[2] https://ben.balter.com/2021/01/11/analysis-of-federal-dotgov-domains-pre-biden-edition/
[3] https://ben.balter.com/2021-analysis-of-federal-dotgov-domains/domains/
[4] https://github.com/infoculture/govdomains/tree/master/refined

#government #domains

Я, кстати, регулярно рассказываю что веду пока что наиболее полный реестр госдоменов, включая поддомены в России, он в специальном открытом репозитории доступен в виде дампов [1], а сам домен в базе в Airtable и там собираются и связываются:
- домены - всего 7602
- корневые домены - всего 191
- организации - всего 110
- информационные системы - всего 47
- субъекты федерации - все что имеются
- подсети (ASN) - 161 (включая все подсети хостингов, господрядчиков и тд)

При этом пока совершенно не охвачены власти субъектов федерации, бюджетные учреждения всех уровней да и на федеральном уровне далеко не всё, просто не с чем сравнивать, нет эталонной государственной базы.

Все размеченные и обогащённые доп. данными, например, по подсетям дополнительные сведения по стране и типу владельца, а по каждому домену тип домена, статус, уровень власти, поддержка http, https и ещё многое другое.

Так что на выходе это большая такая база которую я начинал вести только в целях мониторинга доменов для архивации, а сейчас она много для чего ещё годится.

Её можно оставить как есть, можно добавить к ней API, а можно сделать над этой базой веб интерфейс и дать возможность просматривать внесённые туда объекты. Сделать это можно двумя условными способами.
Способ 1: Сделать веб надстройку с поиском и просмотром над базой. Продолжать редактировать в Airtable
Способ 2: Сделать вики и в ней роботом создать веб страницы для каждого домена, каждой подсети и других объектов. А дальше переходить в Вики для редактирования и вести базу как базу знаний, в том числе другие могут пополнять эту базу знаний.

Ссылки:
[1] https://github.com/infoculture/govdomains/

#opendata #opengov #it #domains

Да, я давно хочу написать по поводу переноса госдоменов ФОИВов в зону .gov.ru. Цель, конечно, благая, локализовать домены органов власти и госучреждений в этой зоне правильно, но... Всегда есть но, и мне есть что сказать:
1. Перенесли не все ФОИВы. Пример, МВД, на сайте правительства указан mvd.gov.ru, а по факту мвд.рф [1]
2. Инфраструктура почты у большинства госорганов осталась на старых доменах
3. Большая часть информационных систем осталась на старых доменах (не у всех, но у многих). Пример, Росархив [2]
4. Огромное число госпроектов, госучреждений и тд. находятся в других доменах. Пример, системы Росприроднадзора [3]

И так ещё много всего, у меня в реестре госдоменов 192 корневых доменов и больше всего их в зонах msudrf.ru и sudrf.ru в ведении судебного департамента, там есть по сайту на каждый суд.

А пользуясь случаем не могу не напомнить что корневой сервер www.gov.ru [4] - это какой-то бесконечный позор: неполный, неактуальный, бессмысленный и с дизайном из середины 90-х годов

Ссылки:
[1] https://мвд.рф/
[2] https://statistika.archives.ru
[3] https://www.google.com/search?hl=ru&q=site%3A*.fsrpn.ru
[4] https://www.gov.ru/

#government #domains

Я тут много рассказываю про мониторинг госсайтов в России и репозиторий с их списком который я веду. Тем временем о том как это сделано в других странах на примере США.

В США есть репозиторий команды 18F под названием site-scanning [1] где собран код с помощью которого государственные сайты еженедельно проверяются по множеству критериев и о них собирается очень много всякой информации, от метаданных о ссылках на другие ресурсы, до проверки того какие версии TLS/SSL поддерживаются. Собранные данные доступны через API и для выгрузки [2]. Реестр всех госдоменов доступен на портале search.gov [3] и он же используется для поиска по всем госсайтам. Там даже логика похожая той же что я придерживаюсь - отдельно система редактрования реестра и отдельно списки сайтов в CSV формате.

Среди множества задач для которых такие реестры доменов нужны я выделю только несколько:
- определение что автор письма является госслужащий по домену и тем самым давать или не давать возможность регистрации в той или иной системе
- поиск по сайтам, например, с помощью Google Custom Search Engine или его аналогами
- архивация сайтов национальными архивами
- проверки безопасности и мониторинг обязательности применения HTTPS
- выявление зависимостей от третьих сторон (внешних компонентов)
и ещё много другого.

Ссылки:
[1] https://github.com/18F/site-scanning
[2] https://open.gsa.gov/api/site-scanning-api/#overview
[3] https://search.gov/developer/govt-urls.html

#opendata #api #domains #usa

Для тех кто интересуется состоянием госинформатизации, госсайтами и госдоменами и тд. несколько

Это результаты анализа 7694 доменов используемых сайтами органов власти.

Госдомены используемые для эксплуатации государственных информационных систем, прописанных в эксплуатационных и нормативных документах и зарегистрированных на физических лиц
- govprograms.ru - Портал государственных программ Российской Федерации, его часть с которой работают лица ответственные за внесение данных. Прописан в документации сданной подрядчиком по контрактам на его создание и на других ресурсах
- osrpn.ru - сайт общественного совета Росприроднадзора
- fond-kino.ru - сайта федерального фонда социальной и экономической поддержки отечественной кинематографии
- tvroscosmos.ru - сайт телестудии Роскосмоса
- attestatcia.ru - Информационная система "ИС Аттестация" Миннауки и высшего образования РФ
- gosarm.ru - непонятного назначения система Минцифры России
- scmks.ru - ситуационный центр Минцифры России
- rg-des.ru - официальный сайт рабочей группы при Совете при Президенте Российской Федерации по развитию гражданского общества и правам человека по общественному контролю за проведением санитарно-эпидемиологических мероприятий (ощущения официальности, конечно, там минимальное, зато какое название "насыщенное").

Госорганы и структуры при них использующие почту Google для официальной переписки
- president-sovet.ru - совет по правам человека при Президенте РФ
- yadonor.ru - портал ФМБА России
- apkpro.ru - сайт академии Минпросвещения России

Использующие Cloudflare как CDN:
- zhit-vmeste.ru - портал Минтруда "Доступная среда"
- myrosmol.ru - портал Росмолодёжи
- scmks.ru - ситуационный центр Минцифры России

Факты:
- IPv6 используется лишь на менее 0.1% всех госдоменов
- зависимость от зарубежной инфраструктуры реально снизили, раньше почту Google для домена и иные инфраструктурные сервисы использовали чаще

А я напомню что наболее полный реестр госдоменов публикуется в репозитории на Github [1]. Он синхронизирован с большой базой на Airtable где собраны все домены, ASN, информационные системы и связанные с ними сведения. Этот реестр создавался для целей архивации госсайтов, но можно применять и в исследованиях госинфраструктуры. Например, у меня никак не дойдут руки проверить наличие https у госдоменов и протухание сертификатов. Но это уже в сфере инфобеза что в стороне от моих основных интересов, хотя и должно быть в интересах ответственных госорганов.

И, конечно, спектр доменов относящих к гос-ву куда больше. Со всеми бюджетными учреждениями их должно быть около 50-70 тысяч только на федеральном и региональном уровне.

Ссылки:
[1] https://github.com/infoculture/govdomains/

#government #domains

В Ведомостях статья " Банки столкнулись с проблемой блокировки переводов на запрещенных сайтах" [1] о том что у банков нет доступа реестру запрещённых сайтов и они не могут автоматически проверять своих клиентов и блокировать им переводы, по новым требованиям.

В статье, в принципе, скрытый, но чёткий намек что Роскомнадзор как бы, делает всё так, чтобы другим закон было выполнять неудобно. А это не абы что, а требования закона «О противодействии легализации доходов, полученных преступным путем, и финансированию терроризма» (115-ФЗ) поправки в который вступили в силу 13 июля и за невыполнение которого ЦБ может у банка вплоть до того что отозвать лицензию.

Всё это про два практических аспекта ведения этого самого реестра запрещённых сайтов:
1. Отсутствие в нём сведений о формальных основаниях блокировки, о чём есть в статье.
2. Недоступность его ни для кого кроме телеком операторов. Хотя, по хорошему, он вообще как открытые данные должен был бы публиковаться. Ну или в неком регламентированном режиме доступа, ограниченный не только телеком операторами.

Но технические подробности этого реестра и насколько хорошо (скорее плохо) его Роскомнадзор ведет я хочу сейчас отставить в сторону. Сам факт смешения борьбы с онлайн казино, незаконными операциями в интернет и использования реестра для политической цензуры довольно сильно дискредитирует эту затею.

А вот на что стоит обратить внимание так это на вот этот абзац



Кроме автоматизации доступа к реестру запрещенных сайтов, банки описали и другие проблемы, возникшие из-за новых требований.

Сейчас нет единого реестра доменных имен с информацией об их владельцах-юрлицах, а регистраторов доменных имен только в России больше 30, говорится в письме. Агрегированная информация от регистраторов о том, какому юрлицу или ИП принадлежит определенный домен, предоставляется только правоохранительным органам. Поэтому у банков возникает сложность с установлением наличия у клиента каких-либо доменных имен, зарегистрированных в зоне .ru или любой другой, отмечается в письме. Если клиент не сообщит о владении каким-либо доменом, установить полный и актуальный список сайтов, принадлежащих ему, невозможно. РКН ответил банкам, что у ведомства нет «специализированных механизмов», которые позволяют определить принадлежность домена или указателя страницы сайта лицу, оказывающему услуги в интернете.

Это очень прозрачный намек на будущее регулирование через создание такого реестра "конечных бенефициаров или аффилированных лиц' с интернет-доменами. Это только кажется сложной задачей провязать домены с компаниями и ИП, а на практике у этого много интересантов и тотальная гос-перепись доменов с их привязкой к юридическим лицам более чем возможна, весьма вероятно и весьма ожидаема.

Ссылки:
[1] https://www.vedomosti.ru/finance/articles/2021/09/01/884745-banki-blokirovki

#it #regulation #domains #data

Вокруг разговоров про импортозамещение, в основном, вокруг того как госорганам и компаниям надо переходить с зарубежного ПО и оборудования на российское, не могу не отметить значительную, скажем так, лукавость происходящего.

Я вот уже давно веду реестр госдоменов [1] в форме открытого репозитрия на Github, куда выкладываю уже очищенные данные. А также анализирую госинфраструктуру, в первую чтобы заархивировать [2], во вторую очередь чтобы наполнять данными каталоги данных вроде APICrafter'а [3], так вот могу сказать что наши госорганы и госструктуры вовсю используют зарубежную инфраструктуру. Сейчас сделаю значительное лицо и напишу что хостят госсайты в странах НАТО!, и, на самом деле, понятно почему это происходит, потому что качество хостинга и сервисов часто там лучше, а вот непонятна вся эта риторика про импортозамещение.

Вот несколько примеров:
1. Карта дорог Росавтодора хостится map.rosavtodor.gov.ru хостится во Франции на хостинге OVH по адресу 5.135.6.198
2. Непонятный домен госуслуг trackpos.gosuslugi.ru используемый в рассылках Sendpulse на хостинге Hetzner по адресу 168.119.2.85
3. Инфраструктура электронной переписки портала госзакупок zakupki.gov.ru находится в облаке Microsoft и указывает на почтовый сервер zakupki-gov-ru.mail.protection.outlook.com, IP адрес 104.47.8.36

А также не буду показывать пальцем на онлайн ресурсы одного города федерального значения где часть доменов указывают на адреса за пределами российской юрисдикции.

Здесь я не призываю это запретить, призываю лишь определиться и если меньше двуличности с импортозамещением.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] https://ruarxive.org
[3] https://data.apicrafter.ru

#government #infrastructure #it #domains

В рубрике интересных наборов данных, открытый датасет всех доменов в проекте Domains Project [1]. Его автор собрал домены из 1522 TLD из которых 245 относятся к доменам стран, остальные домены общего типа. Общее число собранных доменов 1.7 миллиарда (1,789,946,688 на 29 сентября 2021 г.)

Все доменные имена можно скачать по адресу dataset.domainsproject.org [2] и в репозитории на GitHub [3].
После распаковки это примерно 49 гигабайт данных.

Конечно, это не единственный крупный набор данных о сетевой инфраструктуре, но полезный для тех кто изучает инфраструктуру интернета.

Ссылки:
[1] https://domainsproject.org
[2] https://dataset.domainsproject.org
[3] https://github.com/tb0hdan/domains

#opendata #datasets #data #internet #domains

Многие уже написали о просрочке сертификата домена у cert.gov.ru [1], официального сайта Национального координационного центра по компьютерным инцидентам. В котором, казалось бы, должны быть люди как никто понимающие про безопасность, сертификаты, HTTPS, TLS и так далее, а, тем не менее, вот уже 8 дней с 19 января их сертификат просрочен.

Здесь можно задаваться вопросом и о том что сайт cert.gov.ru почему-то до сих пор сайт-визитка, на нём нет даже методических рекомендаций, а контактный номер - номер мобильной связи.

Но я о другом. Мониторинг состояния доменов, недоступность сайтов, просрочка сертификатов и тому подобное - это всё то что должно быть часть мониторинга государственной инфраструктуры. Как минимум публичной инфраструктуры и который не ведётся и даже не планируется. Нет даже реестра госдоменов и сайтов относящихся к государственным. Я регулярно напоминаю что мы такой реестр ведём в виде открытых данных [2] в частном порядке, для целей архивации сайтов в Национальный цифровой архив [3], но за все эти годы никто из госорганов даже не связывался о том чтобы взять его за основу или иначе повторно использовать для создания государственной системы мониторинга.

Ссылки:
[1] https://cert.gov.ru
[2] https://github.com/infoculture/govdomains
[3] https://ruarxive.org

#security #domains #government

По поводу того что все обсуждают что Минцифры/Правительство потребовало от сайтов госорганов в РФ перенести их на российский хостинг и избавиться от зарубежных счетчиков, баннеров, кода и тд. Я несколько лет, а может уже с десяток лет писал про то насколько в России это аномально то что госсайты хостились где попало, были увешены счетчиками посещаемости и тд. Тогда это было остро-актуально в контексте приватности данных пользователей. Госорганы и госпроекты - это монополии, вешать на них счетчики - это не оставлять пользователю никакого выбора.

Сейчас все это обсуждают в контексте информационной безопасности, а я напомню несколько важных фактов:
1. Я веду полный реестр госдоменов уже несколько лет. Значительная его часть доступа в репозитории на Github [1]
2. Важно помнить что кроме госорганов в России около 100 тысяч разного рода бюджетных и муниципальных учреждений., о которых все забыли
3. Даже без госучреждений сайты ФОИВов и их проектов разбросаны по 164 сетям (ASN)
4. Счетчики, внешний код javascript, баннеры и тд. - это массовое явление, сложно даже описать все случаи когда их использовали
и т.д.

Я всё это фиксировал ещё когда приоритетом цифровой архивации были госсайты, там была регулярная проблема с сохранением сайтов до того как ликвидируют орган власти. Сейчас другие проблемы, одномоментно исчезают сайты СМИ.

Впрочем об этом я пишу в канале @ruarxive.

Ссылки:
[1] https://github.com/infoculture/govdomains

#opendata #government #domains

У меня уже очень долгое время в пассиве домен "kremlin.io" который я ещё давно хотел превратить в дата-проект, но всё это время откладывал и откладывал и откладывал и в этом году тоже отложу, потому что много всего другого в работе. Тоже про данные, но всякое другое.

Применить его можно про всякое. От исторического проекта про разные кремли с их панорамами обзорами, до дата-журналистики про то какой плохой/хороший основной Кремль как политическая институция.

До какого-нибудь софтверного продукта компонента с названием Kremlin, что будет странно по нынешним временам, но почему бы и нет?

Лично я когда-то хотел этот домен использовать в двух разных сценариях:
1. Как каталог данных про РФ именно про госуправление и госполитику.
2. Как проект по мониторингу государственной ИТ/цифровой политики в РФ.

Но оба сценария сейчас не проходят фильтра в виде вопроса "Зачем?", другие сценарии не придумываются, а домен превратился в пассив.
Так что готов его отдать за очень много денег которые все пожертвую на нашу НКО.

#questions #domains #kremlin

В рубрике как это работает у них открытые данные по доменам в зоне .fr (Франция) на сайте Afnic [1] В том числе руководство [2] (на французском языке).

В общей сложности это данные по 8.7 миллионам доменов, объёмом около 600МБ в формате CSV.

Afnic не является государственной структурой и они не имеют обязательств публиковать данные, но делают это поскольку разделяют ценности открытости.

Ссылки:
[1] https://www.afnic.fr/produits-services/services-associes/donnees-partagees/
[2] https://www.afnic.fr/wp-media/uploads/2021/03/Open-Data-fr-afnic-Guide-Utilisateurs.pdf

#opendata #france #domains

В рубрике как это устроено у них несколько проектов с открытыми данными по всем государственным доменам в США.

.gov data [1] база всех доменов в зоне .gov, создана и актуализируется Cybersecurity and Infrastructure Security Agency, доступно в виде датасетов CSV файлов и файлов зоны .gov для DNS. Ведётся как полноценный дата продукт, регулярно обновляется.

GDA/govt-urls [3] репозиторий от U.S. General Services Administration с актуальным перечнем доменов/ссылок на все домены относящиеся к государству федеральные, уровня штатов, локальные, квазигосударственные и др. Огромное их число не в домене .gov кстати

ScanGov [4] публичный проект сканирования госсайтов на предмет соблюдения обязательных требований, рекомендаций и тд. В общем, лучшие практики. Создано в Civic Hacking Agency, использует базы сайтов выше и доступны новые датасеты [5]

Analytics.USA.gov [6] монитор статистики по большинству федеральных сайтов США. Отдаёт данные датасетами и API.

Service Status Checker [7] сервис проверки, мониторинга и уведомлений о недоступности для геопространственных сервисов. Мониторит большое число государственных геопространственных API в США, в основном это сервисы на базе ArcGIS и Geoserver, но не только их.

Ссылки:
[1] https://github.com/cisagov/dotgov-data
[2] https://get.gov/about/data/
[3] https://github.com/GSA/govt-urls
[4] https://scangov.org/
[5] https://docs.scangov.org/data
[6] https://analytics.usa.gov/
[7] https://statuschecker.fgdc.gov/

#opendata #government #domains #datasets