Продолжаю обзоры открытых данных создаваемых не-государством. На сей раз данные о инфраструктуре Интернета.

M-Lab (Measurement Lab) [1] - это консорциум посвящённый измерению Интернета. Он включает:
- New America’s Open Technology Institute (OTI)
- PlanetLab Consortium
- Google Inc.
- и множество академических инститов.

Проект создан для непрерывного мониторинга за качеством связи в Интернете, публикации данных о текущем состоянии этой связи и визуализации этих данных наглядно.

В рамках проекта раскрываются огромные объёмы данных [2] хранящиеся на Google Storage [3]. Это по несколько гигабайт архивных данных ежедневно.

В M-Lab уже накоплены данные созданы такими инструментами как:
- Glasnost [4] - определение приоритизации или цензуры сетевого трафика
- NDT [5] - инструмент измерения трафика TCP под большой нагрузкой
- Neurobot [6] - инструмент сбора информации о скорости каналов, сетевом нейтралитете и цензуре
- NPAD [7] - инструмент измеряющий проблемы в сетевом пути влияющие на производительность
- OONI [8] - инструмент измерения цензуры, прослушки и манипуляции трафиком
- Paris Traceroute [9] - инструмент картирующий топологию сети
- pathload2 [10] - инструмент для измерения ширины каналов
- ShaperProbe [11] - инструмент определения приоритизации трафика
- SlideStream [12] - инструмент измеряющий состояние TCP трафика и информацию о завершенных TCP соединениях
- mlab-collectd [13] - инструмент накопления статистики с серверов M-Lab

Все материалы публикуются под лицензией CC Zero. Практически весь код M-Lab раскрывается н Github [x]

Ссылки:
[1] https://www.measurementlab.net/about/
[2] https://www.measurementlab.net/data/
[3] https://www.measurementlab.net/data/gcs/
[4] https://console.developers.google.com/storage/browser/m-lab/glasnost/
[5] https://console.developers.google.com/storage/browser/m-lab/ndt/
[6] https://console.developers.google.com/storage/browser/m-lab/neubot/
[7] https://console.developers.google.com/storage/browser/m-lab/npad/
[8] https://console.cloud.google.com/storage/browser/m-lab/ooni/
[9] https://console.cloud.google.com/storage/browser/m-lab/paris-traceroute/
[10] https://console.developers.google.com/storage/browser/m-lab/pathload2/
[11] https://console.cloud.google.com/storage/browser/m-lab/shaperprobe/
[12] https://console.developers.google.com/storage/browser/m-lab/sidestream/
[13] https://console.developers.google.com/storage/browser/m-lab/utilization/
[14] https://github.com/m-lab

#opendata #opengov #internet

На днях произошла интереснейшая утечка большого объёма данных - структуры доменной зоны сайтов Северной Кореи [1] включающей множество ссылок на существующие веб-сайты в этой стране, включая сайты корпораций, госорганов и университетов.

Удалось это из-за некорректно настроенных доменных серверов что удалось узнать автору утечки во время своего проекта TLDR [2] (A Continuously Updated Historical TLD Records Archive).

Чем это закончится внутри самой кореи - кто знает, а вот посмотреть на некоторые их интернет ресурсы - очень интересно.


Ссылки:
[1] https://github.com/mandatoryprogrammer/NorthKoreaDNSLeak
[2] https://github.com/mandatoryprogrammer/TLDR

#opendata #internet #northkorea

Сервис выдачи бесплатных TLS сертификатов для доменов Let's Encrypt [1] еще в феврале 2017 года стал наиболее популярным сервисом создания сертификатов, а в этом месяце достинг планки в 35%, это доля сертификатов выдаваемых Let's Encrypt, по оценке NetTrack [2]. Напомню что в мае 2016 года Let's Encrypt начинал свой взлет, но у него была доля в только 5% всех сертификатов.

Практически все коммерческие сервисы такие как Godaddy, Geotrust и Comodo теряют свою долю и пользователи все чаще подключают сертификаты Let's encrypt автоматически.

Эта история важна еще и тем что базовая безопасность перестала восприниматься как услуга и стала восприниматься как инфраструктура. В ситуации когда TLS должно быть базовым протоколом работы сети, то и раздачей сертификатов должна заниматься общественная организация. Пока все идет к тому что у коммерческих игроков через пару лет не останется тут вообще никаких шансов на заработок.

Но единственная ли это область где качественный недорогой некоммерческий сервис способен "убить рынок" ? Что будет если такие сервисы появились бы для электронного документооборота или бухгалтерских услуг?

Когда-то таким образом переструктурировался весь рынок электронной почты. Когда раздавая бесплатные почтовые аккаунты крупнейшие цифровые сервисы практически убили все сервисы платной электронной почты. На какое-то время.


Ссылки:
[1] https://letsencrypt.org/
[2] https://nettrack.info/ssl_certificate_issuers.html
[3] https://en.wikipedia.org/wiki/Let%27s_Encrypt

#internet #web #security

Вышел отчёт Правительства о деятельности за 2012-2017 годы [1] [2] помимо общих красивых слов там ещё и 3 слайда - 18, 20, 27 напрямую касаются Интернета.

Я воздержусь от подробных комментариев, скажу лишь что в любом отчёте важно не то что там есть, а то чего там нет.

Ссылки:
[1] https://government.ru/news/32246/
[2] https://static.government.ru/media/files/cNe663ge3X6ILtWakxSav3iAbDHKU7y5.pdf

#government #internet

Свежий законопроект от сенатора Боковой [1] О внесении изменений в Федеральный закон "О защите детей от информации, причиняющей вред их здоровью и развитию" и отдельные законодательные акты Российской Федерации по вопросу обеспечения безопасности и развития детей в информационном пространстве"

Внесен 26 февраля вечером и содержит положение о недопущении размещения информации о привлечении детей к участию в создании информационной продукции, причиняющей вред их здоровью и (или) развитию

и ещё ряд положений.

Формулировки размытые, в ФЭО как всегда "расходов федерального бюджета не потребуется" несмотря на то что есть раздел:
——
3) статью 16 дополнить частью 4 следующего содержания:
«Организации, осуществляющие образовательную деятельность,
обязаны применять меры для защиты несовершеннолетних обучающихся
от информации, причиняющей вред их здоровью и (или) развитию, путем
разработки и реализации программ обеспечения информационной
безопасности обучающихся.
Программы обеспечения информационной безопасности
обучающихся данных организаций должна учитывать требования к
административным и организационным мерам, техническим и
программно-аппаратным средствам защиты детей от информации,
причиняющей вред их здоровью и (или) развитию.».
——

а слова "обязаны" как-то трудно трактовать без увеличения расходов.

Ссылки:
[1] https://sozd.duma.gov.ru/bill/654418-7

#internet #runet #kids #watchdog

С ноября 2020 года в Индонезии действует новое регулирование платформ, приложений и социальных сетей MR5 [1] очень похожее на регулирование германский закон NetDZ [2] и похожие законы и регулирование в Австралии, Индии, Венесуэле, России, Малайзии, Кении, Филиппинах и других странах.

Регулирование в Индонезии создано Министерством коммуникации и информации и вводит следующее:
- операторы любой цифровой платформы или сервис (Private Electronic System Operator, private ESO) должны зарегистрироваться и получить сертификат, в противном случае их могут заблокировать. Это требование экстерриториально и распространяется на все сервисы доступные индонезийским пользователям. Это охватывает все соцсети, цифровые маркеплейсы, цифровые сервисы, сервисы обрабатывающие данные о гражданах и так далее.
- регистрация этих операторов должна произойти до середины мая 2021 года, каждый зарегистрировавшийся должен будет предоставить прямой доступ к их системам для мониторинга и доступа правоохранителей
- у всех компаний/сервисов цифровой контент которых используется в Индонезии должен быть свой локальный представитель ответственный за исполнение требований по предоставлению персональных данных и удаление контента
- MR5 включает формулировки требующие удалять по требованию любые материалы "создающие социальную напряжённость" и "требование удалять которые предусмотрено местным законодательством" и тому подобное. Фактически могут удаляться любые материалы по требованию их Министерства коммуникации и информации
- платформам/сервисам запрещено информировать пользователях о способах получения доступа к запрещённым документам (это можно расшифровать как полный запрет на VPN и документы/тексты/публикации с рекомендациями по настройке VPN, даже на уровне ссылок на соответствующие инструкции). Такие "рекомендации" регулятор Индонезии уже выдавал пользователям [3]
- операторы (кроме облачных провайдеров) обязаны мониторить то что запрещённого цифрового контента нет на их платформах
- в MR5 указана новая официальная должность назначаемого чиновника, условно "Министра по блокированию доступа" который имеет право запросить удаление информации, которая должна быть удалена в течение 24 часов при стандартном запросе и 4 часов при срочном запросе.

Всё это в материале EFF на английском [4].

В целом принятое регулирование является довольно жёстким и, казалось бы, в случае многих других стран цифровые корпорации и сервис-провайдеры могли бы его проигнорировать, но Индонезия сейчас - это 175 миллионов пользователей при 271 миллионном населении [4] и это огромный рынок который ещё и активно растёт. С другой стороны если цифровые платформы, соцсети и сервисы согласятся на подобное, то значительно ускорится введение аналогичного регулирования в других странах. Пока же страны с куда меньшим экономическим влиянием, идут по пути Китая с созданием централизованного интернет-шлюза с жёсткой фильтрацией. Такой декрет принят в Камбодже в начале февраля 2021 года [6]

Ссылки:
[1] https://jdih.kominfo.go.id/produk_hukum/view/id/759/t/peraturan+menteri+komunikasi+dan+informatika+nomor+5+tahun+2020
[2] https://www.article19.org/wp-content/uploads/2017/12/170901-Legal-Analysis-German-NetzDG-Act.pdf
[3] https://www.asiasentinel.com/p/indonesia-minister-anti-vpn-threat-free-speech
[4] https://www.eff.org/deeplinks/2021/02/indonesias-proposed-online-intermediary-regulation-may-be-most-repressive-yet
[5] https://www.slideshare.net/DataReportal/digital-2020-indonesia-january-2020-v01
[6] https://www.reuters.com/article/cambodia-internet-idUKL4N2KN20W

#regulation #internet #indonesia

В Forbes моя свежая колонка "Разведка боем: как Роскомнадзор меняет модель управления Рунетом" [1] про последние события с замедлением Роскомнадзора.

Ссылки:
[1] https://www.forbes.ru/tehnologii/423155-razvedka-boem-kak-roskomnadzor-menyaet-model-upravleniya-runetom

#regulation #internet #russia

В Arstechnica две заметки о том как Роскомнадзор блокировал Twitter в России [1] [2] в них, в том числе, независимое подтверждение что это ошибка в регулярном выражение при блокировке по подстроке "t.co", поскольку аналитики из Kentik [3] (компания специализирующаяся на сетевом мониторинге) обнаружили заметное падение трафика в сети Ростелекома [4].

О ситуации также пишет NYT [5] и тоже делают акцент что Минцифра опровергала связь недоступности госсайтов и блокировок Twitter'а в самом Twitter аккаунте министерства.

В целом очень жаль что мало то немногое за что позитивно относятся к России в других странах - это антиковидная вакцина, а над действиями Роскомнадзора разьве что не смеются.

Ссылки:
[1] https://arstechnica.com/gadgets/2021/03/a-russian-isp-confirms-roskomnadzors-twitter-blocking-blooper/
[2] https://arstechnica.com/information-technology/2021/03/russian-attempt-to-throttle-twitter-appears-to-backfire/
[3] https://www.kentik.com
[4] https://cdn.arstechnica.net/wp-content/uploads/2021/03/kentik-russia-throttling-twitter.png
[5] https://www.nytimes.com/2021/03/10/world/europe/russia-twitter.html

#regulation #internet

В Motherboard статья "How Data Brokers Sell Access to the Backbone of the Internet" [1] о том как Интернет провайдеры приторговывают втихую данными о трафике (netflow) и помогают отслеживать пользователей VPN. Там подробно рассказывается о компании Team Cymru, в том числе историю о том как CitizenLab с помощью инструментов Team Cymru ловили израильский малварь Candiru [2].

Статья полезная для тех кто хочет больше о том как устроена реальная приватность, а ещё вернее её отсутствие, и о том что VPN далеко не гарантировано защищает от слежки и, если очень надо и при наличии финансовых ресурсов, всё отслеживается.

Ссылки:
[1] https://www.vice.com/en/article/jg84yy/data-brokers-netflow-data-team-cymru
[2] https://citizenlab.ca/2021/07/hooking-candiru-another-mercenary-spyware-vendor-comes-into-focus/

#privacy #internet #teamcymru

В рубрике интересных наборов данных, открытый датасет всех доменов в проекте Domains Project [1]. Его автор собрал домены из 1522 TLD из которых 245 относятся к доменам стран, остальные домены общего типа. Общее число собранных доменов 1.7 миллиарда (1,789,946,688 на 29 сентября 2021 г.)

Все доменные имена можно скачать по адресу dataset.domainsproject.org [2] и в репозитории на GitHub [3].
После распаковки это примерно 49 гигабайт данных.

Конечно, это не единственный крупный набор данных о сетевой инфраструктуре, но полезный для тех кто изучает инфраструктуру интернета.

Ссылки:
[1] https://domainsproject.org
[2] https://dataset.domainsproject.org
[3] https://github.com/tb0hdan/domains

#opendata #datasets #data #internet #domains

Судебный департамент блокирует доступ к ряду информационных ресурсов не с российских IP адресов. Например, при заходе на раздел "Федеральные суды общей юрисдикции" или в поиск по судебным делам. Проверялось на VPN с серверами во Франции и в Эстонии.

Удивительного в этом ничего нет, во многих странах органы власти блокируют доступ для стран и больших макрорегионов. Например, портал data.gov в США не открывается с российских IP адресов и таких примеров много.

Но, конечно, в данном случае это странно поскольку участники судебных слушаний могут быть не только внутри страны, а блокировки запросов безальтернативны, не дают ответа на каком основании они производятся м что делать.

#internet #data #courts #access