Начиная с 15 октября все потихонечку начинают страдать, в первую очередь те кто находится в ru.pool.ntp.org, включая MSK-IX, потом операторы связи которые видят проблемы с трафиком UDP и даже знают кто его генерирует. Те операторы которые не видят, чувствуют что есть какие-то проблемы, потому что, вероятно, ТСПУ тоже от этого страдает, пытаясь отбить DDoS из NTP запросов, или не пытаясь, а просто реагируя на проходящий трафик, как рассказывается в презентации Леонида Рыжика из П.А.К.Т на сегодняшнем Пиринговом форуме.
C 3 ноября, на форуме ntppool.org начинают обсуждать проблему высокой нагрузки. 14 ноября kkrusor, автор статьи и на Habr, сообщает в этой теме о своих проблемах. А 15 обсуждают уже конкретно про Россию. Всё это не зная про проблемы операторов, и, в основном, сходятся на DDoS, который не редкость. А потом, уже на Habr, где в комментариях проскакивает связь с Yandex станцией.
С 10 ноября в Yandex узнают о проблеме, видимо от жалоб тех операторов которые видят растущее количество UDP запросов, но не считают её критичной. 20 ноября, раньше чем статья на Habr, проблема внутри Yandex решена, но обновление прошивки выпущено только в выходные в экстренном режиме, уже после статьи на Habr.

Но это только предыстория, маркер ситуации, я хотел сказать про другое. Никакие чатики в телеге, обсуждения на официальной площадке проекта ntppool.org, то что это затронуло, в том числе и такого гиганта как MSK-IX, знания о проблеме внутри Yandex, не изменили привычного распорядка дня. Можно как угодно ругать Habr, но похоже это единственное связующее звено русскоязычного IT сообщества. При том такого, мнение которого имеет вес, без наличия этого веса ничего не происходит. Этот вес принёс сразу рост количества серверов в пуле, при существующей проблеме с трафиком, ещё до решения проблемы.
С другой стороны, можно констатировать, что это самое сообщество находится в сильно раздробленном состоянии, части которого общаются между собой мало, если вообще общаются. В любом случае, я думаю, что именно это общение победило, не сразу но победило, наверное могло бы победить раньше если бы общения было больше и сообщество сильнее и уважаемей, а обсуждаемые вопросы находились в конструктивном техническом ключе и не тонули в море флуда особенно в чатиках.

А теперь к Пиринговому форуму, я прошу прощения, что заставляю так много читать в пятницу вечером, можете это растянуть на все выходные. Просто пока свежи мои впечатления от прошедшей недели и сегодняшнего просмотра трансляции. Я буду говорить про ту часть которая про Инфраструктуру и сетевые сервисы, параллельную часть вы уже сами, при желании.

Финальная секция оправдала все мои ожидания, вишенка на торте, я бы даже сказал бриллиант Пирингового форума этого года. Нет смысла пересказывать, начинайте смотреть с доклада Максима Раевского, который, завёл аудиторию вполне конкретной актуальной проблемой, которая и обсуждалась дальше, та самая внутрянка телекомов в прямом эфире. Я всё ждал пока заявленное георезервирование выйдет за рамки Москвы, но этого не случилось. Если смотреть с моего столба, то Москва эта точка на карте, я беру каналы до Москвы, а не до какой-то точки внутри Москвы, для меня этой точки внутри не существует. Но с чем нельзя не согласится у нас всё через Москву и проблемы с M9 внутри Москвы, это проблемы всей России, такова данность.

В целом, сегодняшний форум это место где надо было присутствовать лично, потому что всё строилось от панельных дискуссий и доклад по сути был только один, про историю одного DDoS от Леонида Рыжика из П.А.К.Т. прошедшийся очень хорошо по всем аспектам, как это выглядит сейчас, при чём тут ТСПУ и как с ним быть, может быть даже дружить, но не забывать что его тоже могут DDoS'ить. А также техническими и организационным моментам со знакомыми чувствами тех кто видел это сам или погружен в проблематику. Наверное, с него прямо стоит начать смотреть весь форум, потому что все остальные доклады это вступление к обсуждению спикерами на сцене и они не идут в отрыве от этого.

Секция про то как поменялся Интернет, наверное бы никак, продолжал бы расти в своём темпе, если бы в августе не отрубился YouTube. Тут интересно, что к этому не были готовы, хотя и справились, и основные улучшения связанные с ростом внутреннего трафика мы должны уже ждать в следующем году, когда бюджеты дойдут куда надо.

Секция про безопасность была сосредоточена на DDoS и в общем борьбой с последствиями какими-то техническими или не техническими решениями. Тут было мало именно Интернета, постольку поскольку всё у нас в Интернете и в какой-то степени обсуждение DDoS из далёкого Yac2013, более полезна практическими вопросами тем что надо делать, чтобы исключить возможности некоторых атак, не на себя, а на других со своей сети - аккуратно применить в своей сети BCP38. Потому что используемые ранее эффективные способы атак никуда не делись, просто к ним добавились другие. А ещё политики MANRS для борьбы с безопасностью маршрутизации в Интернет, про которую было упомянуто лишь вскользь. Интересно, что по внешнему контуру России защититься более менее удалось, средствами ТСПУ в том числе, но и самими защищающимися тоже, поэтому источники DDoS сместились внутрь страны, которые уже не так просто срезать и надо их как минимум классифицировать. В конечном итоге все сошлись на том что ближайшее будущее это борьба двух ИИ между собой, один который формирует атаку, второй который её отбивает.

И начало про про КИИ, на самом деле про импортозамещение. Насколько я оптимистичен, но даже мне показалось через чур оптимистичным: во всём мы лучшие и в NAT и в BRAS и всё у нас скоро своё будет. Наверное да, наверное в какой-то степени можно говорить это про телеком, где набор функций достаточно прямолинеен и важны объёмы. В кровавом энтерпрайзе нужен универсальный комбайн, как раз то что ругали в том числе, где есть немного NAT, немного туннелей, немного шифрования, немного MPLS, немного того и всего. Но Пиринговый форум точно не про кровавый энтерпрайз, поэтому мы подождём ещё, пока производители обратят внимание на этот сектор.

Вот пожалуй по большому счёту и всё. Главное отличие, как я уже говорил, это то что всё строится от дискуссий. При том что они все про Интернет и операторов, в конечном итоге не было, почти не было, упоминаний BGP, да и вообще никакой технической конкретики протоколов и процедур Интернета. Но вместе с этим поднимались вопросы одновременно над этим, на 8 уровне, и вопросы под этим, что делает именно дискуссию интересней в более широких границах. Поэтому надо было быть лично и, думаю, вечерний фуршет должен в этом году особенно удастся. Но я не жалею, свою потребность в общении в этом году я с лихвой удовлетворил на nexthop.

Если помните про сообщество, много букв назад, то вот такой дискуссионный подход, наверное, и позволяет его формировать, если оставаться открытым в этой дискуссии для всех мнений. Поздравляем всех организаторов с удавшимся, хотя и опять другим Пиринговым форумом.

Ещё стоит упомянуть книгу Интернет изнутри: Архитектура экосистемы Интернета / Андрей Робачевский, новое издание которой презентовали на форуме. В далёком, не помню каком году, я с удовольствием получил экземпляр из рук автора с автографом и тут же прочитал пока возвращался домой, после чего передал её в библиотеку тогдашнего работодателя. Читайте новое издание, которое теперь можно скачать, хотя и без живого автографа, хуже оно от этого не становится.

traceroute-mapper - инструмент для перевода вашей трассировки на географическую карту. Не забывайте очищать карту перед следующем построением, иначе всё наложится друг на друга. IPv6 есть. Внутри, ipinfo.io, тоже приятный whois инструмент, позволяющий работать curl из консоли.

Магистральные сети связи в России

Издание ComNews Research выпустило новую версию карты "Магистральные сети связи в России" с данными на октябрь 2024г.
Аналитику данных и сведений по карте издание приводит в своей статье:
- https://www.comnews.ru/content/236040/2024-11-29/2024-w48/1180/magistralnye-seti-svyazi-rossii-2024#map-section

Согласно результатов опроса:
- рынок магистрального доступа насчитывает более 20 игроков,
- протяженность магистральных ВОЛС которых на территории страны составила в октябре 2024 года 1476 тыс. км

- интерактивная карта.
- карта в pdf.

Добавим контекста в статье на fierce-network.com к этой завирусившейся картинке с конференции AutoCon2. Никакой новой сути она не несёт и этот спор стар как мир - жить в чистом поле и всё делать самим, ведя натуральный обмен с другими такими же, или разделиться на кланы использующие разные продукты от разных вендоров живя под стенами их городов. В конце концов решили, что нужно хотя бы о терминологии договориться для начала.
Вот сейчас очень кстати, то что невозможно было пропустить если смотрели или были на nexthop, можно вспомнить про клан Yandex и их набор инструментов для сетевой автоматизации Annet, который opensource, если хочется в какой-нибудь клан таки примкнуть.

DNSSEC и anycast добавляют столько сложности, что те проблемы которые в других случаях прошли бы незаметными стали видны. Но есть обратная сторона, найти конкретное проблемное место стало значительно сложнее. История про залипший экземпляр DNS сервера у Afrinic и как это искали.

Напоминание о том что оптику надо чистить и для этого есть большое количество инструментов. Но, на самом деле, к этому вопросу щепетильнее всего относятся те кто уже что-то знает про оптику, но работает с ней мало, не говорим про всякие пограничные случаи, большие дистанции и прочее, там тоже относятся щепетильно. А в провайдерских полях: дунул, плюнул, линк понялся, ошибок нет, уровень в пределах -20dBm, поехали дальше.

Строгая математическая модель, даже две, с доказательствами, для выбора оптимального пиринг-партнёра в заданных точках присутствия. И сайт пример расчёта для некоторого количества известных ASn в рамках США. Если совсем коротко, то притягиваются похожие друг на друга.

Индийские провайдеры, вероятно, выигрывают что-то по полосе "хитро" играясь с маршрутизацией между своим апстримом и им же через IX. Но шутки с IX и возможными кольцами маршрутизации, могут плохо кончаться, я видел, но там была неопытность, а не умысел. Подробностей я уже совсем не помню, помню только что это навсегда отучило смешивать пиринговые и транзитные отношения с одним и тем же провайдером и увеличило список правил фильтрации маршрутов на стыках.

Практика (сразу GitHub с топологией лабы) Dynamic BGP neighbors и теория для Cisco, заодно и шаблоны когда BGP соседств действительно много.

У APNIC новый 2410::/12 блок адресов для дальнейшего распределения, второй /12 с 2006 года. Из которого 2410::/17 сразу уехало к Huawei для распределения в Сингапуре. Также в статье немного статистики и политики распределения IPv6 по региону.

Кстати w3techs.com тоже статистику ведёт по IPv6 в разрезе Web сайтов и их технологий, у них почти 26% получается проникновения, больше всего (больше половины) в Барбадосе и в Словакии. Из первого миллиона сайтов 38% используют IPv6, из первых 1000 почти 55%. Но в целом картина как везде, никто не хочет быть самым первым, все друг на друга смотрят и движутся потихонечку.

В копилку странных сортировок так любимых программистами:

Stalin Sort, the only O(n) sorting algorithm that works with any elements:

* Scan the elements
* If the element is out of sorting order, eliminate it, and say it was never there.

Как работает STP, история вопроса, алгоритм в пересказе автора и результат в виде, собственно, топологии дерева построенного с активных коммутаторов в реализации на Python. Автор хотел рассказать проще введя в самом начале понятие структуры данных дерева, но в итоге, она ему не понадобилась до реализации программы, что скорее усложнило начало повествования чем помогло. А вот пошаговые картинки, иллюстрирующие шаги алгоритма, получились хорошо.
На что следует обратить особенное внимание при изучении STP это механизм назначения ролей на порты, кто и какие приоритеты задаёт и как они влияют, особенно про приоритет порта. С точки зрения эксплуатации, не оставляйте ничего на самотёк, формируйте дерево приоритетами, предусматривая сценарии выхода из строя корня и обрыва основных магистралей и используйте все механизмы защиты и ускорения которыми STP оброс во всех последующих версиях.

Ben Cox про то, как написать RFC, на примере 9687. Можно сравнить с тем как это описывает Russ White.

Основательный труд про оптимизацию производительности программ на разных уровнях. Начинается как и должно начинаться, с задачи измерения этой самой производительности. И, конечно, главный момент прежде чем начать применять приведённые техники, надо ответить на вопрос, а действительно в вашей программе есть проблемы с производительностью?

Статистика использования новых доменов первого уровня, по которой видно, что не очень-то они и нужны, разве что место застолбить, да скамерам.

В новых iOS MAC адреса на Wi-Fi меняются чаще, чтобы наверняка отучить использовать их в качестве средства авторизации устройства:

If you make your device forget the network, it also forgets the private address it used with that network, unless it has been less than 24 hours since the last time it was made to forget that network.

The Private Wi-Fi Address feature offers these settings, which you can change at any time:

Off: When set to Off, your device uses its hardware MAC address.

Fixed: When set to Fixed, your device uses a private address, but the private address doesn’t rotate, regardless of the network's security or length of time since you last joined the network. Your device chooses Fixed by default when joining a new network that uses WPA2 or stronger security.

Rotating: When set to Rotating, your device uses a private address that rotates to a different private address every 2 weeks. Your device chooses Rotating by default when joining a new network that uses weak security or no security.

Всё что может потребоваться для мониторинга производительности BGP Route Reflector на Cisco XR, с указанием того как должно быть. В принципе, подойдёт не только для BGP RR и даже не только для Cisco XR, так как проходятся по всем уровням и всем компонентам.