Рано перешли на BSD, возвращаемся:

Why I stopped using OpenBSD?

Last month, I decided to leave the OpenBSD team as I have not been using OpenBSD myself for a while. A lot of people asked me why I stopped using OpenBSD, although I have been advocating it for a while. Let me share my thoughts. First, I like OpenBSD, it has values, and it is important that it exists. It just does not fit all needs, it does not fit mine anymore...

https://dataswamp.org/~solene/2024-11-15-why-i-stopped-using-openbsd.html

#system #hardware #problems

P. S. Well, such feedback should be taken into account, too.

Анализ labs.ripe.net по поводу обрывов кабелей в Балтийском море. Видно точное время, можно оценить количество пострадавших у кого увеличилось время отклика, и что не увеличилось количество потерь. Транзитный трафик не рассматривался, только Швеция - Литва и Финляндия - Германия.

Про технологии, на примере RIP, когда технологии под задачу, а не задачи под технологии. Кстати, дома у меня работает до сих пор. Относитесь к этому критически, всё же, статья к этому и призывает в первую очередь.

Peering Manager дорос до 1.9, можно обновляться, если пользуетесь или попробовать, если нет.

Если вдруг ещё не слышали, хотя из каждого утюга слышно, что CML теперь можно скачать и использовать бесплатно для 5 устройств, то теперь и вы об этом знаете. Какой-то аккаунт на cisco.com надо иметь и доступ не с Российских адресов, чтобы залогиниться. Есть ли смысл использовать именно CML, когда есть масса всего другого и не ограниченного по количеству одновременно работающих устройств? Наверное, нет. Cisco видимо тоже в этот вагон хочет заскочить за GNS3, EVE-NG, netlab и даже за Packet Tracer.

Напоминание о том что такое Интернет и от том, что от этого понимания очень многое зависит, особенно когда начинаешь что-то в нём менять. Результат изменений за последние 40 лет мы уже видим и что из Интернета получится, конечно, тоже увидим.

Сегодня день кофе и nexthop.

Яндекс признал и осознал, что не может не радовать

15 октября мы раскатили прошивку на 10% устройств. Поэтапная раскатка обновления — это стандартная практика. Она предназначена в том числе для того, чтобы выявлять проблемы новых версий на ранней стадии. И прежде чем увеличивать процент раскатки, мы отсматриваем метрики всех ключевых пользовательских сценариев. Но число генерируемых нами NTP‑запросов исторически никогда не входило в метрики, требующие валидации, потому что NTP‑клиент годами существовал практически без изменений и не приводил к проблемам.

К 24 октября новая прошивка докатилась до 100% колонок. Опять же, критичные для пользователей сценарии покрыты автоматическим мониторингом. Если что‑то важное ломается, мы получаем уведомление. Но, как вы уже догадались, для NTP‑клиента таких уведомлений настроено не было.
. . .
Жалоб было мало, действующий регламент поддержки не был рассчитан на подобные ситуации, поэтому обращения рассматривали не в самом высоком приоритете. К 20 ноября мы нашли ошибку, внесли исправление в код и начали готовить новый релиз.

В выходные 23–24 ноября ситуация с NTP‑серверами обостряется: доступными остаются лишь четыре сервера. К этому моменту мы уже начали раскатывать релиз с исправлением на 10% устройств.
. . .
В воскресенье мы выпустили хотфикс в виде новой рантайм‑конфигурации для NTP‑клиента, который увеличивал период перезапроса с 5 до 600 секунд, уменьшая нагрузку на серверы в 120 раз. Хотфикс не исправлял проблему полностью, но был единственным быстрым способом снять чрезмерную нагрузку с NTP-серверов.
. . .
мы запланировали выделить ресурсы в общий пул NTP‑серверов. Это займёт некоторое время, потому что наши дата‑центры удалены от основных точек обмена трафиком, а для NTP‑серверов RTT (Round Trip Time) это — ключевой фактор качества. Мы установим и запустим мощности на основных точках обмена трафиком.

Для наших устройств мы заведём именную зону в соответствии с гайдлайнами проекта NTPPool.org для бо́льшей прозрачности. Генерируемый ими трафик будет локализован на наших NTP‑серверах, если мы продолжим полагаться на публичную инфраструктуру проекта.

Ещё мы добавим метрики, связанные с NTP, на этап валидации A/Б‑экспериментов, а также реалтайм‑уведомления о неполадках в этом компоненте. В том числе расширим сценарии мониторинга исходящего и входящего служебного трафика устройства в целом. Также поработаем над каналами коммуникаций и поддержкой, чтобы подобные проблемы быстрее до нас эскалировались.

Об инциденте с NTP-серверами
https://habr.com/ru/companies/yandex/articles/861538/

Спасибо подписчику за ссылку

Too big to…. но этим все большие страдают.

Пока я жду в аэропорту и думаю какой из моих домашних роутеров я прокачаю до 800G, поделюсь с вами впечатлением о прошедшем nexthop 2024.
Получилась очень практическая конференция, на все презентации я, конечно, не попал, поэтому жду видео, чтобы пересмотреть.

Но из того что я смог послушать, можно сказать, что подход который был взят в прошлом году, условно без матана, в этом году максимально реализовали. Естественно, для каждого матан свой, проходных и поверхностных докладов я не видел, над всем надо думать. К сожалению, я пропустил первый доклад от Hadal и про Dragonfly в Yandex (то о чём писал eucariot) и подозреваю что весь матан был сосредоточен в них, в записи увидим.

Отдельно отмечу близкие мне провайдерские темы про VK CDN от Андрея Старченкова, с программерской точки зрения, и мониторинг инцидентов BGP изнутри от Александра Азимова и Андрея Шабарова. Ещё было интересно узнать что офисная сеть Yandex живёт на FreeBSD роутерах, и что WLAN PI цветёт и пахнет со всей силой, особенно если собрать самому в два раза дешевле, а в Linux продолжают замещать стандартные функции ядра своими в userspace, потому что быстрее, о чём рассказывает Александр Демиденко в своей истории.

Всем кого встретил вчера, кто узнал и не узнал большой привет, было очень приятно пообщаться. Организаторам отдельное спасибо за организацию. Завтра Пиринговый форум вместе с которым до нового года можно каждый вечер заполнить просмотром чего-то интересного.

З.Ы. Продолжаю ругать фронтендоров, которые не реализовали прямые ссылки на описания докладов, поэтому без ссылок, щёлкайте сами с главной.

Пиринговый форум, поехали. В этом году много обсуждений, почти с каждым докладом панельная дискуссия, и, кажется, самое интересное в этом году оставили под конец дня.

Мы начинаем 🎉

Зал: Инфраструктура и сетевые сервисы

Секция: КИИ, Постановление 1912 и оборудование для провайдеров

Алексей Болдин из компании RDP.RU открывает секцию с докладом на тему:
«КИИ: требования импортозамещать!»

Алексей расскажет, как критическая информационная инфраструктура (КИИ) связана с операторами связи, какие объекты КИИ есть у провайдеров, и как их категоризация влияет на их действия. Также обсудим переход на доверенное ПО и оборудование в рамках Постановления №1912.

🚩 Прямая трансляция форума

Сначала напишу про ситуацию с NTP и Yandex станцией, потому что сегодняшний Пиринговый форум расставил некоторые точки. На картинке, слайд из презентации Александра Ильина про технические новости MSK-IX за год.

Начиная с 15 октября все потихонечку начинают страдать, в первую очередь те кто находится в ru.pool.ntp.org, включая MSK-IX, потом операторы связи которые видят проблемы с трафиком UDP и даже знают кто его генерирует. Те операторы которые не видят, чувствуют что есть какие-то проблемы, потому что, вероятно, ТСПУ тоже от этого страдает, пытаясь отбить DDoS из NTP запросов, или не пытаясь, а просто реагируя на проходящий трафик, как рассказывается в презентации Леонида Рыжика из П.А.К.Т на сегодняшнем Пиринговом форуме.
C 3 ноября, на форуме ntppool.org начинают обсуждать проблему высокой нагрузки. 14 ноября kkrusor, автор статьи и на Habr, сообщает в этой теме о своих проблемах. А 15 обсуждают уже конкретно про Россию. Всё это не зная про проблемы операторов, и, в основном, сходятся на DDoS, который не редкость. А потом, уже на Habr, где в комментариях проскакивает связь с Yandex станцией.
С 10 ноября в Yandex узнают о проблеме, видимо от жалоб тех операторов которые видят растущее количество UDP запросов, но не считают её критичной. 20 ноября, раньше чем статья на Habr, проблема внутри Yandex решена, но обновление прошивки выпущено только в выходные в экстренном режиме, уже после статьи на Habr.

Но это только предыстория, маркер ситуации, я хотел сказать про другое. Никакие чатики в телеге, обсуждения на официальной площадке проекта ntppool.org, то что это затронуло, в том числе и такого гиганта как MSK-IX, знания о проблеме внутри Yandex, не изменили привычного распорядка дня. Можно как угодно ругать Habr, но похоже это единственное связующее звено русскоязычного IT сообщества. При том такого, мнение которого имеет вес, без наличия этого веса ничего не происходит. Этот вес принёс сразу рост количества серверов в пуле, при существующей проблеме с трафиком, ещё до решения проблемы.
С другой стороны, можно констатировать, что это самое сообщество находится в сильно раздробленном состоянии, части которого общаются между собой мало, если вообще общаются. В любом случае, я думаю, что именно это общение победило, не сразу но победило, наверное могло бы победить раньше если бы общения было больше и сообщество сильнее и уважаемей, а обсуждаемые вопросы находились в конструктивном техническом ключе и не тонули в море флуда особенно в чатиках.

А теперь к Пиринговому форуму, я прошу прощения, что заставляю так много читать в пятницу вечером, можете это растянуть на все выходные. Просто пока свежи мои впечатления от прошедшей недели и сегодняшнего просмотра трансляции. Я буду говорить про ту часть которая про Инфраструктуру и сетевые сервисы, параллельную часть вы уже сами, при желании.

Финальная секция оправдала все мои ожидания, вишенка на торте, я бы даже сказал бриллиант Пирингового форума этого года. Нет смысла пересказывать, начинайте смотреть с доклада Максима Раевского, который, завёл аудиторию вполне конкретной актуальной проблемой, которая и обсуждалась дальше, та самая внутрянка телекомов в прямом эфире. Я всё ждал пока заявленное георезервирование выйдет за рамки Москвы, но этого не случилось. Если смотреть с моего столба, то Москва эта точка на карте, я беру каналы до Москвы, а не до какой-то точки внутри Москвы, для меня этой точки внутри не существует. Но с чем нельзя не согласится у нас всё через Москву и проблемы с M9 внутри Москвы, это проблемы всей России, такова данность.

В целом, сегодняшний форум это место где надо было присутствовать лично, потому что всё строилось от панельных дискуссий и доклад по сути был только один, про историю одного DDoS от Леонида Рыжика из П.А.К.Т. прошедшийся очень хорошо по всем аспектам, как это выглядит сейчас, при чём тут ТСПУ и как с ним быть, может быть даже дружить, но не забывать что его тоже могут DDoS'ить. А также техническими и организационным моментам со знакомыми чувствами тех кто видел это сам или погружен в проблематику. Наверное, с него прямо стоит начать смотреть весь форум, потому что все остальные доклады это вступление к обсуждению спикерами на сцене и они не идут в отрыве от этого.

Секция про то как поменялся Интернет, наверное бы никак, продолжал бы расти в своём темпе, если бы в августе не отрубился YouTube. Тут интересно, что к этому не были готовы, хотя и справились, и основные улучшения связанные с ростом внутреннего трафика мы должны уже ждать в следующем году, когда бюджеты дойдут куда надо.

Секция про безопасность была сосредоточена на DDoS и в общем борьбой с последствиями какими-то техническими или не техническими решениями. Тут было мало именно Интернета, постольку поскольку всё у нас в Интернете и в какой-то степени обсуждение DDoS из далёкого Yac2013, более полезна практическими вопросами тем что надо делать, чтобы исключить возможности некоторых атак, не на себя, а на других со своей сети - аккуратно применить в своей сети BCP38. Потому что используемые ранее эффективные способы атак никуда не делись, просто к ним добавились другие. А ещё политики MANRS для борьбы с безопасностью маршрутизации в Интернет, про которую было упомянуто лишь вскользь. Интересно, что по внешнему контуру России защититься более менее удалось, средствами ТСПУ в том числе, но и самими защищающимися тоже, поэтому источники DDoS сместились внутрь страны, которые уже не так просто срезать и надо их как минимум классифицировать. В конечном итоге все сошлись на том что ближайшее будущее это борьба двух ИИ между собой, один который формирует атаку, второй который её отбивает.

И начало про про КИИ, на самом деле про импортозамещение. Насколько я оптимистичен, но даже мне показалось через чур оптимистичным: во всём мы лучшие и в NAT и в BRAS и всё у нас скоро своё будет. Наверное да, наверное в какой-то степени можно говорить это про телеком, где набор функций достаточно прямолинеен и важны объёмы. В кровавом энтерпрайзе нужен универсальный комбайн, как раз то что ругали в том числе, где есть немного NAT, немного туннелей, немного шифрования, немного MPLS, немного того и всего. Но Пиринговый форум точно не про кровавый энтерпрайз, поэтому мы подождём ещё, пока производители обратят внимание на этот сектор.

Вот пожалуй по большому счёту и всё. Главное отличие, как я уже говорил, это то что всё строится от дискуссий. При том что они все про Интернет и операторов, в конечном итоге не было, почти не было, упоминаний BGP, да и вообще никакой технической конкретики протоколов и процедур Интернета. Но вместе с этим поднимались вопросы одновременно над этим, на 8 уровне, и вопросы под этим, что делает именно дискуссию интересней в более широких границах. Поэтому надо было быть лично и, думаю, вечерний фуршет должен в этом году особенно удастся. Но я не жалею, свою потребность в общении в этом году я с лихвой удовлетворил на nexthop.

Если помните про сообщество, много букв назад, то вот такой дискуссионный подход, наверное, и позволяет его формировать, если оставаться открытым в этой дискуссии для всех мнений. Поздравляем всех организаторов с удавшимся, хотя и опять другим Пиринговым форумом.

Ещё стоит упомянуть книгу Интернет изнутри: Архитектура экосистемы Интернета / Андрей Робачевский, новое издание которой презентовали на форуме. В далёком, не помню каком году, я с удовольствием получил экземпляр из рук автора с автографом и тут же прочитал пока возвращался домой, после чего передал её в библиотеку тогдашнего работодателя. Читайте новое издание, которое теперь можно скачать, хотя и без живого автографа, хуже оно от этого не становится.

traceroute-mapper - инструмент для перевода вашей трассировки на географическую карту. Не забывайте очищать карту перед следующем построением, иначе всё наложится друг на друга. IPv6 есть. Внутри, ipinfo.io, тоже приятный whois инструмент, позволяющий работать curl из консоли.