Физический интерфейс всегда передаёт на своей скорости. Для 100Мбит/c нет такого, что физическая (фактическая, мгновенная) скорость отличается от этого значения. Но, есть моменты когда трафик не передаётся так как нет данных, есть моменты когда растут очереди когда данных слишком много. Скорость которую показывает система мониторинга не реальная, а рассчитанная по данным усреднённым за некоторое время, часто 5 минут, иногда 1 минута, иногда меньше.

Простая утилита, которая очень часто читает состояние /proc/net/dev и выводит результаты в размерности миллисекунд. Можно попытаться погоняться за micro-burst - моментами когда очереди переполняются из-за резкого наплыва трафика и происходят потери. Если настроен QoS, то будет видно как растёт счётчик отброшенных пакетов в какой-то из очередей. Если не настроен, то можно ощутить как спонтанно ломается трафик в самые неподходящие моменты.

Для мониторинга таких состояний существуют специальные возможности коммутаторов, например у Cisco Nexus. А можно просто за счётчиками буферов следить и количеством отброшенных пакетов, т.е. настроить QoS в минимальном виде.

Код программы очень простой и больше подходит как заготовка и его ещё придётся cкомпилировать на Go.

APNIC в своём блоге пишет что простой blackhole менее эффективен в случае IXP, чем если на стороне IXP будут развёрнуты специальные механизмы для ограничения DDoS трафика.

В чём собственно проблема, посмотрим как это организовано у MSK-IX и у многих других вероятно. Route Server подменяет next-hop в анонсируемом префиксе на специальный настроенный, чтобы анализировать или отбрасывать трафик. Таким образом участники получающие данный префикс посылают трафик в другое место, а не тому кто этот префикс анонсировал. Но, не все участники его могут получать, так как обычно длина для него /32, такое фильтруется из интернета. Собственно в примечаниях для MSK-IX так и написано, что надо разрешить приём префиксов /32 с некоторым типом community. Если этого не сделать, то трафик так и будет бежать по единственному короткому префиксу и эффект от blackhole будет смазан, как и описано в статье на APNIC.

Оператору под атакой можно прекратить анонсировать короткий префикс, но тогда смысл blackhole в этом виде, уменьшения разрушительного воздействия на свою сеть, пропадает.

Понятно и без APNIC, что если IXP начнёт сильнее вмешиваться в проходящий трафик не надеясь на анонсы, а безоговорочно анализируя и отлавливая, отмеченный оператором который защищается, будет эффективнее. Но также очевидно что это будет дороже, посыл для новой платной услуги полноценной защиты от DDoS.

Наши подписчики (не устаю говорить спасибо всем нашим подписчикам за то что читаете и за то что не забываете присылать интересные комментарии, спасибо огромное) из MSK-IX делятся статистикой, что /32 принимают не менее половины участников и напоминают, что фильтрация до /24 для IPv4 и до /48 для IPv6 это не с бухты-барахты, а целый пункт 6.1.3 в BCP 194 "BGP Operations and Security", который не грех регулярно перечитывать. В RFC 7999 "Blackhole community" про это знают, пункт 3.3, но настаивают что чем длиннее префикс тем лучше. Вот такие вот противоречия, в сети где всё держится на доверии.

И ещё про /32 в "диком" интернете и опять с большой благодарностью нашему подписчику. По данным RIS RIPE, конкретно RRC00, топ ASn с анонсами /32:

~> bgpscanner latest-bview.gz | awk -F'|' '/\/32/{print $2" "$3}' > 32prefix
~> grep -v : 32prefix -c
62286

~> awk -F'/32 ' '!/::/{print $NF}' 32prefix | sort -n | uniq -c | sort -rn
60843 37989 56300
421 49673 24811 3216
148 49673 24811
66 37989 56300 132132
40 49673 24811 3216 24482 4628 4765
33 49673 24811 3216 5588
29 32097 22356 263444 53062 262481
25 11708 12200 33070
23 49673 24811 20485 49063
18 49673 24811 52201
17 57381 50304 36351
17 50304 36351
17 32097 36351
17 11708
16 49673 24811 3216 36351
16 32097 29802
16 32097 14061
14 49673 24811 8595 43319
14 49673 24811 20485 48347
13 49673 24811 20485 50340
12 49673 24811 20485 47165
11 49673 24811 20485 60139
10 49673 24811 3216 24482 138608 58820 137331
10 32097 14361
10 32097 12883 15626 48031

На втором месте Билайн. Но не сравнить с первым местом, у которого явно что-то не то.

Бонусом, практическое использование bgpscanner.

Сегодня день рождения у Mailman, повсеместного, на сегодняшний день, менеджера списков рассылки. Оригинальный анонс.

Периодически всплывает тема про профессионалов одиночек, незаменимых, вне/над законами, убивающих взглядом любую проблему, типичный образ героев боевиков из 80-х и 90-х, ковбоев. Вопрос настолько часто поднимаемый в обсуждениях, литературе, статьях, что я почти прошёл мимо недавнего всплеска темы 10x Еngineer, потому что не интересно. Но Tom Hollingsworth написал хорошую статью по поводу, про личный опыт и которую стоит прочитать. Впрочем, глобально что-то новое в тему он не добавил.

В большей или меньшей степени это явление в духе человеческой природы, конкретно это юность с её максимализмом и кажущимся всемогуществом. Не важно как это выглядит в глобальном масштабе, если здесь и сейчас ты можешь всё или вдруг тебе кажется что ты можешь всё - попадаешь в ловушку незаменимости. Это именно ловушка, которая со временем начинает давить и может совсем раздавить, быть как машина долго не получится - человек не машина.

Это не относится к возрасту как к таковому, а скорее к стадиям взросления в профессии - каждый новый проект или место работы может проводить тебя от детства до зрелости через всемогущество к пониманию, а может и не проводить оставив где-то посередине или вначале. Больше силы (знаний) - больше ответственности, а незаменимых не существует.

Несколько инструментов в коллекцию для анализа DNS трафика: drool - чтобы вытащить из .pcap и respdiff - чтобы посчитать.

Doug Dawson пишет что 10G для абонентов домашнего интернета не за горами и что зря США ссорятся с Huawei которые являются лидерами по высокоскоростным решениям 10Gbps PON соединив это в одном устройстве с 6Gbps WiFi (видимо тут отсылка к этой новости). Но в этом направлении уже многие работают, в том числе и для DOCSIS.

А спрос, врачи которым надо уже сейчас анализировать большие объёмы данных и которые привыкли работать из дома, виртуальная реальность и игры в ближайшем будущем.

Как настроить IPv6 в Microsoft Azure. Не пугайтесь там на чешском, но я думаю примеры в консоли будут понятны. Переводчик на русский с чешского тоже работает неплохо. Это всё ещё тесты, хотя и публичные. Microsoft последовательно дожимает IPv6 - везде.

Не будем придираться к fd00::/8, никто с ними никогда не заморачивается.

Что ж, на этой неделе канал Патчкорд отметил свой второй день рождения. Поздравляю всех читателей, всех кто делится интересными материалами, всех кто репостит, и наш скромный коллектив, состоящий из идейного вдохновителя (от которого был получен первый пинок) и автора, в моём лице, который в силу своих способностей и интересов находит время и силы чтобы написать пару строчек в день и который не собирается останавливаться.

В этом году получилось 591 постов, которые просматривались в среднем 620 раз, самые читаемые про уязвимость в libssh, про новогоднюю ёлочку и про то что надо делать бэкапы. Из недавних, новость про покупку сетей Амазоном и про зарплаты и сертификаты.

Новость про Putty, размышления про сложность и комментарии про NAT собрали больше всего положительных оценок. Тут мне остаётся только поблагодарить за то, что вы хорошо оцениваете не новостные посты, а мои, иногда пространные, рассуждения.

Большая часть записей отмечена хотя бы одной положительной реакцией и не имеет отрицательной, но такая опция есть и максимально она выражена в постах про ДОМ.RU и Linkedin, про IX, RTT и провайдерские решения и как у нас оптику чуть не оторвало.

Мы по прежнему много цитируем, всего 987 ссылок на разные ресурсы, больше всего на GitHub, Twitter, Habr, RFC, Cisco, RIPE и APNIC. Всего 369 уникальных сайтов.

Телеграм каналы здесь тоже часто упоминаются. Я хотел дополнительно оформить список на всё то на что я подписан, чтобы синхронизировать наши информационные потоки, но получилось много для итогового поста - в сумме больше 130 каналов и чатов более-менее по теме. Я думаю вы и так кликаете по ссылкам и подписываетесь на интересные, хочу только упомянуть @conpoint - про то как делать кабель-порно и @minicomcn - картинки про киски и циски, которые тут встречаются редко, но на них стоит посмотреть.

Как было в предыдущем году можно почитать в похожем резюме, а мы продолжаем в новом году. Спасибо что с нами!

P.S. Вопрос "Про что же данный канал?" переносится на следующий год, я ещё пока не разобрался :) Так что, добро пожаловать, читайте и составляйте своё мнение, а мы вас будем за это благодарить.

Не так давно пришлось вспомнить и поработать в настоящем текстовом терминале, в окружении DOS (в основном) и Linux. Что-то в этом есть - псевдографические интерфейсы не идут ни в какое сравнение с современными TUI в графическом окружении. Уместить в 80x25, 16 цветов и 256 символов информации не меньше чем сейчас помещается на два монитора, это удивительно. А если ещё и шрифты правильно подобрать. Что впрочем не мешает их использовать и наслаждаться похожими видами в современных условиях.

Немного почти юмора про современное толкование понятий сетей:

Routing Protocol: Used to mean the protocol, including the semantics and algorithm or heuristic, used to calculate the set of loop-free paths through a network. Includes instances such as IS-IS, EIGRP, and OSPF. Now means BGP, as this is the only protocol used in any production network (except SDN).

Router: Used to mean a device that determines the next hop to which the packet should be forwarded using the layer 3 address, replacing the layer 2 header in the process of forwarding the packet. Now means the same thing as a switch.

Switch: Used to mean a device which determined which port through which a packet should be forwarded based on the layer 2 header, did not modify the packet, etc. Now means any device that forwards packets; has generally replaced “router.”

Мне нравится Juniper, на уровне ощущений, хотя моё мнение мало кто разделяет из знакомых вокруг да и сам я не часто с ними работал. Ругают неудобную конфигурацию в основном, хотя вот тут уж, казалось бы, без сомнений. Функционал ругают реже, но тоже случается. В любом случае, впервые за долгое время окунусь в этот мир с головой в предвкушение установки QFX5120.

До этого доводилось администрировать MX, SRX и даже ERX, правда во времена когда суть для меня была не так понятна. Но в любом случае ощущение от устройства - море свободы в реализации нужного тебе решения при том, что границы возможностей очень чётко обозначены. Почти уверен что не разочаруюсь.

Подробный разбор процесса начала загрузки web страницы с точки зрения теории TCP и "догмы" уместить все критические данные в первые 14Кб ( первое окно). Практика современных сетей далека от чистого TCP, +TLS, +HTTP/2, как минимум, поэтому такая микрооптимизация не сработает. Конечно это не значит что не стоит собирать важные данные в начале цикла обмена трафиком, но и сильно гнаться за конкретным размером не надо. Важно найти проблемные места и работать с ними и это подходит не только для web.

Шутка (смешная, потому что правда), понятная каждому кто поработал в провайдере - на каждый закопанный в земле кабель, найдётся свой экскаватор.

Через 10 минут после шутки, шутка превратилась в двойной обрыв с одним из наших аплинков, залипшие маршруты в FIB и кольцо маршрутизации через IX. Люблю такие совпадения - когда шутка удаётся :)

Как правильно блокировать доступ к "запрещённой" информации - целый черновик стандарта. Исследование применяемых способов и общие соображения про то как можно определить какой трафик блокировать и как это сделать, техническими и не техническими средствами.

И TLS не является панацеей, включатся другие методы плюс чуть больше ресурсов. Смотрим на JA3 и его GitHub. Вечная гонка, но предупреждён значит вооружён.
Собственно многие, кто имеет в своём арсенале доступ к большим объёмам данных предоставляют сервисы для заглядывания в TLS, позиционируя это конечно, как бОльшую безопасность и защиту от различных угроз на периметре сети. Что правда, но оружие всегда обоюдоострое.

За ссылку большое спасибо нашему подписчику, всегда рад этому.

​Любителям незатейливых, но очень крутых вещиц и любителям IPv6 тоже - https://ipv6board.best-practice.se/ мини проект вдохновлённый новогодней ёлочкой. Пингуем 2001:6b0:1001:105:ASCI:IHEX:CODE:DSTR и видим на экране своё восьмисимвольное сообщение. Видно три последних сообщения, отображается каждое входящее. Не знаю как справится с нагрузкой и будет ли она, но пока всё очень быстро.

​Как потерять терабит/c трафика, сегодня ночью на MSK-IX. Для нас это потеря двух BGP соседств с резервными спикерами наших пиринг партнёров (не страшно) а также потеря небольшой части трафика в основном с апстрима, не в прямом стыке. Но всё достаточно быстро починилось ещё и время ночное, так что почти незаметно прошло. Кто ночью не спал или у кого уже утро пришло, конечно понервничали, даже в чатиках успели обсудить. Но с утра всё выглядит более менее радужно.

Причина - обрыв оптики во время работ. К вопросу об экскаваторах и о том что база любой сети это в первую очередь СКС, кабели и места их прокладки, а дальше уже всё остальное. А ещё, про то что планирование работ имеет большую роль в плане минимизации последствий, если что-то идёт не так.