Автоматическое, бесплатное ускорение ваших shell программ в разы. Готовый продукт и публикация с выкладками, почему и как такое можно сделать. Пример из статьи с распараллеливанием на два, но можно и больше:
И это всё оно само.
##### Before #####
base="ftp://ftp.ncdc.noaa.gov/pub/data/noaa";
for y in {2015..2019}; do
curl $base/$y | grep gz | tr -s" " | cut -d" " -f9 |
sed "s;^;$base/$y/;" | xargs -n 1 curl -s | gunzip |
cut -c 89-92 | grep -iv 999 | sort -rn | head -n 1 |
sed "s/^/Maximum temperature for $y is: /"
done
##### After #####
mkfifo $t{0,1...}
curl $base/$y > $t0 & cat $t0 | split $t1 $t2 &
cat $t1 | grep gz > $t3 &
cat $t2 | grep gz > $t4 &
...
cat $t9 | sort -rn > $t11 & cat $t10 | sort -rn > $t12 &
cat $t11 | eager > $t13 & cat $t12 | eager > $t14 &
sort -mrn $t13 $t14 > $t15 &
cat $t15 | head -n1 > $out1 &
wait $! && get-pids | xargs -n 1 kill -SIGPIPE
И это всё оно само.
Twitter
MIT CSAIL
PaSh, a system for parallelizing Unix shell scripts, with an average speed-up of 7x. Paper: arxiv.org/pdf/2007.09436… Code: github.com/andromeda/pash (v/@nikosvasilakis @EuroSys_conf)
Пятничное, но актуальное, классика жанра, хотя что-то из этого за столько лет можно было бы слегка подправить - 9 простых способов сломать Cisco.
Путь настоящие связисты посмеются в свой праздник над нерадивым потомством.
Путь настоящие связисты посмеются в свой праздник над нерадивым потомством.
ESHARP.NET
9 Easy Ways to Break a Cisco Network
We’ve all been there. You make a simple configuration change that should have no impact on production traffic. Suddenly your phone begins to ring, or worse, you lose access to the equipment you wer…
Строить сложные и большие системы - надо максимально просто, чтобы они не развалились под собственным весом. История Telia Carrier про это.
Forwarded from Телеком-ревью
Всемирный день электросвязи и информационного сообщества
Сегодня - 17 мая отмечается Всемирный день электросвязи и информационного сообщества.
Всемирный день электросвязи отмечается ежегодно 17 мая с 1969 года.
Дата знаменует годовщину основания МСЭ 17 мая 1865 года, когда в Париже была подписана первая международная телеграфная Конвенция.
В 1973 году мероприятие было официально учреждено на полномочной конференции МСЭ в Малаге-Торремолиносе, Испания.
Каждый год выбирается актуальная тема, и мероприятия, посвященные этой теме, проходят по всему миру.
World Telecommunication and Information Society Day (WTISD) -
https://www.itu.int/en/wtisd
Сегодня - 17 мая отмечается Всемирный день электросвязи и информационного сообщества.
Всемирный день электросвязи отмечается ежегодно 17 мая с 1969 года.
Дата знаменует годовщину основания МСЭ 17 мая 1865 года, когда в Париже была подписана первая международная телеграфная Конвенция.
В 1973 году мероприятие было официально учреждено на полномочной конференции МСЭ в Малаге-Торремолиносе, Испания.
Каждый год выбирается актуальная тема, и мероприятия, посвященные этой теме, проходят по всему миру.
World Telecommunication and Information Society Day (WTISD) -
https://www.itu.int/en/wtisd
Если вдруг задумали построить свой коммерческий датацентр и не знаете с чего начать - начните с этого. Не большой, в целом, документ, позволяющий охватить проблематику со всех сторон: электропитание, персонал, помещение, документирование, администрирование и многое другое. Есть, даже, чек листы и примеры расчётов и размещения в Excel файликах.
При всём при том это очень верхнеуровневый документ, о чём надо подумать перед тем как начинать, и это, конечно, далеко не всё.
При всём при том это очень верхнеуровневый документ, о чём надо подумать перед тем как начинать, и это, конечно, далеко не всё.
GitHub
GitHub - cpc2018/my-first-colo: A guide on building up a first (wholesale) colocation presence.
A guide on building up a first (wholesale) colocation presence. - cpc2018/my-first-colo
Разбор установки и завершения TCP соединения по шагам с фиксацией каждого шага выводом
netstat
. Дампы и диаграммы с описанием прилагаются. В качестве клиента и сервера - nc
.Атакуем Kubernetes правильно, или не стоит увольнять сетевого инженера раньше времени. Часть первая - спуфинг
DNS
, ARP
, IP
, то что работает в любых сетях и на всех уровнях абстракции. Часть вторая - манипулируем BGP
, вспоминая что в него не встроены никакие механизмы защиты.Cyberark
Attacking Kubernetes Clusters Through Your Network Plumbing: Part 1
Have you ever wondered how the water supply gets into your home and to the taps? Honestly it may not be something you ever thought about. When receiving a system that works “out of the...
Вчера опубликован RFC9000 - "QUIC: A UDP-Based Multiplexed and Secure Transport". Встречаем, теперь официально.
IETF Datatracker
RFC 9000: QUIC: A UDP-Based Multiplexed and Secure Transport
This document defines the core of the QUIC transport protocol. QUIC provides applications with flow-controlled streams for structured communication, low-latency connection establishment, and network path migration. QUIC includes security measures that ensure…
Учимся на чужих ошибках - подробный и доступный отчёт об аварии в Salesforce. Обновляли конфигурацию BIND перед работами, кстати они используют возможности каталога зон, но что-то пошло не так. Выводы про автоматизацию и процессы, скрипт который послужил проблемой и перезапускал BIND удалили и больше не используют.
Salesforce
Help | Training | Salesforce
salesforce help; salesforce training; salesforce support
Список DNS зон которые можно забрать целиком. Помимо корневой есть Эстония, Франция, Словакия, Швейцария, Швеция и Ниуэ.
jpmens.net
DNS open zone data
I’m occasionally asked where people can obtain public zone data (the zone files themselves) via zone transfers (AXFR) from. Here are a few sources I’m aware of.
root zone
First of all, the root z...
root zone
First of all, the root z...
Шпаргалки по Vim, Bash, Awk, Markdown и разным другим инструментам, которые ничего не объясняют, но помогут вспомнить тем кто уже пользовался, пусть и не часто.
QuickRef.ME
QuickRef.ME - Quick Reference Cheat Sheet
Share quick reference and cheat sheet for developers
Пример рабочей атаки с двойным тегированием, подробное описание с картинками и стрелочками, даже ликбез про виланы есть. А всего-то:
Про остальное, тоже не забываем.
- Never use native VLAN for any network. By default VLAN-1 is native VLAN.
- If deemed necessary change the native VLAN from VLAN id 1
- While configuring a VLAN network configure endpoint interfaces clearly as access ports.
- Always specify allowed VLAN ids per trunk, never allow all VLAN traffic to pass through any trunk port.
Про остальное, тоже не забываем.
NotSoSecure
Exploiting VLAN Double Tagging
We have all heard about VLAN double tagging attacks for a long time now. There have been many references and even a single packet proof of concept for VLAN double tagging attack but none of them
Документы от Немецкого федерального управления по информационной безопасности про Windows 10. Общие рекомендации и настройки и Отчёт о телеметрии в MS Office. Всё в
PDF
, рассказывают про конкретные ручки которые можно крутить.Federal Office for Information Security
Configuration Recommendations for Hardening of Windows 10 Using Built-in Functionalities
This document outlines the result of work package 11 of the project “SiSyPHuS Win10: Studie zu Systemaufbau, Protokollierung, Härtung und Sicherheitsfunktionen in Windows 10” (orig., ger.). This project is being conducted by the company ERNW Enno Rey Netzwerke…
Так всё же как надо работать с
AS_PATH
препендами - черновик будущего BCP. Ситуация, как она была некоторое время назад, выглядит не очень красиво и эффективно. И это помимо того, что всё может просто упасть. Читаем, не дожидаясь официальной публикации, и применяем, точнее стараемся не применять препенды в большом Интернете.IETF Datatracker
AS Path Prepending
AS Path Prepending provides a tool to manipulate the BGP AS_PATH attribute through prepending multiple entries of an ASN. AS Path Prepending is used to deprioritize a route or alternate path. By prepending the local ASN multiple times, ASs can make advertised…
Сколько бы слоёв не накрутили и сколько бы уровней не существовало в современной сети, важны они все, не смотря на то что нижние и были изобретены очень давно. Никуда от них не избавишься, как бы этого не хотелось.
packetpushers.net
Network Architecture 2021: Old Network Technologies Remain Relevant
Solved problems are still there but they don't need attention
Forwarded from SecurityLab.ru (Pipiggi)
В последние годы все больше сетей внедряют проверку иерархической системы открытых ключей (Resource Public Key Infrastructure, RPKI) и подписывают свои маршруты Border Gateway Protocol (BGP) с целью защитить сети от взлома и хищения данных. В связи с этим ИБ-специалисты намерены проверить, что должно произойти в случае отказа в работе RPKI.
https://www.securitylab.ru/news/520839.php
https://www.securitylab.ru/news/520839.php
SecurityLab.ru
ARIN отключит систему RPKI на 30 минут в рамках техобслуживания
Американский регистратор интернет-номеров ARIN намерен проверить, придерживаются ли сети передовой практики BGP.
Не ходите дети в Африку гулять, а если пошли, то будьте готовы разобраться. TOR - серая зона, возьмите с собой кольт и ищите русский след.
Medium
Tracking One Year of Malicious Tor Exit Relay Activities (Part II)
>25% of the Tor network’s exit capacity has been attacking Tor users
Forwarded from Sysadmin Tools 🇺🇦
Михаил написал статью на хабре про то, как делал асинхронный поллинг SNMP в Glaber.io
#zabbix #glaber #snmp #async
#zabbix #glaber #snmp #async
Хабр
Опыт написания асинхронного поллинга сетевых устройств
Основная идея асинхронного поллинга Асинхронность позволяет сильно увеличить парралельность работы. В случае сетевого взаимодействия и съема SNMP времена ожидания ответов большие, что позволяет...
Forwarded from Записки админа
10 лет с момента как прогрессивная Интернет общественность озаботилась процессом внедрения
IPv6
в массы. В следующем году будет 10 лет "официальному" запуску IPv6
. Читаем отчёт RIPE Labs о текущем состоянии вещей в сравнении с прошлым годом. Медитируем на график Google, сравнивая с прошлогодними прогнозами. Оптимистам можно порадоваться, всё идёт достаточно бодро, пессимистам погрустить о зря потраченных годах.RIPE Labs
IPv6 Adoption in 2021
As part of our ongoing efforts to chart the rise and rise of IPv6, we’ve been looking into the difference between average IPv6 capability per country over a few days in June 2020 versus the most recent similar averages for 2021.