Мониторинг пропускной способности и скорости сети в Linux

Сегодня я расскажу о различных инструментах с открытым исходным кодом, которые помогут вам проверить скорость интернета и пропускную способность в Linux

Speedtest

Speedtest — это популярный инструмент для проверки скорости загрузки и скачивания, используя сервис speedtest.net. Этот инструмент реализован на Python и доступен через apt и pip.

Вы можете использовать его как командную строку или включить в скрипты Python.

Установка:

sudo apt install speedtest-cli

Или через pip:

sudo pip3 install speedtest-cli

Запуск:

speedtest

Вы увидите результат, например:

Download: 68.62 Mbit/s
Upload: 10.93 Mbit/s

NetHogs

NetHogs — это утилита для мониторинга полосы пропускания, которая группирует трафик по процессам.

Установка для Debian/Ubuntu:

apt install nethogs

Для RHEL/CentOS:

yum install epel-release
yum install nethogs

Запуск:

sudo nethogs

Можно указать конкретный интерфейс:

sudo nethogs eth0

nload

nload позволяет отслеживать сетевой трафик и использование полосы пропускания в режиме реального времени.

Установка для Debian/Ubuntu:

sudo apt install nload

Для RHEL/CentOS:

yum install epel-release
yum install nload

Запуск:

nload

CBM — Color Bandwidth Meter

CBM — простой инструмент, который отображает сетевой трафик на всех подключенных устройствах.

Установка для Debian/Ubuntu:

sudo apt install cbm -y

Для RHEL/CentOS:

yum install epel-release
yum install cbm

Запуск:

cbm

vnStat

vnStat — монитор сетевого трафика, который сохраняет данные в собственной базе и может отображать статистику через веб-интерфейс.

Установка для Debian/Ubuntu:

sudo apt install vnstat

Для RHEL/CentOS:

sudo yum install epel-release
sudo yum install vnstat

Запуск:

vnstat

slurm

slurm — инструмент мониторинга сетевой нагрузки, который отображает результаты в графике ascii.

Установка для Debian/Ubuntu:

sudo apt-get install slurm

Для RHEL/CentOS:

sudo yum install slurm -y

Запуск:

slurm

⚡️Все эти инструменты помогут вам эффективно управлять сетью и своевременно выявлять любые проблемы с пропускной способностью или скоростью.

Как настроить редирект с HTTP на HTTPS в Nginx

Nginx — это мощный веб-сервер и прокси-приложение, используемый на Linux для управления веб-трафиком.

Одной из его полезных функций является возможность перенаправления незашифрованного трафика HTTP на защищённый HTTPS.

Расскажу, как настроить редирект с HTTP на HTTPS с помощью Nginx.

Что потребуется

• Сервер Linux с установленным Nginx
• Учетная запись с привилегиями sudo
• Удаленный доступ к веб-серверу (если вы не работаете непосредственно на сервере)
• Доступ к терминалу (Ctrl-Alt-T или Ctrl-Alt-F2)

⏺Настройка редиректа с HTTP на HTTPS

Для того чтобы принудительно перенаправить весь HTTP-трафик на HTTPS, нужно отредактировать файл конфигурации Nginx.

Найдите файл конфигурации

Файл конфигурации Nginx обычно находится в каталоге /etc/nginx/sites-available. Если его там нет, попробуйте следующие пути:

/etc/nginx/nginx.conf
/usr/local/nginx/conf
/usr/local/etc/nginx

⏺Откройте файл для редактирования

Откройте файл конфигурации в текстовом редакторе с помощью команды:

sudo nano /etc/nginx/sites-available/server.conf

Замените путь на фактическое местоположение вашего файла конфигурации.

⏺Вставьте код для редиректа

Чтобы перенаправить весь HTTP-трафик на HTTPS, вставьте следующий блок кода:

server {
    listen 80 default_server;
    server_name _;
    return 301 https://$host$request_uri;
}

⏺Разбор команд:

listen 80: перехватывает весь HTTP-трафик через порт 80.
server_name _;: применяет правила к любому имени хоста.
return 301: сообщает браузеру и поисковым системам, что это постоянное перенаправление.
https://$host$request_uri;: перенаправляет пользователя на версию страницы с HTTPS.

⏺Перезапустите службу Nginx

После редактирования и сохранения файла конфигурации перезапустите Nginx:

sudo service nginx restart

В следующем посте продолжим разбирать настройку и все нюансы

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Что такое системный вызов, какие они бывают?

✅Ответ: Системный вызов - обращение программы к ядру операционной системы для выполнения какой-либо операции.

В Unix, Unix-like и других POSIX-совместимых операционных системах популярными системными вызовами являются:

• open
• read
• write
• close
• wait
• exec
• fork
• exit
• kill

Micron анонсировала твердотельный накопитель PCIe Gen 6 со скоростью 26 ГБ/с

Micron представила первые в отрасли твердотельные накопители на базе PCIe Gen 6, способные достигать скорости последовательного чтения более 26 ГБ/с.

Это почти вдвое быстрее, чем у существующих моделей на базе PCIe Gen 5, которые в среднем достигают пиковой скорости около 14 ГБ/с.

Например, накопитель Micron Crucial T705 предлагает скорость последовательного чтения до 14 500 МБ/с.

Стоит отметить, что на сегодняшний день ни одна потребительская платформа не поддерживает PCIe Gen 6 — новейшие материнские платы от Intel и AMD совместимы только с твердотельными накопителями PCIe Gen 5.

Новый накопитель Micron ориентирован прежде всего на центры обработки данных и устройства, задействованные в сложных архитектурах систем искусственного интеллекта (ИИ).

Подобно потребительскому накопителю T705, Micron недавно представила модель 9550, которую компания называет «самым быстрым в мире твердотельным накопителем для центров обработки данных», с ёмкостью 30,72 ТБ.

В это же время компания Addlink Technology также анонсировала новые SSD серии D60 и D20 повышенной ёмкости, предназначенные для сетевых хранилищ.

🔥 Эти накопители используют интерфейсы PCIe 4.0 x4 (NVMe 1.4) и более медленный SATA-3, с доступными вариантами ёмкости 480, 960 и 1920 Гбайт.

Использование опций команды apt-get для очистки системы

Большинство из нас, работающих с системами на базе Debian, регулярно используют команду apt-get для установки и обновления пакетов. Но как часто мы задумываемся об очистке системы?

В этом посте мы рассмотрим три полезные команды для очистки ненужных файлов: apt-get clean, apt-get autoclean и apt-get autoremove.

1️⃣ apt-get clean

Команда apt-get clean очищает локальный репозиторий от извлеченных файлов пакетов, находящихся в каталоге /var/cache/apt/archives/. Она удаляет все файлы пакетов, кроме файлов блокировки и пустых подкаталогов.

Эта команда полезна для освобождения дискового пространства, особенно если вы часто устанавливаете и удаляете пакеты.

Например, до выполнения команды apt-get clean в каталоге /var/cache/apt/archives/ могут находиться следующие файлы:

/var/cache/apt/archives/db6.1-util_6.1.27+dfsg1-0.7ubuntu2_amd64.deb
/var/cache/apt/archives/db-util_2%3a6.121~exp1ubuntu1_all.deb
/var/cache/apt/archives/lock
/var/cache/apt/archives/postfix_3.4.6-2ubuntu2_amd64.deb
/var/cache/apt/archives/sasl2-bin_2.2.25+dfsg-1build2_amd64.deb

После выполнения команды:

sudo apt-get clean

Этот каталог будет очищен, и оставлены будут только файлы блокировки и пустые подкаталоги.

2️⃣ apt-get autoclean

Команда apt-get autoclean похожа на clean, но она удаляет только те пакеты, которые больше не могут быть загружены из репозиториев и, следовательно, больше не нужны. Это предотвращает переполнение кэша устаревшими файлами.

Выполнение команды:

sudo apt-get autoclean

очистит кэш от бесполезных пакетов, оставляя только актуальные и доступные для загрузки файлы.

3️⃣ apt-get autoremove

Команда apt-get autoremove удаляет пакеты, которые были установлены автоматически как зависимости для других пакетов, но теперь больше не требуются.

Использование этой команды после удаления пакетов помогает поддерживать чистоту системы и предотвращает накопление ненужных файлов.

Пример использования:

sudo apt-get autoremove

После выполнения команды вы увидите список пакетов, которые больше не нужны, например:

The following packages were automatically installed and are no longer required:
g++-8 gir1.2-mutter-4 libapache2-mod-php7.2 libcrystalhd3
libdouble-conversion1 libgnome-desktop-3-17 libigdgmm5 libllvm8
liblouisutdml8 libmutter-4-0 libmysqlclient20 libpoppler85 linsydc++-8-dev
libtagc0 libvpx5 libx265-165 php7.2 php7.2-cli php7.2-common php7.2-json
php7.2-opcache php7.2-readline
Use 'sudo apt-get autoremove' to remove them.

🔥 Эти простые команды помогут вам поддерживать вашу систему на базе Debian в чистоте и порядке, освобождая дисковое пространство и оптимизируя работу системы.

7 полезных команд в Linux

Рассмотрим еще 7 команд для эффективной работы в системе Linux.

⏺s2p — конвертер sed-скриптов в Perl.

⏺scriptreplay — воспроизведение активности терминала, сохраненной с помощью команды script.

⏺sdiff — находит различия между двумя файлами и объединяет их в интерактивном режиме.

⏺seq — генерирует последовательность чисел с заданным шагом.

⏺setfacl — настройка списков контроля доступа к файлам.

⏺shred — полное удаление файла с жесткого диска.

⏺smbclient — ftp-подобный клиент для доступа к ресурсам SMB/CIFS.

3 лайфхака для работы в терминале Linux

Подборка советов от опытного разработчика поможет значительно повысить эффективность работы в командной строке, автоматизировать рутинные задачи и упростить сложные операции.

⏺Редактирование команд в текстовом редакторе

При работе в терминале часто приходится набирать длинные и сложные команды, которые неудобно редактировать напрямую. На помощь приходит ваш дефолтный текстовый редактор:

• Нажмите Ctrl+X, затем Ctrl+E в Bash или Alt+E в Fish. Это откроет ваш стандартный текстовый редактор.
• Отредактируйте команду и сохраните изменения.
• Команда будет выполнена после закрытия редактора.

⏺Использование /dev/stdin вместо heredoc

Heredoc удобен для вставки многострочного текста в командную строку, но у него сложный синтаксис и он не поддерживается всеми оболочками. Альтернатива – /dev/stdin, позволяет сделать почти то же самое, но проще.

⏺Поиск и выбор с помощью fzf

fzf – продвинутый инструмент для нечеткого поиска. Он работает с любыми текстовыми данными: списками, файлами, процессами, названиями хостов и т.п. Отлично подходит для интерактивного выбора опций в пользовательских скриптах.

Релиз Netplan 1.1

14 августа 2024 года выпущена версия 1.1 Netplan, инструмента для конфигурации сети на Linux. 

Netplan использует YAML для хранения настроек сетевых интерфейсов и поддерживает NetworkManager и systemd-networkd.

Проект активно развивается уже более семи лет с участием Canonical, Microsoft и Deutsche Telekom.

Основные новшества в Netplan 1.1:

⏺Настройка ожидания сетевых интерфейсов в systemd-networkd-wait-online.
⏺Поддержка режима eswitch для SR-IOV устройств.
⏺Флаги для парсера, позволяющие игнорировать некорректные настройки.
⏺Исправления для ProtonVPN и Microsoft Azure Linux.

🔥 Netplan упрощает управление сетевыми конфигурациями, делая процесс более прозрачным и гибким.

Распространенные переменные окружения и оболочки

Переменные окружения:

⏺USER — текущий пользователь.
PWD — текущая директория.
⏺OLDPWD — предыдущая рабочая директория. Используется оболочкой для того, чтобы вернуться в предыдущий каталог при выполнении команды cd -.
⏺HOME — домашняя директория текущего пользователя.
⏺SHELL — путь к оболочке текущего пользователя (например, #bash или #zsh).
⏺EDITOR — заданный по умолчанию редактор. Этот редактор будет вызываться в ответ на команду edit.
⏺LOGNAME — имя пользователя, используемое для входа в систему.
⏺PATH — пути к каталогам, в которых будет производиться поиск вызываемых команд. При выполнении команды система будет проходить по данным каталогам в указанном порядке и выберет первый из них, в котором будет находиться исполняемый файл искомой команды.
⏺LANG — текущие настройки языка и кодировки.
⏺TERM — тип текущего эмулятора терминала.
⏺MAIL — место хранения почты текущего пользователя.
⏺LS_COLORS — задает цвета, используемые для выделения объектов (например, различные типы файлов в выводе команды ls будут выделены разными цветами).

Переменные оболочки:

⏺BASHOPTS — список задействованных параметров оболочки, разделенных двоеточием.
⏺BASH_VERSION — версия запущенной оболочки bash.
⏺COLUMNS — количество столбцов, которые используются для отображения выходных данных.
⏺DIRSTACK — стек директорий, к которому можно применять команды pushd и popd.
⏺HISTFILESIZE — максимальное количество строк для файла истории команд.
⏺HISTSIZE — количество строк из файла истории команд, которые можно хранить в памяти.
⏺HOSTNAME — имя текущего хоста.
⏺IFS — внутренний разделитель поля в командной строке (по умолчанию используется пробел).
⏺PS1 — определяет внешний вид строки приглашения ввода новых команд.
⏺PS2 — вторичная строка приглашения.
⏺SHELLOPTS — параметры оболочки, которые можно устанавливать с помощью команды set.
⏺UID — идентификатор текущего пользователя.

Уязвимость в IPv6 на Windows: угроза удалённого заражения ПК

Microsoft выпустила патч для критической уязвимости, затрагивающей все системы Windows с включённым по умолчанию протоколом IPv6.

Проблема связана с реализацией TCP/IP и позволяет удалённо выполнить код, мгновенно заражая ПК.

Уязвимость, обозначенная как CVE-2024-38063, была обнаружена экспертом Сяо Вэем из Kunlun Lab.

Она вызвана целочисленным переполнением (Integer Underflow) и затрагивает Windows 10, 11 и Windows Server. Эксплуатация уязвимости возможна до обработки пакетов брандмауэром, что делает её особенно опасной.

В Microsoft пояснили, что злоумышленникам достаточно многократно отправить специально созданные пакеты IPv6.

Дастин Чайлдс из Trend Micro назвал эту уязвимость одной из самых серьёзных, исправленных в обновлении Windows.

Поскольку IPv6 включён по умолчанию, хакеры могут создать вредоносное ПО, способное распространяться через сети.

⚡️ На Black Hat 2024 Алон Левиев из SafeBreach также сообщил о двух уязвимостях нулевого дня, которые позволяют хакерам обходить исправления в системах Windows, что делает CVE-2024-38063 особенно опасной.

3 полезных примера использования Curl

cURL идеальная команда для взаимодействия с веб-сайтом или API, отправления запросов и получения ответов на терминал или с выводом в файл. 

Иногда она используется как часть сложного скрипта для передачи полученных данных другим функциям на дальнейшую обработку.
Наряду с получением файлов из сервера, cURL так же используется для закачки части вебсайта.

Несмотря на то, что она довольно хорошо справляется с работой, но всё же wget лучше наточен под такую работу.

⏺Указание времени выполнения команды
Если нужно чтобы прервать выполнение команды cURL по истечении указанного времени, мы можем указать таймер выполнения команды. Это особо полезно так как некоторые операции выполняются бесконечно, что может привести к зависанию системы.

Чтобы избежать этого можно указать максимальный период в секундах, по истечении которого cURL прервёт выполнение команды. Вышесказанное реализуется следующим образом:

$ curl -m 60 example.com



Также есть возможность указать в течении какого времени держать соединение активным. Это позволит избежать бесконечных попыток соединения с узлом, который не доступен.

Эта опция тоже в качестве аргумента принимает значение в секундах. А команда выглядит так:

$ curl --connect-timeout 60 example.com



⏺Указание логина и пароля
Утилита cURL позволяет указывать имя пользователя и пароль при подключении. Чаще всего это нужно при аутентификации на FTP сервере. Для этого используется ключ u. Синтаксис команды указан ниже:

$ curl -u username:password ftp://example.com



Данную опцию можно использовать с любым протоколом, но FTP является самым распространённым для простой передачи файлов.
Если нужно скачать файл указанный на скриншоте ниже запускаем ту же команду, только указываем полный путь к нужному документу.

$ curl -u username:password ftp://example.com/readme.txt



⏺Использование прокси
cURL можно указать, чтобы подключение выполнялось через прокси сервер. По умолчанию, она использует HTTP прокси, но можно указать и другие. Чтобы направить трафик через прокси используется ключ x.

$ curl -x 192.168.1.1:8080 https://example.com



Данная команда обязует cURL подключиться к прокси по адресу 192.168.1.1 на порту 8080 перед обращением на example.com

Прокси можно использовать и с другими протоколами. Ниже показан пример использования прокси сервера для получения файла с фтп сервера.

$ curl -x 192.168.1.1:8080 ftp://example.com/readme.txt



🔥 cURL поддерживает много типов прокси и соответствующих ключей, но охватить их всех в одном руководстве сложно. Для более подробной информации о туннелировании, SOCKS прокси, аутентификации и т.п. можете прочитать man по команде cURL.

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Каким именам файлов предшествует точка?

✅Ответ: Обычно имена файлов, которым предшествует точка, являются скрытыми файлами.

Эти файлы могут быть файлами конфигурации, содержащими важные данные или информацию о настройке. Установка этих файлов как скрытых снижает вероятность их случайного удаления.

Как настроить локальный кэширующий DNS-сервер с systemd-resolved

systemd-resolved — это утилита для управления сетевыми настройками, которая может работать как локальный кэширующий DNS-сервер.

Если ваша система использует systemd, скорее всего, systemd-resolved уже установлен, но не запущен. Для проверки введите команду:

$ resolvectl status

• Если systemd-resolved не настроен, система выдаст сообщение об ошибке.
• Если сервис работает, будут отображены настройки DNS.

Чтобы запустить systemd-resolved и добавить его в автозагрузку, выполните:

$ sudo systemctl start systemd-resolved.service
$ sudo systemctl enable systemd-resolved.service

Далее настройте DNS-сервера, к которым будет обращаться локальный сервер. Рекомендуем использовать DNS-сервера Cloudflare:

$ sudo nano /etc/systemd/resolved.conf

В конфигурационном файле отредактируйте строку DNS=, указав:

DNS=1.1.1.1 1.0.0.1

Сохраните изменения и перезапустите службу:

$ sudo systemctl restart systemd-resolved.service

🔥 Теперь система готова к использованию локального DNS-сервера.