Разведка на DNS: команда dig

Команда dig (Domain Information Groper) - это инструмент для работы с DNS-запросами. Он помогает «прощупать» домены и получить информацию, которая может быть полезной разработчикам, администраторам и любому, кто работает с сетями.

Для чего нужна команда:

Проверка DNS-записей: dig позволяет увидеть, какие записи (A, MX, CNAME, TXT и другие) связаны с доменом.

Диагностика сети: можно проверить, корректно ли настроен DNS, как быстро отдает ответы сервер, и видны ли изменения DNS.

Тестирование работы сервера: dig позволяет узнать IP-адрес, к которому привязан домен, или данные о почтовых серверах.

1. Чтобы узнать IP-адрес домена, используется базовый запрос:

dig example.com

Вывод покажет IP-адреса, ответственный DNS-сервер, время отклика и другие данные. Например:

;; ANSWER SECTION:
example.com.    300 IN A 93.184.216.34

Если нужно найти конкретную запись, например MX для почты или TXT для домена, укажите её тип:

dig example.com MX

Это покажет все почтовые серверы для домена example.com.

2. Запрос к конкретному DNS-серверу. Чтобы проверить, как разные серверы видят один и тот же домен, можно указать сервер, к которому идет запрос. Например, запрос к публичному DNS Google:

dig @8.8.8.8 example.com

Полный вывод бывает излишним, если нужно лишь IP-адрес. Краткий ответ можно получить с флагом +short:

dig example.com +short

В таком случае вывод будет простым и коротким:

93.184.216.34

3. Трассировка DNS-запроса. Чтобы узнать, через какие сервера проходит запрос к домену, используйте +trace:

dig example.com +trace

Полезно для отладки: вывод покажет путь до конечного сервера.

В результате, команда dig — это швейцарский нож для работы с DNS, позволяющий глубже понять устройство сетевых путей, исследовать домены и получать информацию о DNS-серверах. Пользуйтесь ею для сетевой диагностики и не забывайте о возможности точных и быстрых запросов с помощью +short и +trace!

BashTex 📱 #linux #networks

Улучшенный мониторинг системных ресурсов

Сегодня поговорим про htop. htop - это интерактивная версия классической команды top, которая используется для мониторинга процессов и использования ресурсов в реальном времени. В отличие от top, htop предоставляет более удобный интерфейс, поддержку цветовой схемы, мышиное управление и дополнительные функции для анализа производительности.

Основные плюсы использования:

Удобочитаемость: htop имеет цветной интерфейс, который делает вывод данных более понятным и легким для восприятия.

Навигация: Можно легко прокручивать список процессов вверх и вниз, используя клавиши со стрелками.

Управление процессами: С htop можно убивать процессы с помощью интерфейса, что упрощает работу по сравнению с вводом PID вручную в kill.

Отображение дерева процессов: Можно увидеть процессы в виде дерева, что помогает понять их взаимосвязь и структуру.

Установка htop:

Для Debian/Ubuntu:

sudo apt update
sudo apt install htop

Для CentOS/RHEL:

sudo yum install htop

Для Arch Linux:

sudo pacman -S htop

Основные возможности и использование

Запуск htop осуществляется простой командой в терминале:

htop

Появится цветной интерфейс с данными о текущих процессах, использовании CPU и памяти, времени работы системы и многом другом.

Навигация по интерфейсу

Стрелки вверх/вниз: перемещение по списку процессов.
F2 (Setup): позволяет настроить отображение и поведение htop.
F3 (Search): поиск процесса по имени.
F4 (Filter): фильтрация процессов.
F5 (Tree): переключение на отображение в виде дерева.
F9 (Kill): завершение выбранного процесса.
Пример: Завершение ресурсоемкого процесса

Теперь вы можете использовать htop для выявления «прожорливых» процессов:

Запустите htop и найдите процесс с высоким использованием CPU или памяти.
Наведите курсор на процесс и нажмите F9.
Выберите сигнал (по умолчанию SIGTERM) и нажмите Enter, чтобы завершить процесс.

BashTex 📱 #linux #monitoring

Быстрое создание пакетов файлов для тестирования

В процессе разработки и тестирования часто требуется быстро создавать файлы для симуляции различных сценариев. Linux предоставляет множество инструментов, позволяющих автоматизировать этот процесс. Рассмотрим несколько способов быстрого создания пакетов файлов для тестирования.

1. Создание множества файлов с помощью touch и цикла. Если нужно создать несколько пустых файлов с разными именами, можно использовать команду touch и цикл for:

for i in {1..10}; do touch test_file_$i.txt; done

Эта команда создаст 10 файлов с именами test_file_1.txt, test_file_2.txt и так далее.

2. Генерация файлов с содержимым. Для создания файлов с текстом можно использовать echo или printf:

for i in {1..5}; do echo "This is test content $i" > test_file_$i.txt; done

Каждый файл будет содержать строку "This is test content X", где X — номер файла.

3. Создание больших файлов с помощью dd. Иногда требуется сгенерировать большие файлы для тестирования производительности:

dd if=/dev/urandom of=large_test_file.bin bs=1M count=100

Эта команда создаст файл large_test_file.bin размером 100 MB, заполненный случайными данными. Для создания текстового файла можно заменить /dev/urandom на /dev/zero для заполнения нулями.

4. Создание архива с тестовыми файлами. Чтобы сжать файлы в архив для последующего тестирования:

tar -czvf test_files.tar.gz test_file_*.txt

Эта команда создаст архив test_files.tar.gz, содержащий все файлы, подходящие под шаблон test_file_*.txt.

5. Пример использования fallocate. fallocate позволяет быстро выделять место для файлов:

fallocate -l 50M test_file_large.txt

Эта команда создаст файл test_file_large.txt размером 50 MB, полезный для проверки объема или симуляции заполненного диска.

Эти простые команды помогут сгенерировать файлы различных размеров и типов в считанные секунды. Используйте их для тестирования различных сценариев, будь то загрузка, обработка больших данных или симуляция хранения.

BashTex 📱 #linux #utils

Погружение в контейнеры и пространства процессов

Сегодня познакомимся с nsenter - инструментом для системных администраторов и разработчиков, работающих с контейнерами и виртуальными средами. Она позволяет подключаться к различным пространствам имен (namespaces) существующих процессов и выполнять команды в их контексте. Это особенно полезно для работы с контейнерами Docker, Kubernetes и другими решениями виртуализации.

Что такое nsenter?

nsenter позволяет «войти» в пространство имен процесса, чтобы получить доступ к его окружению. Пространства имен в Linux используются для изоляции процессов, сети, монтирования файловых систем и других аспектов системы.

Для чего используется nsenter?

Отладка контейнеров: подключение к контейнеру без использования Docker-клиента.
Администрирование: выполнение команд в контексте изолированного процесса или контейнера.
Миграция и анализ: тестирование и перенос задач между разными пространствами процессов.

1. Подключение к процессу. Рассмотрим пример использования, попробуем подключиться к процессу с PID 1234:

sudo nsenter --target 1234 --all

Эта команда подключит вас ко всем пространствам имен, связанным с процессом 1234, включая монтирование, сеть, PID и другие.

2. Подключение только к пространству имен PID. Иногда необходимо работать только с процессами, не затрагивая сеть и файловую систему:

sudo nsenter --target 1234 --pid --mount --uts

Здесь подключение происходит к пространствам процессов (PID), монтирования и UTS (имена хостов).

3. Использование nsenter для работы с контейнерами Docker. Для начала нужно найти PID контейнера:

docker inspect -f '{{.State.Pid}}' <container_id>

Затем подключитесь к контейнеру:

sudo nsenter --target <PID> --mount --uts --ipc --net --pid

4. Использование nsenter для выполнения команды. Чтобы выполнить команду в пространстве имен процесса:

sudo nsenter --target 1234 --all -- bash

Откроется оболочка Bash, в которой вы сможете выполнять команды в контексте процесса с PID 1234.

---

Если nsenter не установлен в системе, его всегда можно установить через пакет util-linux

BashTex 📱 #linux #utils

Инструмент для мониторинга сетевых файловых систем

Сегодня поговорим об одном важном инструменте, зовут его Kube Trace NFS. Предназначен он для мониторинга сетевых файловых систем (NFS) в Kubernetes-кластерах с использованием eBPF.

Что он делает?

Он отслеживает операции чтения, записи, открытия и получения атрибутов для сбора телеметрии на уровне узла, экспортируя данные в Prometheus для анализа в Grafana. Инструмент предназначен для более детального контроля NFS-трафика между клиентами и серверами, поддерживает метрики по производительности и задержкам, а также интегрируется с Helm для установки.

Github 📱

BashTex 📱 #monitoring #devops

Установка разрешений по умолчанию

В Linux, когда создаются новые файлы или директории, им автоматически назначаются определенные права доступа. Эти права регулируются с помощью утилиты umask, которая задает маску доступа по умолчанию. Понимание работы umask позволяет администратору управлять правами доступа и обеспечивать безопасность данных.

Что такое umask?

umask определяет, какие разрешения не будут устанавливаться при создании нового файла или директории. Она представляет собой побитовую маску, которая вычитает определенные права доступа из максимальных возможных прав.

Для файлов: максимальные разрешения - 666 (rw-rw-rw-).
Для директорий: максимальные разрешения - 777 (rwxrwxrwx).

1. Проверка текущего значения umask:

umask

Вывод, например, 0022, означает, что новые файлы будут создаваться с правами 644 (rw-r--r--), а директории — с правами 755 (rwxr-xr-x).

2. Настройка umask для текущей сессии: Чтобы установить umask так, чтобы новые файлы создавались с правами 664 (rw-rw-r--), а директории с правами 775 (rwxrwxr-x):

umask 0002

3. Постоянное изменение umask: Чтобы изменить umask для всех пользователей и сеансов, добавьте строку в файл ~/.bashrc, ~/.profile или /etc/profile:

umask 0027

После этого новые файлы будут создаваться с правами 640 (rw-r-----), а директории — с 750 (rwxr-x---), что ограничивает доступ для других пользователей.

Как работает umask? Маска umask вычитает указанные права из максимальных значений:

Файл с umask 0022:
Максимальные права 666 → 644 (rw-r--r--).
Директория с umask 0022:
Максимальные права 777 → 755 (rwxr-xr-x).

Настройка umask особенно важна для многопользовательских систем, где необходимо ограничить доступ к создаваемым файлам и папкам. Например, umask 0077 подходит для случаев, когда файлы должны быть доступны только их владельцу (права 600 для файлов и 700 для директорий).

BashTex 📱 #linux #utils

Умная оболочка для повседневных задач

insh - это попытка объединить возможности традиционных shell'ов с интеллектуальными функциями, которые обычно ассоциируются с современными текстовыми редакторами и IDE. Основные цели insh — минимизация ошибок, повышение продуктивности и улучшение пользовательского опыта.

Ключевые возможности:

Интеллектуальные подсказки и автодополнение: insh поддерживает контекстуальные подсказки, которые помогают пользователю понять, какие команды и параметры доступны в текущем контексте. Например, при вводе ls или grep, оболочка подскажет доступные ключи и параметры, что облегчает запоминание.

Ошибкоустойчивость: insh помогает избежать ошибок, предупреждая о неправильных синтаксисах и предоставляя советы по их исправлению. Это особенно полезно для новичков, которые только начинают работать с командной строкой.

История команд с улучшенным поиском: insh позволяет легко находить ранее использованные команды с помощью мощной функции поиска по истории. Команды можно искать не только по первому символу, но и по ключевым словам.

Встроенная поддержка документации: При использовании команд insh отображает встроенные справочные материалы и примеры, что избавляет от необходимости переключаться на браузер для поиска документации.

Установка insh. Для начала работы необходимо установить insh. Обычно оболочка доступна в официальных репозиториях, но можно использовать и GitHub для последней версии:

git clone https://github.com/intellishell/insh.git
cd insh
sudo make install

Пример работы с insh. После установки введите insh для запуска оболочки:

insh

В процессе работы начните ввод команды, например, tar, и insh предложит автодополнение с объяснением ключей:

tar -[option] [file]
Options:
  -c  Create a new archive
  -x  Extract files from an archive
  -t  List the contents of an archive

А теперь коротко про ключевые фишки, зачем оно нужно и чем помогает:

Поддержка скриптов: insh может использоваться для написания скриптов, где автодополнение и проверка синтаксиса помогают избежать ошибок.

Модульность: оболочка поддерживает плагины и расширения, которые можно установить для добавления новых функций.

Совместимость: insh совместим с большинством стандартных команд и утилит Linux.

BashTex 📱 #linux #utils

Тестируем производительность серверов

YABS (Yet Another Benchmark Script) - популярный скрипт для быстрого тестирования производительности серверов. Он предназначен для оценки дисковой производительности, пропускной способности сети и производительности процессора. YABS прост в использовании, и его можно запустить всего одной командой.

YABS проверяет:

Производительность процессора с помощью sysbench.
Скорость дисковых операций (I/O) для SSD и HDD.
Сетевую пропускную способность через iperf3, тестируя скорость связи с различными узлами.

Установка и запуск YABS. Запуск YABS осуществляется без предварительной установки, достаточно использовать команду curl или wget:

curl -sL yabs.sh | bash

или

wget -qO- yabs.sh | bash

Что вы получите? После выполнения скрипта вы получите подробный отчет, который включает:

Результаты теста CPU: количество операций за секунду (OPS).
Результаты дисковых операций: скорость чтения и записи.
Скорость сети: измерения скорости загрузки и выгрузки данных с разных серверов по всему миру.

Ссылка на GitHub 📱

BashTex 📱 #bash #utils

Шпаргалка по bash

Шпаргалка поможет вам не только ознакомиться с базовой терминологией скриптинга, но и с вычиткой параметров из файла, хэндлинг сигналов (SIGTERM) и проч. Та самая полезная сохраненка.

BashTex 📱 #bash

Перенос больших файлов с помощью SCP

SCP - это отличный инструмент для переноса данных, однако при работе с большими файлами могут возникать определенные проблемы, такие как прерывание соединения или медленная скорость передачи. В этой статье рассмотрим, как эффективно использовать scp для передачи больших файлов.

Обычный перенос данных осуществляется так:

scp logs.tar [email protected]:/project/logs/

Но как быть если архив большой? Одно из решений - сжатие данных. Используйте флаг -C, чтобы сжать данные во время передачи. Это может значительно ускорить передачу, особенно для текстовых и плохо сжатых файлов:

scp -C logs.tar [email protected]:/project/logs/

Другие полезные фишки:

Ограничение скорости передачи. Чтобы избежать перегрузки сети, можно ограничить скорость передачи с помощью флага -l (в килобитах в секунду):

scp -l 5000 logs.tar [email protected]:/project/logs/

Здесь -l 5000 ограничивает скорость до 5000 Кбит/с (примерно 625 КБ/с).

Перезапуск передачи после сбоя. Если передача файла была прервана, ее нужно начать заново. Однако, чтобы избежать этого, лучше использовать rsync, который поддерживает продолжение передачи с места остановки:

rsync --partial --progress logs.tar [email protected]:/project/logs/

---

Альтернативой scp является rsync, который поддерживает:

Продолжение передачи после прерывания.
Более эффективное сжатие и контроль изменений.

Пример использования rsync:

rsync -avP logs.tar [email protected]:/project/logs/

Флаг -P включает отображение прогресса и позволяет продолжить передачу при прерывании.

BashTex 📱 #linux #utils

Настройка безопасного SSH-соединения

SSH - это основной инструмент для безопасного управления серверами и обмена данными в сети. Однако, чтобы минимизировать риски и усилить защиту сервера, необходимо настроить SSH-соединение с дополнительными мерами безопасности. В этой статье разберем ключевые шаги для улучшения безопасности SSH.

1. Отключение входа по паролю. Использование паролей может быть уязвимо к атакам типа brute-force. Настройка входа по SSH-ключам делает подключение гораздо более защищенным.

Создание SSH-ключа:

ssh-keygen -t rsa -b 4096

Добавление ключа на сервер:

ssh-copy-id user@server_ip

После успешного добавления ключа, в файле /etc/ssh/sshd_config измените строку: PasswordAuthentication no

2. Изменение стандартного порта SSH. Для предотвращения автоматизированных сканирований лучше изменить стандартный порт с 22 на менее очевидный.

Измените строку в файле /etc/ssh/sshd_config: Port 2222

Перезапустите SSH:

sudo systemctl restart ssh

3. Ограничение входа по IP-адресам. Если возможно, настройте брандмауэр для разрешения подключения к SSH только с определенных IP-адресов.

Используйте ufw для настройки правил:

sudo ufw allow from 192.168.1.100 to any port 2222
sudo ufw enable

4. Настройка двухфакторной аутентификации (2FA). Установка двухфакторной аутентификации добавляет дополнительный уровень защиты.

Установите Google Authenticator:

sudo apt install libpam-google-authenticator

Настройте PAM для использования 2FA, добавив строку в /etc/pam.d/sshd: auth required pam_google_authenticator.so

5. Ограничение числа попыток подключения. Используйте fail2ban для защиты от атак грубой силы.

Установите fail2ban:

sudo apt install fail2ban

Настройте его в /etc/fail2ban/jail.local:

[sshd]
enabled = true
port = 2222
filter = sshd
logpath = /var/log/auth.log
maxretry = 3

6. Отключение входа для root. Чтобы защитить сервер, запретите прямой вход root-пользователя.

В файле /etc/ssh/sshd_config измените: PermitRootLogin no

Комбинация использования SSH-ключей, изменения порта, ограничения доступа и дополнительных мер, таких как 2FA и fail2ban, делает ваш сервер значительно менее уязвимым к атакам.

BashTex 📱 #linux #security

Углубленное использование find

find - это одна из мощных команд в арсенале Linux, которая позволяет находить файлы и каталоги по множеству критериев. Применяя её в комбинации с другими утилитами и флагами, вы можете добиться впечатляющих результатов и автоматизировать рутинные задачи.

Пример базового поиска всех файлов с расширением .txt в текущем каталоге:

find . -name "*.txt"

Но что если задача чуть сложнее, чем просто найти файлы с одним расширением?

1. Поиск по времени изменения и доступа. find может искать файлы по дате их изменения или доступа:

Файлы, измененные за последние 7 дней/Файлы, доступ к которым был более 30 дней назад:

find /path/to/dir -mtime -7
find /path/to/dir -atime +30

2. Поиск по размеру. Если вам нужно найти файлы определенного размера/Файлы меньше 1 КБ:

find /path/to/dir -size +100M
find /path/to/dir -size -1k

3. Поиск по типу файла. find может искать определенные типы файлов:

Только каталоги/Только обычные файлы:

find /path/to/dir -type d
find /path/to/dir -type f

4. Комбинирование условий. С помощью логических операторов можно комбинировать разные условия:

Поиск файлов .log, измененных за последние 3 дня:

find /path/to/dir -name "*.log" -mtime -3

Исключение определенных файлов:

find /path/to/dir -type f ! -name "*.bak"

5. Выполнение действий с найденными файлами. find поддерживает выполнение команд с найденными файлами:

Удаление файлов старше 30 дней/Сжатие найденных файлов:

find /path/to/dir -type f -mtime +30 -exec rm {} \;
find /path/to/dir -name "*.log" -exec gzip {} \;

6. Использование find с xargs для повышения производительности. Для более эффективной обработки большого количества файлов используйте xargs:

Удаление всех файлов .tmp с помощью xargs:

find /path/to/dir -name "*.tmp" | xargs rm

Бонусом, полезные флаги:

-maxdepth N: Ограничивает глубину поиска.
-mindepth N: Исключает файлы выше указанной глубины.
-print0 и xargs -0: Обработка имен файлов с пробелами.

BashTex 📱 #linux #utils

Управление облачным хранилищем Backblaze B2 из командной строки

Backblaze B2 - одно из самых доступных и надежных облачных хранилищ, а утилита b2-tools позволяет работать с ним прямо из терминала. Это мощный инструмент для разработчиков, системных администраторов и всех, кто хочет автоматизировать работу с B2.

b2-tools - это CLI-утилита, предоставляемая Backblaze, которая позволяет:

Загружать и скачивать файлы.
Управлять хранилищами (buckets).
Настраивать права доступа и политики хранения.
Мониторить использование ресурсов

В этой статье рассмотрим установку, настройку и базовые команды для работы с b2-tools.

1. Установка b2-tools:

Убедитесь, что у вас установлен Python 3, а затем установите b2-tools через pip:

pip install b2

2. Настройка подключения. Для работы с B2 вам понадобятся Account ID и Application Key, которые можно получить в панели управления Backblaze.

Настройте утилиту:

b2 authorize-account

Введите ваши Account ID и Application Key, после чего утилита сохранит настройки авторизации.

3. Работа с хранилищами (buckets). Создание нового хранилища:

b2 create-bucket my-new-bucket allPrivate

Где allPrivate указывает, что файлы будут приватными (можно указать allPublic для публичного доступа).

Список основных команд:

b2 list-buckets - список всех хранилищ

b2 delete-bucket my-old-bucket - удаление хранилища

b2 upload-file my-bucket /path/to/local/file.txt file.txt - загрузка файла в хранилище

b2 download-file-by-name my-bucket file.txt /path/to/save/file.txt - скачивание файла

b2 delete-file-version file.txt FILE_ID - удаление файла из хранилища, где FILE_ID можно получить через команду b2 list-file-versions.

b2 get-account-info - мониторинг использования

---

Скрипт для загрузки всех файлов из директории:

for file in /path/to/dir/*; do
  b2 upload-file my-bucket "$file" "$(basename $file)"
done

Можете интегрировать с Cron для автоматизированного резервного копирования:

0 2 * * * /usr/bin/b2 upload-file my-bucket /path/to/backup.tar.gz backup.tar.gz

И напоследок, перед загрузкой файлов можете зашифровать их с помощью gpg:

gpg -c file.txt
b2 upload-file my-bucket file.txt.gpg file.txt.gpg

BashTex 📱 #linux #utils

Альтернатива команде tree

tre - это модернизированная версия команды tree, которая упрощает визуализацию файловой структуры. Она создана для тех, кто ценит удобство, скорость и красоту вывода в терминале.

Особенности tre:

Красивый цветной вывод.
Интеграция с Git: отображение состояния файлов (измененные, новые и т.д.).
Минималистичный и понятный интерфейс.
Поддержка фильтров для исключения ненужных файлов.

Установка:

git clone https://github.com/dduan/tre
cd tre
cargo build --release

Показ скрытых файлов: tre -a

Интеграция с Git: tre -g

tre делает вывод удобным и современным, добавляя цветовые акценты и полезную информацию (например, Git-статусы). Это отличный инструмент для всех, кто работает с большими проектами и хочет видеть структуру файлов "с первого взгляда".

Ссылка на GitHub 📱

BashTex 📱 #linux #utils

Удаляем особые режимы разрешений в Linux: SUID, SGID и Sticky bit

Файловая система Linux позволяет настраивать специальные режимы разрешений, такие как SUID, SGID, и Sticky bit. Эти флаги предоставляют дополнительные привилегии или ограничения для работы файлов и каталогов, но иногда их нужно удалить, чтобы избежать потенциальных уязвимостей или ошибок.

В этой статье разберём, что означают эти режимы и как безопасно их удалять.

Что такое SUID, SGID и Sticky bit?

SUID (Set User ID):
Позволяет запускать файл с правами владельца, а не текущего пользователя.
Пример: /usr/bin/passwd.

SGID (Set Group ID):
Для файлов: позволяет запускать файл с правами группы-владельца.
Для директорий: все новые файлы и папки наследуют группу родительской директории.

Sticky bit:
Обычно используется для директорий, таких как /tmp. Позволяет удалять файлы только владельцу, даже если папка доступна для записи всем.

1. Как определить наличие специальных флагов? Используйте команду ls с опцией -l:

ls -l file_or_directory

Пример вывода:

-rwsr-xr-x 1 root root 12345 Oct 28 10:00 suid_file
drwxrwsr-x 2 user group 4096 Oct 28 10:00 sgid_dir
drwxrwxrwt 2 user group 4096 Oct 28 10:00 sticky_dir

s в правах владельца (rws) указывает на SUID.
s в правах группы (rws) указывает на SGID.
t в правах других пользователей (rwt) указывает на Sticky bit.

Удаление специальных режимов

1. Удаление SUID

Команда удаления и проверка:

chmod u-s suid_file
ls -l suid_file

-rwxr-xr-x 1 root root 12345 Oct 28 10:00 suid_file

2. Удаление SGID

Команда и проверка:

chmod g-s sgid_dir
ls -ld sgid_dir

Вывод:

drwxrwxr-x 2 user group 4096 Oct 28 10:00 sgid_dir

3. Удаление Sticky bit

Команда и проверка:

chmod o-t sticky_dir
ls -ld sticky_dir

Вывод:

drwxrwxr-x 2 user group 4096 Oct 28 10:00 sticky_dir

Автоматическое удаление флагов с группой файлов. Создадим скрипт для массового удаления специальных флагов:

#!/bin/bash

for file in "$@"; do
  echo "Удаляем специальные флаги с $file"
  chmod u-s,g-s,o-t "$file"
done

Сохраните скрипт, например, как remove_flags.sh, и не забудьте сделать его исполняемым:

chmod +x remove_flags.sh

Теперь его можно запускать для нескольких файлов:

./remove_flags.sh file1 file2 dir1

Когда стоит удалять специальные флаги?

Устаревшие файлы: Удаляйте SUID/SGID у устаревших программ, которые больше не используются.
Безопасность: SUID/SGID могут быть использованы злоумышленниками для эскалации привилегий.
Упрощение управления: Удаление Sticky bit может быть полезным, если директория больше не используется как общедоступная.

BashTex 📱 #linux #utils

df: нестандартное использование

df (disk free) — это команда, которая отображает информацию о свободном и занятом месте на файловых системах. Обычно её используют для быстрого просмотра дискового пространства, но в этой статье мы посмотрим на нестандартное использование команды df в bash-скриптах для автоматизации задач.

Базовая команда с примером вывода:

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        50G   30G   20G  60% /
tmpfs           2.0G  1.0M  2.0G   1% /dev/shm
/dev/sdb1       100G   50G   50G  50% /mnt/data

Флаг -h показывает размеры в удобных для чтения единицах (MB, GB).

1. Уведомление при малом свободном месте. Скрипт для проверки свободного места и отправки уведомления, если оно меньше заданного порога.

#!/bin/bash

# Установим порог свободного места (в процентах)
THRESHOLD=80

# Проверяем каждый раздел
df -h | awk 'NR>1 {sub("%", "", $5); if ($5 > ENVIRON["THRESHOLD"]) print $0}' | while read -r line; do
  echo "Внимание! Диск переполнен: $line" | mail -s "Диск почти заполнен" [email protected]
done

Как работает: awk извлекает колонку с использованием (Use%) и сравнивает её с пороговым значением. Если оно превышено, отправляется уведомление.

2. Удаление временных файлов при переполнении. Скрипт для автоматического удаления файлов в /tmp, если свободное место на / меньше 20%.

#!/bin/bash

# Устанавливаем порог
THRESHOLD=20

# Получаем свободное место на /
FREE=$(df / | awk 'NR==2 {sub("%", "", $5); print 100 - $5}')

if [ "$FREE" -lt "$THRESHOLD" ]; then
  echo "Мало места на корневом разделе. Удаляю старые файлы в /tmp..."
  find /tmp -type f -mtime +7 -delete
  echo "Очистка завершена!"
else
  echo "Места достаточно: $FREE% свободно."
fi

Как работает: скрипт проверяет, сколько процентов свободного места на корневом разделе, и удаляет файлы старше 7 дней в папке /tmp, если места мало.

3. Мониторинг использования дисков в реальном времени. Скрипт для отображения изменений в свободном месте на диске каждые 5 секунд.

#!/bin/bash

echo "Мониторинг свободного места (каждые 5 секунд):"

while true; do
  clear
  df -h
  sleep 5
done

Как работает: бесконечный цикл обновляет вывод df -h каждые 5 секунд, что позволяет отслеживать изменения в реальном времени.

4. Логирование дискового пространства. Скрипт для записи информации о дисковом пространстве в лог-файл с указанием времени.

#!/bin/bash

LOG_FILE="/var/log/disk_usage.log"

# Логирование состояния дисков
df -h | awk -v date="$(date '+%Y-%m-%d %H:%M:%S')" 'NR==1 {print "Дата:", date; print $0} NR>1 {print}' >> "$LOG_FILE"

echo "Данные записаны в $LOG_FILE"

Как работает: каждая запись логирует текущее состояние дисков с указанием даты и времени. Подробнее о том, зачем это нужно и как применять поговорим завтра.

---

Небольшие советы по использованию df в скриптах:

Используйте флаг -P для более удобного форматирования вывода, если обрабатываете данные через awk или grep.
Комбинируйте df с другими утилитами (find, mail, cron) для автоматизации задач.
Периодически проверяйте скрипты на корректность, чтобы избежать случайного удаления важных данных.

BashTex 📱 #bash #utils

Логирование дискового пространства в Linux: автоматизация и контроль

Дисковое пространство - один из важнейших ресурсов системы. Постоянный мониторинг его состояния помогает избежать неприятных ситуаций, таких как переполнение разделов и остановка важных процессов. Логирование дискового пространства позволяет своевременно выявлять проблемы и анализировать историю использования.

Почему это важно?

Предотвращение проблем: Заранее узнавайте о нехватке места.
Анализ трендов: Отслеживайте, как быстро растёт использование места.
Автоматизация: Система сама уведомляет о критических ситуациях.

1. Создаём систему логирования дискового пространства. Базовый скрипт для логирования:

#!/bin/bash

LOG_FILE="/var/log/disk_usage.log"

# Текущая дата и время
CURRENT_DATE=$(date '+%Y-%m-%d %H:%M:%S')

# Состояние дисков
DISK_USAGE=$(df -h)

# Запись в лог-файл
{
  echo "-----"
  echo "Дата: $CURRENT_DATE"
  echo "$DISK_USAGE"
} >> "$LOG_FILE"

echo "Логирование завершено. Данные записаны в $LOG_FILE"

Вывод в файле /var/log/disk_usage.log:

-----
Дата: 2024-11-05 14:00:00
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        50G   30G   20G  60% /
tmpfs           2.0G  1.0M  2.0G   1% /dev/shm
/dev/sdb1       100G   50G   50G  50% /mnt/data

2. Автоматизация через cron. Добавьте скрипт в crontab, чтобы запускать его ежедневно:

crontab -e

Добавьте строку:

0 0 * * * /path/to/disk_logger.sh

Теперь скрипт будет запускаться каждый день в полночь.

3. Уведомления при критическом состоянии. Модифицируем скрипт для отправки уведомлений, если свободного места становится меньше 20%.

#!/bin/bash

LOG_FILE="/var/log/disk_usage.log"
THRESHOLD=20

# Проверка разделов
df -h | awk -v date="$(date '+%Y-%m-%d %H:%M:%S')" -v threshold="$THRESHOLD" 'NR>1 {gsub("%", "", $5); if ($5 > (100-threshold)) print date, $0}' | while read -r line; do
  echo "Критическое состояние диска: $line" >> "$LOG_FILE"
  echo "$line" | mail -s "Уведомление: мало места на диске" [email protected]
done

Если свободного места станет меньше 20%, лог будет дополнен, а администратору отправлено уведомление.

4. Анализ роста использования пространства:

grep "/dev/sda1" /var/log/disk_usage.log | awk '{print $2, $3, $5}' | tail

Визуализация:
Сохраните данные в CSV для анализа:

grep "/dev/sda1" /var/log/disk_usage.log | awk '{print $1, $5}' > disk_usage.csv

Затем откройте CSV в Excel или LibreOffice для построения графиков.

Логирование дискового пространства помогает предвидеть и устранять проблемы до того, как они повлияют на работу системы, а также производить различные анализы.

BashTex 📱 #bash #utils

Бесполезно - полезная команда

Когда-нибудь слышали про true? На первый взгляд, команда true в Linux кажется бесполезной: она просто возвращает успешный код выхода (0). Но за этой простотой скрывается мощный инструмент, который можно применять в сложных сценариях автоматизации и написании нестандартных команд.

Что делает true? true возвращает успешный статус и ничего больше.

true
echo $?
0

Но давайте разберемся, где применяется true и какое применение ей можно найти.

1. Бесконечные циклы без условий. Вместо громоздкого while [ 1 ]; do, используйте true для создания чистого бесконечного цикла:

while true; do
  echo "Работаем!"
  sleep 1
done

2. Заглушки для тестирования. Если вы пишете скрипт и определённые команды ещё не готовы, используйте true как временную заглушку:

Копировать код
#!/bin/bash

echo "Шаг 1: Выполнен"
true # В будущем замените на реальную команду
echo "Шаг 2: Выполнен"

3. Условные команды без выполнения. Иногда нужно выполнить что-то только при ошибке. Вместо добавления условий используйте true как пустую команду:

mkdir /tmp/test || true

4. Условное выполнение с && и ||

[ -d /tmp/test ] && echo "Папка существует" || true

Если папка существует, выводится сообщение. Если нет, ничего не происходит.

5. Отключение alias в сценариях. Чтобы убедиться, что используется реальная команда, а не alias:

true && /bin/ls

Это полезно, если ls переопределён.

6. "Просто продолжай". Для сложных скриптов, где нужно игнорировать возможные ошибки в блоках:

cp важный_файл.txt /куда-то/ || true

Файл копируется, но ошибки игнорируются.

На самом деле, по итогу команда true - это простой, но очень гибкий инструмент. Она идеально подходит для упрощения циклов, тестирования скриптов и построения сложных сценариев с условным выполнением команд. Если вы хотите писать лаконичный и читаемый код - не забывайте про этого незаменимого помощника.

BashTex 📱 #linux #utils

Инструмент для работы с электронной почтой в Linux

mailx - это классическая утилита для отправки и получения электронной почты прямо из командной строки. Несмотря на своё минималистичное происхождение, она остаётся популярной благодаря гибкости, простоте использования и широким возможностям для интеграции со скриптами.

Основные возможности mailx:

Отправка писем с вложениями.
Поддержка SMTP-серверов.
Интеграция в bash-скрипты для автоматизации.
Чтение входящих писем.

1. Отправка простого письма:

echo "Привет, это тестовое письмо!" | mailx -s "Тестовое письмо" [email protected]

-s: заголовок письма.
[email protected]: получатель.

Результат: заголовок "Тестовое письмо" и телом "Привет, это тестовое письмо!".

2. Отправка письма с вложением. Для отправки файла в качестве вложения используйте флаг -a:

echo "Смотрите вложение." | mailx -s "Файл во вложении" -a /path/to/file.txt [email protected]

Пример вывода у получателя:

Тема: Файл во вложении.
Текст: Смотрите вложение.
Прикреплённый файл: file.txt.

3. Использование SMTP-сервера. Настройка SMTP-сервера позволяет отправлять письма через внешние почтовые сервисы (например, Gmail):

Добавьте настройки в файл ~/.mailrc:

set smtp-use-starttls
set ssl-verify=ignore
set smtp=smtp://smtp.gmail.com:587
set smtp-auth=login
set [email protected]
set smtp-auth-password=your_password
set from="[email protected]"

Теперь отправка письма будет происходить через SMTP:

echo "Почта через SMTP!" | mailx -s "SMTP тест" [email protected]

4. Автоматическая отправка отчётов. mailx отлично подходит для автоматизации. Например, отправка отчёта о состоянии дисков:

#!/bin/bash

DISK_USAGE=$(df -h)
echo "$DISK_USAGE" | mailx -s "Ежедневный отчёт о дисках" [email protected]

5. Чтение почты. Если настроен локальный почтовый сервер, mailx можно использовать для чтения входящих сообщений:

mailx

Навигация по письмам:

Нажмите ? для списка доступных команд.
Используйте номер письма для чтения, например:

& 1

При всей своей простоте mailx позволяет отправлять уведомления, автоматизировать отчёты или выполнять простое чтение писем. Если вы ищете лёгкий и надёжный способ управлять почтой в Linux, то mailx будет верным помощником.

BashTex 📱 #linux #utils

Отправка SMS с помощью утилит Linux

Хотите отправлять SMS прямо из Linux? Это полезно для автоматизации уведомлений, мониторинга или личного использования. Рассмотрим, как настроить и использовать популярную утилиту gammu для отправки SMS.

Gammu - это важный инструмент для работы с мобильными телефонами или GSM-модемами. Он позволяет:

Отправлять SMS и MMS.
Управлять контактами и календарями.
Работать с USSD-командами.

1. Подключите устройство: GSM-модем или телефон через USB.

2. Настройка Gammu. Определите порт подключения устройства:

ls /dev/tty*

Обычно модем определяется как /dev/ttyUSB0.

3. Сконфигурируйте gammu:

Создайте файл ~/.gammurc:

[gammu]
device = /dev/ttyUSB0
connection = at

4. Проверьте связь с устройством:

gammu --identify

Ожидаемый вывод:

Device               : /dev/ttyUSB0
Manufacturer         : Huawei
Model                : E173 (E173)
Firmware             : 11.126.16.04.00
IMEI                 : 123456789012345

5. Отправка тестового SMS:

gammu sendsms TEXT +79161234567 -text "Привет! Это тестовое сообщение."

+79161234567 — номер телефона в международном формате.
"Привет! Это тестовое сообщение." — текст сообщения.

Пример вывода:

If you want break, press Ctrl+C...
Sending SMS 1/1....waiting for network acknowledgement..OK, message reference=1

6. Автоматизация через скрипты. Создайте bash-скрипт для автоматической отправки уведомлений:

#!/bin/bash

PHONE="+79161234567"
MESSAGE="Сервер работает нормально."

gammu sendsms TEXT "$PHONE" -text "$MESSAGE" >> /var/log/sms.log 2>&1

Это пример базового скрипта, который можно добавить в cron. При необходимости отправку СМС можно связать с мониторингом важных процессов и в случае их падения получать СМС, например.

7. Безопасность. Убедитесь, что права на файл с конфигурацией ограничены:

chmod 600 ~/.gammurc

Для использования сторонних сервисов, таких как SMS-шлюзы, храните API-ключи в защищённых файлах.

---

Дополнительные команды Gammu.
Чтение входящих SMS:

gammu getallsms

Удаление всех SMS:

gammu deleteallsms 1

Отправка Flash SMS (отображается на экране, но не сохраняется):

gammu sendsms FLASH +79161234567 -text "Это Flash SMS!"

BashTex 📱 #linux #utils

Параллельное выполнение задач в Bash: ускоряем скрипты и контролируем фоновые процессы

Когда вы запускаете множество команд последовательно, выполнение скрипта может занять значительное время. Параллельное выполнение задач позволяет значительно ускорить процесс, особенно если команды не зависят друг от друга. В этой статье рассмотрим:

Как запустить команды в фоне.
Как ограничить количество параллельно выполняемых задач.
Сравним результаты для наглядной демонстрации.

1. Параллельное выполнение с &. Чтобы запустить команду в фоновом режиме, просто добавьте & в конце строки:

sleep 5 &  # Фоновая задача
echo "Команда завершена"
wait        # Ожидание завершения всех фоновых задач

2. Ограничение количества фоновых задач. Когда слишком много задач выполняются параллельно, это может перегрузить систему. Чтобы избежать этого, можно использовать ограничение.

Пример с семафором (функция parallel_run):

#!/bin/bash

# Функция для параллельного выполнения с ограничением
parallel_run() {
  local max_jobs=4  # Максимальное количество фоновых задач
  local job_count=0

  for i in {1..10}; do
    {
      echo "Начало задачи $i"
      sleep $((RANDOM % 5 + 1))  # Симуляция работы
      echo "Задача $i завершена"
    } &

    ((job_count++))
    if [[ $job_count -ge $max_jobs ]]; then
      wait -n  # Ждём завершения одной из задач
      ((job_count--))
    fi
  done

  wait  # Ожидание завершения всех оставшихся задач
}

# Запуск
parallel_run

Результат выполнения:

Начало задачи 1
Начало задачи 2
Начало задачи 3
Начало задачи 4
Задача 2 завершена
Начало задачи 5
...

Количество одновременно выполняемых задач не превышает 4.

3. Сравнение производительности

Скрипт с последовательным выполнением:

#!/bin/bash
for i in {1..10}; do
  echo "Выполняется задача $i"
  sleep 2  # Симуляция работы
  echo "Задача $i завершена"
done

Результат: время выполнения = 10 задач × 2 секунды = 20 секунд.

Скрипт с параллельным выполнением:

Копировать код
#!/bin/bash
for i in {1..10}; do
  {
    echo "Выполняется задача $i"
    sleep 2  # Симуляция работы
    echo "Задача $i завершена"
  } &
done
wait

Результат: Все задачи запускаются одновременно. Время выполнения ≈ 2 секунды.

Скрипт с ограничением фоновых задач:

Копировать код
#!/bin/bash
parallel_run() {
  local max_jobs=3
  local job_count=0

  for i in {1..10}; do
    {
      echo "Выполняется задача $i"
      sleep 2  # Симуляция работы
      echo "Задача $i завершена"
    } &
    ((job_count++))
    if [[ $job_count -ge $max_jobs ]]; then
      wait -n
      ((job_count--))
    fi
  done
  wait
}

parallel_run

Результат: Ограничение до 3 задач одновременно. Время выполнения ≈ 7–8 секунд.

---

Дополнительный инструмент: xargs
Для простого ограничения количества задач можно использовать xargs с флагом -P:

seq 1 10 | xargs -n1 -P4 -I{} bash -c 'echo "Начало задачи {}"; sleep 2; echo "Задача {} завершена"'

-P4: ограничение на 4 параллельные задачи.

В результате получается, что параллельное выполнение задач в Bash значительно ускоряет работу скриптов:

👎 Полное отсутствие ограничений может перегрузить систему.
👍 Ограничение количества задач помогает сбалансировать нагрузку.
👍 Использование инструментов, таких как wait, xargs, или написание собственных функций, позволяет гибко управлять параллельностью.

BashTex 📱 #linux #utils