📌Совет по Linux

Если вы хотите определить, сколько времени займет выполнение определенной команды или скрипта, используйте команду time.

Вот синтаксис:

$ time <команда>.

Пример:
$ time find / -perm -u=s -type f &>/dev/null

Он также показывает использование системных ресурсов процесса, что делает его полезным инструментом для оценки эффективности конкретной команды.

📁 Работа с файлами и каталогами в Linux

В этом руководстве для начинающих пользователей мы ознакомимся с основными командами для работы с файлами и каталогами (иногда их еще называют директориями) в Linux-системах.

https://telegra.ph/Rabota-s-fajlami-i-katalogami-v-Linux-09-19

Полезные команды Linux. Поиск нужного файла

# find / -user vasya
Найти все директории и файлы принадлежащие пользователю vasya. Поиск будет производиться, начиная с корневой директории (/)
# find / -name filedir
Найти директории и файлы с именем filedir. Поиск будет производиться, начиная с корневой директории (/)
# find /usr/bin -type f -atime +20
Найти все файлы в директории /usr/bin, время последнего обращения к которым более 20 дней
# find /usr/bin -type f -mtime -10
Найти все файлы в директории /usr/bin, которые были созданы или модифицированы в течении последних 10 дней
# find / -xdev -name \*.rpm
Искать директории и файлы, имена которых оканчиваются на ".rpm", но игнорируя съёмные накопители, cdrom, usb и т.п.
# find . -maxdepth 1 -name *.jpg -print -exec convert
Найти в текущей директории все файлы с расширением jpg и выполнить для каждого команду convert ( Imagemagick )
# find /path/to/dir -name \*.c
Найти все директории и файлы, имена которых оканчиваются на ".с". Поиск будет производиться, начиная с директории /path/to/dir
# find / -name *.rpm -exec chmod 755 '{}' \;
Начиная с корня, найти все фалы и директории, имена которых оканчиваются на ".rpm", и для каждого изменить права доступа
# whereis ls
Вывод полных путей к бинарным файлам, файлом исходных кодов и руководств, имеющих отношение к файлу ls
# locate \*.ps
Поиск всех файлов, содержащих в имени ".ps" по специальной базе данных, предварительно сформированной командой updatedb
# which ls
Вывести полный путь до файла ls

Установка Ubuntu 24.04 с полным шифрованием диска и использованием TPM

Это буквально "заметки для себя", но так как гуглёж до начала не дал никакой толковой информации, то решил оставить их и для остальных, может кому-то пригодится.

https://habr.com/ru/articles/832782/

3 довольно неизвестных команды Docker, которые помогут вам в самых различных ситуациях

Если вы какое-то время используете Docker, у вас, вероятно, уже есть адаптированный для вас простой и эффективный рабочий процесс, который включает в себя некоторые из ваших любимых команд Docker (если это технически правильные подкоманды).

https://telegra.ph/3-dovolno-neizvestnyh-komandy-Docker-kotorye-pomogut-vam-v-samyh-razlichnyh-situaciyah-09-26

DevOps resources

Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP


https://github.com/bregman-arie/devops-resources

Ставим пароль на GRUB

1. Генерация хэш-пароля
За данное действие отвечает утилита:
grub-mkpasswd-pbkdf2 

А затем два раза ввести будущий пароль для GRUB. Полученный хэш – это длинная строка, которая начинается с grub.pbkdf2. Ее нужно скопировать и куда-нибудь сохранить.

2. Изменить настройки 
Теперь нужно назначить супер-пользователя для GRUB. Это удобно делать через файл /etc/grub.d/00_header, отредактировав его содержимое. Удобнее сначала открыть текстовый документ, куда все было сохранено, и вставить команду следующего вида:
cat << EOF
set superusers="user_name"
password_pbkdf2 user_name хэш-пароль
EOF
Вместо user_name во второй и третьей строке укажите предпочтительное имя супер-пользователя GRUB, а также замените хэш пароль на свой.

Теперь выполните:
sudo nano /etc/grub.d/00_header

Пролистайте его содержимое до самого конца и на новой строке вставьте ранее подготовленную команду из 4 строк, которая сохранена в текстовом документе. Сохраните изменения.

3. Обновить конфигурацию
sudo update-grub

4. Проверить работу
reboot

Инструменты Kafka

→ kcat (Kafka-CLI) 

Командная утилита для взаимодействия с Kafka-кластером через API. Позволяет производить и потреблять сообщения, запрашивать метаданные топиков и управлять группами консумеров с помощью CLI команд.

 
→ Prometheus и Grafana для мониторинга 

Prometheus собирает ключевые метрики производительности Kafka: статусы брокеров, репликация партиций, латентность, а Grafana визуализирует их в виде дашбордов, позволяя настраивать алертинг и следить за SLA в реальном времени.

 
→ Kafka UI  

Веб-интерфейсы, такие как Kafka Manager, предоставляют графический доступ для управления топиками, мониторинга брокеров, репликации партиций и отслеживания состояния консумер-групп. Это упрощает администрирование распределённого кластера.

→ Kafka Connect

Упрощает интеграцию Kafka с внешними системами, автоматизируя процессы передачи данных. Вместо разработки кастомных ETL-пайплайнов, Kafka Connect позволяет настроить и запустить коннекторы для потоковой передачи данных в ваш Kafka-кластер или их извлечение за секунды.

→ Kafka Streams

Нужен для разработки высокопроизводительных приложений потоковой обработки данных в реальном времени. Он предоставляет высокоуровневые абстракции для работы с потоками данных, включая такие задачи, как фильтрация, агрегация, трансформации и объединение потоков, с поддержкой распределённой обработки и горизонтального масштабирования.

Просто о VRF

источник

Продвинутая работа с логами в Linux

journalctl - Работа со структурированными логами

Журнал событий, это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng.

Утилита командной строки journalctl, если сравнивать ее с традиционным инструментами для работы с логами в UNIX (tail, grep, sed, awk) более широкие возможности.

Давайте рассмотрим основные возможности которые предоставляет журнал systemd и способы их применения.

https://habr.com/ru/articles/749714/