Продвинутая работа с логами в Linux

journalctl - Работа со структурированными логами

Журнал событий, это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng.

Утилита командной строки journalctl, если сравнивать ее с традиционным инструментами для работы с логами в UNIX (tail, grep, sed, awk) более широкие возможности.

Давайте рассмотрим основные возможности которые предоставляет журнал systemd и способы их применения.

https://habr.com/ru/articles/749714/

Утилита для бэкапов Borgbackup

Дедуплицирующий архиватор с сжатием и защищенным шифрованием.

BorgBackup дает вам:
Экономия места при хранении резервных копий.
Безопасное, аутентифицированное шифрование.
Сжатие: lz4, zstd, zlib, lzma или без него.
Возможность монтирования резервных копий с помощью FUSE.
Простая установка на различных платформах: Linux, macOS, BSD, ...
Свободное программное обеспечение (лицензия BSD).
Поддерживается большим и активным сообществом разработчиков с открытым исходным кодом.

GitHub https://github.com/borgbackup/borg

Demo https://www.borgbackup.org/demo.html

MikroTik Winbox 4 - Dark Mode активирован🔥

Кроссплатформенная нативная версия для Windows, Mac и Linux

https://mikrotik.com/download

WebTTY: Доступ по SSH через браузер, даже там, где порт закрыт

Как мы с вами знаем, SSH — надежный и безопасный протокол для удаленного управления системами, который у многих является неотъемлемой частью работы. Однако, что делать, когда стандартные порты SSH заблокированы или закрыты, например, в строго защищенных корпоративных сетях или в облачных средах с жесткой политикой безопасности? Или что делать, если под рукой есть только браузер и нет возможности использовать обычный терминал? Или вам вживую нужно смотреть/управлять сессией?

Одним из таких решений является WebTTY — инструмент, который обеспечивает доступ к терминалу удаленного сервера через веб-браузер, используя технологию WebRTC и веб-технологии для создания безопасного и зашифрованного соединения. Это решение позволяет обойти ограничения, такие как заблокированные стандартные SSH-порты, и предоставляет простой и удобный способ взаимодействия с командной строкой сервера без необходимости открытия дополнительных портов, что особенно полезно в средах с жесткими сетевыми ограничениями или за фаерволами.

В этой статье мы рассмотрим, как WebTTY может быть использован для доступа к SSH-портам через браузер, даже если они закрыты, как его можно настроить и когда его можно использовать. Основана цель данного материала – познакомить вас с таким вариантом подключения и показать, как использовать данный инструмент. Надеюсь, что представленные примеры и объяснения помогут вам оценить его возможности и найти полезные применения в вашей практике.

https://habr.com/ru/articles/840352/

Инструменты мониторинга трафика в Mikrotik

Первый способ:
Использование инструмента Torch в разделе Queue для реального времени анализа трафика через интерфейс Bridge, что помогает выявить потребление трафика на конкретных сайтах.

Второй способ:
Отслеживание активных соединений в разделе IP Firewall Connections с возможностью сортировки по IP-адресам, портам и количеству переданных данных, а также использование командной строки для детального анализа и настройки QoS.

Эти методы помогают эффективно контролировать и управлять сетевым трафиком.

источник

Tmpmail

Временная электронная почта прямо из вашего терминала, написанная на POSIX sh

https://github.com/sdushantha/tmpmail

​Terminus (Tabby) – Кросс-платформенный терминал с возможностью тонкой конфигурации.

Данный терминал имеет интегрированный ssh-клиент - что делает его превосходной заменой стандартного PowerShell или PuTTY на Windows.

https://github.com/Eugeny/tabby

Как настроить NAT: тонкие настройки трансляции адресов на Cisco IOS

Рассмотрим, как настроить NAT на маршрутизаторе Cisco, а также сделать тонкие настройки сервиса трансляции адресов (PAT, NAT Virtual Interface, NAT timeout, max-entries). Исследуемая топология состоит из маршрутизатора Cisco 2911 с ПО Cisco IOS 15.0. Допускается использование других маршрутизаторов и версий Cisco IOS.

https://telegra.ph/Kak-nastroit-NAT-tonkie-nastrojki-translyacii-adresov-na-Cisco-IOS-06-29

Как перенести профили windows server 2012, 2019


1. Создайте новый каталог на другом диске: Назовем его, например, "D:\UserProfiles".

2. Используйте утилиту robocopy: Windows поставляется с утилитой robocopy, которая позволяет копировать файлы и каталоги с сохранением разрешений и атрибутов. Она также может использоваться для перемещения профилей пользователей.В командной строке или PowerShell выполните следующую команду, чтобы скопировать профиль пользователя с диска C на другой диск (замените Username на имя пользователя):
robocopy C:\Users\Username D:\UserProfiles\Username /e /copyall /mir /xj
Так же, нужно заменить букву диска во второй половине на ту, которая у Вас.

/e - Копирует все подкаталоги, включая пустые.
/copyall - Копирует все атрибуты файлов, включая разрешения и атрибуты.
/mir - Зеркально копирует каталог, удаляя файлы на целевом диске, если они отсутствуют на исходном.
/xj - Исключает символические ссылки, чтобы избежать бесконечных циклов.
3. Перейдите к разделу реестра:
Перейдите к следующему разделу реестра:
Copy codeHKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\ProfileList

Измените путь к профилю пользователя: В этом разделе найдите запись с именем пользователя, чей профиль вы хотите переместить. Каждая запись будет иметь имя вида S-1-5-21-XXXXXXXXXX-XXXXXXXXXX-XXXXXXXXXX-1001 (где X - это цифры).
Дважды щелкните запись и измените значение ProfileImagePath на новый путь к каталогу на другом диске. Например, измените C:\Users\Username на D:\UserProfiles\Username.

4. Проверьте доступ к профилю: Убедитесь, что пользователь может успешно войти в свой профиль с нового местоположения.

Libtree

Утилита, позволяющая получить список разделяемых библиотек (shared libraries) в виде дерева, либо в виде путей до этих библиотек в системе.


1. Скачиваем libtree:

$ wget https://github.com/haampie/libtree/releases/download/v3.0.1/libtree_x86_64 -O libtree
$ chmod +x libtree

2. Проверяем нужный нам файл:

$ ./libtree /bin/nano
/bin/nano 
├── libmagic.so.1 [default path]
│ └── libz.so.1 [default path]
├── libtinfo.so.6 [default path]
└── libncursesw.so.6 [default path]
└── libtinfo.so.6 [default path]

При необходимости углубиться и получить зависимости для отображаемых библиотек просто добавляем -v, -vv или -vvv соответственно.

$ ./libtree -vvv /bin/nano
/bin/nano 
├── libmagic.so.1 [default path]
│ ├── libz.so.1 [default path]
│ │ └── libc.so.6 [default path]
│ │ └── ld-linux-x86-64.so.2 [default path]
│ └── libc.so.6 [default path]
│ └── ld-linux-x86-64.so.2 [default path]
├── libc.so.6 [default path]
│ └── ld-linux-x86-64.so.2 [default path]
├── libtinfo.so.6 [default path]
│ └── libc.so.6 [default path]
│ └── ld-linux-x86-64.so.2 [default path]
└── libncursesw.so.6 [default path]
├── libtinfo.so.6 [default path]
│ └── libc.so.6 [default path]
│ └── ld-linux-x86-64.so.2 [default path]
└── libc.so.6 [default path]
└── ld-linux-x86-64.so.2 [default path]

Отобразить полный путь до файла на сервере можно с помощью опции -p:

$ ./libtree -p -vvv /bin/ping
/bin/ping 
├── /lib64/libcap.so.2 [default path]
│ └── /lib64/libc.so.6 [default path]
│ └── /lib64/ld-linux-x86-64.so.2 [default path]
├── /lib64/libc.so.6 [default path]
│ └── /lib64/ld-linux-x86-64.so.2 [default path]
└── /lib64/libidn2.so.0 [default path]
├── /lib64/libunistring.so.2 [default path]
│ └── /lib64/libc.so.6 [default path]
│ └── /lib64/ld-linux-x86-64.so.2 [default path]
└── /lib64/libc.so.6 [default path]
└── /lib64/ld-linux-x86-64.so.2 [default path]

По умолчанию, информация о некоторых библиотеках не выводится в libtree. Подробнее об этом в выводе команды:

$ ./libtree --help

https://github.com/haampie/libtree

Полезные команды Linux. Файловая система SWAP ( файл подкачки )

# mkswap /dev/hda3
Создание swap-пространство на разделе hda3

# swapon /dev/hda3
Включить swap-пространство, расположенное на разделе hda3

# swapon /dev/hda2 /dev/hdb3
Активировать swap-пространства, расположенные на разделах hda2 и hdb3

Brain board

Визуальный редактор для terraform.
Создавайте свою облачную инфраструктуру без особых усилий с помощью вебморды

https://www.brainboard.co/

Kargo

Это платформа следующего поколения для организации непрерывной доставки и оркестрации жизненного цикла приложений для Kubernetes. Она основывается на принципах GitOps и интегрируется с существующими технологиями, такими как Argo CD, чтобы упростить и автоматизировать поэтапный выпуск изменений на различных этапах жизненного цикла приложения.

https://github.com/akuity/kargo

Управление файлами и папками в Windows

COPY - Копирование файлов в другое место
DIR - Отображение файлов и папок в текущем каталоге
DEL или ERASE - Удаление файлов
EDIT - Запуск редактора файлов
CD - Изменить каталог
EXPAND - Распаковать сжатые файлы
FC - Сравнивает файлы и показывает различия между ними
FIND - Найти текстовую строку в файле
MD или MAKEDIR - Создать папку
MOVE - Переместить файлы из одной папки в другую
PRINT – отобразить содержимое текстового файла
RD или RMDIR - удалить папку
REN или RENAME - переименовать файл или папку
REPLACE - Замена файлов в одном каталоге на файлы с тем же именем в другом каталоге
ROBOCOPY - Использует программу робокопи для копирования файлов и каталогов
TREE - Показывает структуру каталогов диска или папки
TYPE - Отображает содержимое текстовых файлов
OPENFILES - Управление открытыми локальными или сетевыми файлами
XCOPY - Копирование файлов и деревьев каталогов

Набор инструментов DevOps🧰

Операционная система → Linux (рекомендуется), Windows

Программирование → Go, Python, Groovy, Bash

Оркестрация контейнеров → Kubernetes, Docker Swarm

Контейнеры → Docker, Podman, Containerd

Система управления версиями → Git, Subversion

Облака → AWS, GCP, Azure, CivoCloud

CI/CD → Jenkins, CircleCI, Bamboo

Совместная работа и контроль версий → GitHub, BitBucket, GitLab

IaC (Инфраструктура как код) и IP (Развертывание инфраструктуры) → Ansible, Puppet, Chef, Terraform, Pulumi, Stack, Crossplane

Непрерывная обратная связь → GetFeedback, Jira, Slack, Pendo

Наблюдаемость (мониторинг, логирование и анализ поведения системы) → Nagios, Grafana, Prometheus, New Relic, ELK Stack, Datadog

Планирование → Jira Software, Confluence, Slack

Автоматизированное тестирование → xray, snyk, JUnit, Selenium, Appium

Как полностью отключить Защитник (Defender) Windows 11

С Защитником опробовано много способов борьбы. Защитник с каждой версией становится все более устойчивым к попыткам себя отключить.

В комментариях тут на Хабре мне писали варианты скриптов, которые у кого-то срабатывают. Но проверив на свежих виртуалках массу решений, большинство из скриптов блокируются Защитником сразу после сохранения файла, остальные не выполняют своей задачи.

По итогам тестирования мной также признаны неработоспособными способы отключения Защитника через ProductPolicy и редактирование MUM файла, описывающего компоненты входящие в издание ОС, так как так или иначе, при перезагрузке или обновлении Защитник возвращается в строй. Встроенные групповые политики (и локальные политики через gpedit.msc) позволяли его отключить в Windows 10, но в Windows 11 встроено значительно больше функций защиты, их нужно отключать более грубо вручную.

https://habr.com/ru/articles/829110/

Snips.sh

Безпарольный, анонимный pastebin на основе SSH с удобным текстовым и веб-интерфейсом

Фичи:
▪️Нулевая установка: используйте с любого устройства, где установлен SSH-клиент
▪️Веб-интерфейс: код с подсветкой синтаксиса, короткие ссылки и поддержка рендеринга Markdown
▪️Текстовый интерфейс: управление и просмотр сниппетов прямо из терминала
▪️Без паролей: всё, что вам нужно — это SSH-ключ
▪️Анонимность: без регистрации, без логинов, без необходимости указывать email
▪️URL с временем жизни: ограниченный по времени доступ для безопасного обмена
▪️Возможность самостоятельного хостинга: контейнеризированный и малозатратный в плане ресурсов
▪️Определение языка с помощью ИИ: интеллектуальное распознавание исходного кода

https://github.com/robherley/snips.sh

Как устроена плата жесткого диска?

Электроника жесткого диска состоит из различных по функциям узлов: предусилитель, управление шпиндельным двигателем, управление двигателем позиционера, сервоконтроллер, канал чтения, интерфейс, буферное ОЗУ, процессор (обычно ARM архитектуры), флэш ПЗУ (Flash ROM), DC-DC конвертеры

источник

WebTTY: Доступ по SSH через браузер, даже там, где порт закрыт

Как мы с вами знаем, SSH — надежный и безопасный протокол для удаленного управления системами, который у многих является неотъемлемой частью работы. Однако, что делать, когда стандартные порты SSH заблокированы или закрыты, например, в строго защищенных корпоративных сетях или в облачных средах с жесткой политикой безопасности? Или что делать, если под рукой есть только браузер и нет возможности использовать обычный терминал? Или вам вживую нужно смотреть/управлять сессией?

Одним из таких решений является WebTTY — инструмент, который обеспечивает доступ к терминалу удаленного сервера через веб-браузер, используя технологию WebRTC и веб-технологии для создания безопасного и зашифрованного соединения. Это решение позволяет обойти ограничения, такие как заблокированные стандартные SSH-порты, и предоставляет простой и удобный способ взаимодействия с командной строкой сервера без необходимости открытия дополнительных портов, что особенно полезно в средах с жесткими сетевыми ограничениями или за фаерволами.

В этой статье мы рассмотрим, как WebTTY может быть использован для доступа к SSH-портам через браузер, даже если они закрыты, как его можно настроить и когда его можно использовать. Основана цель данного материала – познакомить вас с таким вариантом подключения и показать, как использовать данный инструмент. Надеюсь, что представленные примеры и объяснения помогут вам оценить его возможности и найти полезные применения в вашей практике.

https://habr.com/ru/articles/840352/

Шпаргалка по systemd

Основные команды systemctl:

1. Проверка статуса службы:

   systemctl status <имя_сервиса>
   

2. Запуск службы:

   systemctl start <имя_сервиса>
   

3. Остановка службы:

   systemctl stop <имя_сервиса>
   

4. Перезапуск службы:

   systemctl restart <имя_сервиса>
   

5. Перезагрузка, только если служба работает:

   systemctl reload <имя_сервиса>
   

6. Включить автозапуск службы при загрузке:

   systemctl enable <имя_сервиса>
   

7. Отключить автозапуск службы:

   systemctl disable <имя_сервиса>
   

8. Показать все запущенные службы:

   systemctl list-units --type=service
   

9. Просмотр всех служб (включая остановленные):

   systemctl list-units --all --type=service
   

10. Показать все активные сервисы, включая другие юниты (mount, timer и т.д.):

    systemctl list-units --state=active
    

11. Маскировка службы (запрет её запуска):

    systemctl mask <имя_сервиса>
    

12. Демаскировка службы:

    systemctl unmask <имя_сервиса>