Код для облака: Освоение DevOps с помощью Python, Terraform и Kubernetes на AWS

Как инженер DevOps, я обычно связан с конвейерами, автоматизацией и облачными сервисами. Однако мне всегда было интересно узнать о другой стороне технологического мира - разработке приложений. Поэтому я подумал, почему бы не разнообразить мир? Так я пришел к созданию финансового приложения на Python, дополненного REST API.

В этом блоге я рассказываю о разработке и развертывании моего финансового приложения с нуля, от кода начального приложения до его развертывания на AWS с помощью Docker, Kubernetes (EKS), Terraform и Ansible. И знаете что? Я автоматизировал весь процесс - каждый его кусочек!

https://medium.com/@sophnel/coding-to-cloud-mastering-devops-with-python-terraform-and-kubernetes-on-aws-6251a910511f

📌 Как увеличить размер каталога /tmp/ в Linux

Привет, коллеги! Сегодня поговорим об увеличении каталога tmp.


Каталог /tmp/ используется для временных файлов и обычно располагается в RAM (tmpfs) или на диске. Если /tmp/ переполняется, это может вызвать сбои в работе системы. Давайте разберем, как его увеличить.

🔍 Проверка текущего размера /tmp/
Чтобы узнать, как /tmp/ смонтирован и его размер, используем:

df -h /tmp

или

mount | grep /tmp

Если /tmp/ использует tmpfs, то он находится в оперативной памяти.

▪️Вариант 1: Увеличение tmpfs (в RAM)
Если /tmp/ смонтирован как tmpfs, можно увеличить его размер командой:

mount -o remount,size=4G /tmp

Где 4G — новый размер. Проверяем:

df -h /tmp

Это временное изменение! После перезагрузки сбросится.

Чтобы сделать его постоянным, добавляем строку в /etc/fstab:

tmpfs /tmp tmpfs defaults,size=4G 0 0

Затем применяем изменения:

mount -o remount /tmp

▪️Вариант 2: Использование раздела на диске
Если нужно хранить данные на диске, можно создать отдельный раздел.

1️⃣ Выбираем диск и создаем раздел (например, /dev/sdb1):

mkfs.ext4 /dev/sdb1

2️⃣ Монтируем его:

mount /dev/sdb1 /tmp

3️⃣ Делаем постоянным, добавив в /etc/fstab:

/dev/sdb1 /tmp ext4 defaults 0 0

▪️Вариант 3: Использование файла-контейнера
Если новый раздел не вариант, можно создать файл и смонтировать его как /tmp/:

1️⃣ Создаем файл (например, 4ГБ):

dd if=/dev/zero of=/swapfile bs=1M count=4096

2️⃣ Форматируем его:

mkfs.ext4 /swapfile

3️⃣ Монтируем его в /tmp/:

mount /swapfile /tmp

4️⃣ Добавляем в /etc/fstab:

/swapfile /tmp ext4 defaults 0 0

Итог :
✔ Быстрое изменение (RAM) – mount -o remount,size=4G /tmp
✔ Постоянное изменение (RAM) – правка /etc/fstab
✔ Использование диска – монтирование отдельного раздела
✔ Файл-контейнер – если раздел недоступен

📌 Как скопировать структуру директорий в Linux

В этой статье мы расскажем как в две команды скопировать структуру директорий без файлов через командрую строку Linux.

Сначала необходимо перейти в директорию, где находятся нужная структура
# cd /dir1

Затем выполняем команду, которая находит директории и сохраняет пути к ни в файл
# find . -type d > dirs.txt

Теперь необходимо перенести этот файл в директорию, где мы хотим воссоздать структуру
# mv ./dirs.txt /dir2

Переходим туда
# cd /dir2

И используя xargs читаем из файла пути и создаем по ним структуру директорий
# xargs mkdir -p < dirs.txt

Утилиты на PowerShell для системных администраторов

Работая на первой линии тех.поддержки, я часто сталкивался с рутиной, особенно очень хотелось минимизировать подключение к рабочему столу пользователей для сбора информации и как-то автоматизировать этот процесс, что привело меня к осваиванию языка PowerShell и написанию скриптов, которые в последствии оформились в самостоятельные программы. Некоторые из них я решил выложить на GitHub, возможно для кого-то они будут полезны.

https://habr.com/ru/articles/799463/

https://github.com/Sync1er/ChernigovEugeniyUtilities

Горячие клавиши терминала в Linux

Управление процессами
Ctrl + C - прервать процесс (послать сигнал Interrupt).
Ctrl + Z - приостановить процесс (послать сигнал Stop).

Перемещение курсора
Ctrl + A - переместить курсор в начало строки.
Ctrl + E - переместить курсор в конец строки (E - End).
Alt + F - переместить курсор на одно слово вперед (F - Forward).
Alt + B - переместить курсор на одно слово назад (B - Back).
Ctrl + F - переместить курсор на один символ вперед (F - Forward).
Ctrl + B - переместить курсор на один символ назад (B - Back).

Редактирование текста
Ctrl + L - очистить экран. Аналог команде clear.
Ctrl + D - удалить символ под курсором (D - Delete).
Alt + T - поменять местами два слова. Слово под курсором меняется со словом слева от курсора (T - Translocate)
Ctrl + T - поменять местами два символа. Символ под курсором меняется с символом слева от курсора (T - Translocate).
Alt + L - перевести символы в нижний регистр, начиная с символа под курсором и до конца слова (L - Lowercase).
Alt + U - перевести символы в верхний регистр, начиная с символа под курсором и до конца слова (U - Uppercase).

Вырезание и вставка текста
Ctrl + K - вырезать текст от курсора до конца строки (K - Kill).
Ctrl + U - вырезать текст от курсора до начала строки.
Alt + D - вырезать слово от курсора до его конца (D - Delete).
Alt + Backspace - вырезать слово от курсора до его начала. Если курсор находится на начале слова, то удаляется предыдущее слово.
Ctrl + Y - вставить вырезанный текст из буфера обмена на место курсора.

Дополнение команды
Tab - дополнить текст команды. (ls essa => ls essay.txt)
Alt + ? - вывести все варианты дополнения (тоже если нажать Tab дважды).
Alt + * - вставить все варианты дополнения в аргументы команды.

Поиск команд в истории
Ctrl + R - начать поиск команд в истории. Нажмите еще раз чтобы двигаться вверх по истории. Нажмите Enter чтобы выполнить найденную команду.
Ctrl + J - вставить найденную команду в терминал, без выполнения.
Ctrl + G - прекратить поиск команд в истории.
Ctrl + P - показать предыдущую запись в истории. Аналог клавише со стрелкой вверх. (P - uP).
Ctrl + N - показать следующую запись в истории. Аналог клавише со стрелкой вниз. (N - dowN).
Alt + < - перейти к первой записи в истории.
Alt + > - перейти к последней записи в истории.
Alt + N - поиск в прямом порядке (ввести команду и нажать Enter).
Alt + P - поиск в обратном порядке (ввести команду и нажать Enter).
Ctrl + O - выполнить команду из истории и перейти к выполнению следующей по списку. Работает только в поиске Ctrl+R.

📌 Шпаргалка по командам Curl

Bash. Проверки файлов
Kоманды позволяют проверять различные условия, касающиеся файлов

-d file # Проверяет, существует ли файл, и является ли он директорией.
-e file # Проверяет, существует ли файл.
-f file # Проверяет, существует ли файл, и является ли он файлом.
-r file # Проверяет, существует ли файл, и доступен ли он для чтения.
-s file # Проверяет, существует ли файл, и не является ли он пустым.
-w file # Проверяет, существует ли файл, и доступен ли он для записи.
-x file # Проверяет, существует ли файл, и является ли он исполняемым.
file1 -nt file2 # Проверяет, новее ли file1, чем file2.
file1 -ot file2 # Проверяет, старше ли file1, чем file2.
-O file # Проверяет, существует ли файл, и является ли его владельцем текущий пользователь.
-G file # Проверяет, существует ли файл, и соответствует ли его идентификатор группы идентификатору группы текущего пользователя.

#!/bin/bash

mydir=/home/likegeeks

if [ -d $mydir ] # если файл сущетсвует и он является директорией
then
echo "The $mydir directory exists" # выводим сообщение
cd $mydir # переходим в него
ls # отображаем содержимое
else # ИНАЧЕ
echo "The $mydir directory does not exist"
fi

Мониторинг в ОС Linux \ ps \ top \ gstat \ vmstat \ iostat \ netstat

apt-get install top
apt-get install ganglia-monitor
apt-get install sysstat
apt-get install sockstat


top

У утилиты top есть параметры, которые облегают жизнь, их мы набираем в top’e когда он запущен:
S — показать системные процессы, по умолчанию они не показываются
u — и имя пользователя, например u mysql покажет процессы запущенные от пользователя mysql
o — используем для сортировки, возможные параметры — pri, size, res, cpu, time, threads
m — переключение между режимами отображения нагрузки и ввода-вывода
k — завершить процесс, ввод pid процесса
r — изменить приоритет процесса, вводим pid процесса
n — отображать статистику по определённому процесс
a — показывает абсолютные запущенных процессов
top -n 3 — показывает самые ресурсоёмкие приложения в данный момент


gstat

gstat — показывает использование дисков.
gstat -a — используется для вывода только активных устройств


vmstat

vmstat — показывает состояние виртуальной памяти и буфера
vmstat 5 — отображает статистику раз в пять секунд
vmstat -z — показывает состояние буфера
vmstat -i — показывает состояние прерываний


iostat

iostat — выводит статистику по I/O устройств
iostat -d -w5 — показывать информацию по дискам, с периодичностью в пять секунд безостановочно
iostat -dx -w5 — показывает расширенную статистику
iostat -dx /dev/vda 5 — показывает расширенную статистику


netstat

netstat — показывает активные сетевые соединения.
netstat -w 1 — количество пакетов в настоящее время.
netstat -ibt — вывод сетевых интерфейсов с разбивкой по IP адресам, отображает объём трафика, количество ошибок, коллизий
netstat -rn — отображает таблицу маршрутизации

Производительность RDP в Windows Server и способы ее повышения

Эта статья актуальна для Windows Server 2019 в качестве сервера и Windows 10 в качестве клиента RDP. В статье мы рассмотрим шаги, которые следует предпринять для достижения максимальной производительности терминальных сессий RDP в Windows Server.

https://telegra.ph/Proizvoditelnost-RDP-v-Windows-Server-i-sposoby-ee-povysheniya-09-23

Обзор аутентификации Kerberos

Kerberos — это протокол проверки подлинности, который используется для проверки удостоверения пользователя или узла. В этом разделе содержатся сведения о проверке подлинности Kerberos в Windows Server 2012 и Windows 8.

Операционные системы Windows Server реализуют протокол проверки подлинности Kerberos версии 5 и расширения для проверки подлинности с помощью открытого ключа, переноса данных авторизации и делегирования. Клиент проверки подлинности Kerberos реализуется в качестве поставщика поддержки безопасности (SSP). Получить к нему доступ можно через интерфейс поставщика поддержки безопасности (SSPI). Начальная проверка подлинности пользователя интегрирована в архитектуру единого входа Winlogon.

Центр распространения ключей Kerberos (KDC) встроен в другие службы безопасности Windows Server, работающие на контроллере домена. Служба KDC использует базу данных доменных служб Active Directory в качестве базы данных учетных записей безопасности. Доменные службы Active Directory необходимы для реализации Kerberos по умолчанию в рамках домена или леса.

https://learn.microsoft.com/ru-ru/windows-server/security/kerberos/kerberos-authentication-overview

Команда nslookup, получение информации от DNS

Команда nslookup — инструмент сетевого администрирования для запросов в доменной системе имен (DNS) с целью получения доменного имени, IP-адреса или другой информации из записей DNS.

Кроме того, эта команда используется для поиска и устранения проблем с DNS. В данном руководстве мы рассмотрим наиболее типичные примеры ее применения.

Команда nslookup может работать в интерактивном и неинтерактивном режимах. Интерактивный режим позволяет пользователю в режиме диалога отправлять DNS-серверу запросы о различных узлах и доменах. Неинтерактивный режим позволяет отправить один запрос об одном узле или домене.

https://telegra.ph/Komanda-nslookup-poluchenie-informacii-ot-DNS-09-26

Руководство по стеку протоколов TCP/IP для начинающих

Cтек протоколов TCP/IP широко распространен. Он используется в качестве основы для глобальной сети интернет. Разбираемся в основных понятиях и принципах работы стека.

https://telegra.ph/Rukovodstvo-po-steku-protokolov-TCPIP-dlya-nachinayushchih-03-06

Руководство и шпаргалка по Wireshark

Даже поверхностное знание программы Wireshark и её фильтров на порядок сэкономит время при устранении проблем сетевого или прикладного уровня. Wireshark полезен для многих задач в работе сетевого инженера, специалиста по безопасности или системного администратора. Вот несколько примеров использования:

https://habr.com/ru/articles/436226/

Права в Linux (chown, chmod, SUID, GUID, sticky bit, ACL, umask)

Всем привет. Это перевод статьи из книги RedHat RHCSA RHCE 7 RedHat Enterprise Linux 7 EX200 and EX300.

От себя: Надеюсь статья будет полезна не только начинающим, но и поможет более опытным администраторам упорядочить свои знания.

https://habr.com/ru/post/469667/

Совет по Linux 💡

Как анализировать системные вызовы в Linux?

Strace - это утилита командной строки, которая перехватывает и записывает все системные вызовы, которые выполняет программа в пользовательском пространстве, и все сигналы, которые она получает.

Вы можете наблюдать, как происходит обмен данными между программой пользовательского пространства и ядром.

Утилита динамического мониторинга процессов Nmon

Это утилита измерения и настройки производительности. Она может отображать информацию о ЦП, оперативной памяти, сети, дисках (в виде мини графиков или числовых данных), файловых системах, NFS, самых нагружающих процессах, ресурсах.

Устанавливается командой:
sudo pamcan -S nmon

Для запуска утилиты необходимо выполнить команду:
nmon

https://telegra.ph/Utilita-dinamicheskogo-monitoringa-processov-Nmon-04-15

3 довольно неизвестных команды Docker, которые помогут вам в самых различных ситуациях

Если вы какое-то время используете Docker, у вас, вероятно, уже есть адаптированный для вас простой и эффективный рабочий процесс, который включает в себя некоторые из ваших любимых команд Docker (если это технически правильные подкоманды).

https://telegra.ph/3-dovolno-neizvestnyh-komandy-Docker-kotorye-pomogut-vam-v-samyh-razlichnyh-situaciyah-09-26

Наглядное руководство по туннелированию SSH и переадресации портов

Если говорить коротко, то я жалею, что не знал о пробросе портов и туннелировании раньше. В этой статье я пытаюсь лучше понять это и поделиться с вами некоторым опытом и советами.
Темы: сценарии использования, конфигурация, SSH jumphosts, локальная/удаленная/динамическая переадресация портов и ограничения

Что такое DPI Engine?

Для людей, кто знаком с термином DPI (Deep Packet Inspection), в большинстве случаев возникает неприятная ассоциация: блокировки, регуляторы, цензура, закручивание гаек, и всё в таком духе. На самом деле, DPI – это только название технологии, суть которой заключается в глубоком анализе трафика.

https://habr.com/ru/articles/889082/

Процесс загрузки Linux

Диаграмма ниже показывает этапы:

Шаг 1 - Когда мы включаем питание, загружается прошивка BIOS (Basic Input/Output System) или UEFI (Unified Extensible Firmware Interface) из энергонезависимой памяти и выполняет POST (Power On Self Test).

Шаг 2 - BIOS/UEFI обнаруживает устройства, подключенные к системе, включая процессор, оперативную память и устройства хранения данных.

Шаг 3 - Выбирается устройство для загрузки операционной системы. Это может быть жесткий диск, сетевой сервер или CD-ROM.

Шаг 4 - BIOS/UEFI запускает загрузчик (GRUB), который предоставляет меню для выбора операционной системы или функций ядра.

Шаг 5 - После подготовки ядра происходит переход в пользовательское пространство. Ядро запускает systemd как первый процесс в пользовательском пространстве, который управляет процессами и службами, проверяет оставшееся оборудование, монтирует файловые системы и запускает рабочую среду.

Шаг 6 - systemd по умолчанию активирует target unit при загрузке системы. Также выполняются другие анализирующие модули.

Шаг 7 - Система выполняет набор скриптов для настройки среды.

Шаг 8 - Пользователям отображается окно входа в систему. Система готова к работе.

mRemoteNG

Это форк mRemote: мультипротокольный менеджер удаленных соединений с открытым исходным кодом для Windows. mRemoteNG добавляет исправления ошибок и новые функции в mRemote и позволяет просматривать все ваши удаленные соединения в простом, но мощном интерфейсе с вкладками.

Поддерживаемые протоколы:

RDP (Remote Desktop Protocol)
VNC (Virtual Network Computing)
SSH (Secure Shell)
Telnet (TELecommunication NETwork)
HTTP/HTTPS (Hypertext Transfer Protocol)
rlogin (Remote Login)
Raw Socket Connections
Powershell remoting

https://mremoteng.org/

https://github.com/mRemoteNG/mRemoteNG