Открытый практикум Linux by Rebrain: Память в Linux

После регистрации мы отправим вам подарок! Вы сможете найти его в ответном письме.

👉Регистрация

Время проведения:

6 августа (среда) в 20:00 по МСК

Программа практикума:

▪️Эволюция адресации памяти x86
▫️Виртуальная память
▪️Оценка загрузки памяти в linux
▫️Сache, vfs cache, vfs_cache_pressure

Кто ведёт?

Андрей Буранов — системный администратор в департаменте VK Play. 13+ лет опыта работы с ОС Linux. 11+ лет опыта преподавания. Входит в топ-3 лучших преподавателей образовательных порталов.

Бесплатные практикумы по DevOps, Linux, Networks и Golang от REBRAIN каждую неделю. Подключайтесь!

Реклама. ООО "РЕБРЕИН", ИНН: 7727409582, erid: 2W5zFJsg5Ri

Для тех, кто не знает, расскажу, что у меня на сайте есть статьи, где в одном месте собраны заметки из этого канала по различным темам: бэкапы, мониторинг и т.д. Для них существует отдельный раздел. Я полностью актуализировал их, добавив свежие заметки за последний год-полтора. Плюс, в этом году появилась новая подборка на тему совместного хранения паролей.

▪️Топ бесплатных программ для бэкапа
▪️Топ бесплатных систем мониторинга
▪️Топ бесплатных HelpDesk систем
▪️Топ программ для инвентаризации оборудования
▪️Топ бесплатных программ для удалённого доступа
▪️Топ бесплатных программ для совместного хранения паролей
▪️Хостеры, личная рекомендация

Когда изначально делал подборки, не учёл, что буду их обновлять, поэтому цифры в названиях топа неактуальны. Программ стало значительно больше.

Подобные списки удобны, если первый раз подбираете продукт. Можно быстро оценить основные различия, посмотреть скриншоты программ. Плюс, к каждому описанию есть ссылка на заметку в канале с обсуждением, где много содержательных комментариев по теме.

У меня давно уже в планах сделать подборку на тему чат-серверов, но это довольно трудоёмкая задача, никак руки не дойдут все их оценить ещё раз. Заметки по основным продуктам писались несколько лет назад. Надо обновить.

Если у вас есть идеи ещё каких-то категорий программ для обзора и сравнения, поделитесь в комментариях. Мне особо в голову ничего из популярного не приходит помимо того, что уже есть.

Такие подборки делать и поддерживать очень трудоёмко, даже в таком виде, как это есть сейчас. А желательно их не только дополнять, но и обновлять старое. Одному это делать нереально. Да и не совсем понятно, имеет ли такой формат право на жизнь сейчас, когда всю информацию можно получить гораздо быстрее с помощью ИИ. Что думаете по этому поводу? В плане продвижения и развития канала, сайта, большого смысла это делать нет, если пересчитывать трудозатраты. Мне проще просто заметки писать. Подборки делаю для удобства читателей.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#подборка

В последние несколько лет потеряли популярность или исчезли практически все бесплатные платформы виртуализации. Лет 5-7 назад у меня в обслуживании были XenServer, Hyper-V, ESXi, Proxmox. Я постоянно метался от одного к другому, не зная, на чём окончательно остановиться. Причём Proxmox на тех порах был отстающим, потому что для него не было хорошего софта для бэкапов. Пользовался им, потому что нравилось управление через браузер.

Со временем все эти гипервизоры исчезли:

◽️Xenserver сильно ограничил возможности бесплатной версии, либо вообще ликвидировал её. Не знаю, какая у неё сейчас судьба. Очень давно его не видел.
◽️Hyper-V Server просто закрыли, Microsoft свернула проект. Больше не будет бесплатной редакции вообще.
◽️ESXi то урезали возможности бесплатной версии, то вообще свернули, потом откатили. На фоне таких выкрутасов пользоваться им не имеет большого смысла. Не понятно, что там дальше будет. Да и на фоне Proxmox возможности бесплатного ESXi смотрятся не очень.

Остался по сути один Proxmox. Надеюсь его не прикроют. На текущий момент бесплатная редакция полностью закрывает потребности малой (одиночные хосты) и средней (кластера из нескольких нод) инфраструктуры как по развёртыванию нагрузки, так и по её бэкапу. Даже не придумаю, чего ещё этой платформе не хватает. Уже всё, что надо есть. PVE + PBS закрывают все базовые задачи.

Теоретически есть ещё XCP-ng на базе Xen, но я его вообще ни разу ни у кого не встречал. Скорее всего там в полный рост встанет вопрос - чем его бэкапить.

У всех блогеров в ютубе поголовно используется Proxmox. Вообще ничего другого ни у кого не встречаю. Сам тоже уже давно не устанавливал другие гипервизоры, кроме Proxmox. В обслуживании ещё осталось некоторое количество Hyper-V, а всё остальное - Proxmox.

А у вас что-то есть, помимо Прокса? Я имею ввиду небольшие системы, а не кластеры типа OpenNebula и продукты на её основе, OpenStack и т.д.

#виртуализация

🚀💪 Как администратору Linux выйти на уровень Middle+?

👉 Приобрести необходимые навыки под руководством топовых экспертов из ведущих российских и международных компаний на онлайн-курсе «Administrator Linux. Professional» от OTUS.

⚠️ Программа идеально подойдет для системных администраторов Linux и Windows, DevOps-инженеров и SRE, Fullstack и Backend-разработчиков, сетевых и инженеров по нагрузочному тестированию, а также для специалистов по ИБ.

💪 Вы на профессиональном уровне изучите подбор конфигураций, управление процессами, обеспечение безопасности, развертывание, настройку и обслуживание сетей, что позволит вам претендовать на вакантные должности в крупных компаниях.

🎁 За успешное прохождение вступительного тестирования на странице курса вам откроется доступ к записям вебинаров от экспертов курса.

👉 Пройти вступительный тест: https://clck.ru/3NPHve

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔝 ТОП постов за прошедший месяц. Все самые популярные публикации по месяцам можно почитать со соответствующему хэштэгу #топ. Отдельно можно посмотреть ТОП за прошлые года: 2023 и 2024.

Пользуясь случаем, хочу попросить проголосовать за мой канал, так как это открывает некоторые дополнительные возможности по настройке: https://t.iss.one/boost/srv_admin.

📌 Больше всего пересылок:
◽️Скрипт для проверки доступности ресурсов через VPS (600)
◽️Тренажёр для изучения регулярных выражений (489)
◽️Обучающая платформа для сисадминов и девопсов (440)

📌 Больше всего комментариев:
◽️Очередная заметка про проверку бэкапов (285)
◽️Бесплатные системы виртуализации (234)
◽️Обсуждение поссийских дистрибутивов Linux (175)

📌 Больше всего реакций:
◽️Пожелания в день сисадмина (337)
◽️Скрипт для проверки доступности ресурсов через VPS (232)
◽️Построение схемы инфраструктуры на основе DNS записей (226)

📌 Больше всего просмотров:
◽️ Песня НТР - Хуяк, хуяк и в продакшн (11826)
◽️ Sudo в Windows (10025)
◽️ Опросы на тему операционных систем (9667)

Мне понравилась идея с опросами. Планирую теперь каждый месяц проводить какой-нибудь опрос на тему использования it-специалистами тех или иных инструментов и технологий. Подобрал уже несколько тем для ближайших опросов. Если у вас есть какие-то пожелания по этой теме, то предлагайте в комментариях. Пока на очереди системы виртуализации, системы мониторинга, веб сервера, текстовые редакторы, оконные менеджеры.

#топ

В свете недавних обсуждений гипервизоров вспомнил, как я начинал изучение KVM. До него работал с Xen и Hyper-V. Первым делом стал разбирать вопрос бэкапа виртуальных машин наживую, без их остановки. Это было более 10-ти лет назад и простых решений не существовало. Proxmox не помню, был уже тогда или нет, но я про него не знал. Использовал всё это в консоли с помощью virsh, и в GUI с помощью virt-manager.

Я изучил вопрос и разобрался, как делать снепшоты при использовании файлов qcow2 для дисков виртуальных машин, и как снимать с них бэкапы. Всё это обернул в очень простой скрипт без каких-то дополнительных проверок. Оформил всё это в статью.

Уже не помню, в чём там был нюанс, но при некотором стечении обстоятельств можно было потерять образы дисков. Вроде бы если по какой-то причине не создался снепшот, то скрипт, не найдя его, удалял сам образ машины. Лично с таким не сталкивался, потому что очень внимательно проверял работу до того, как включал реальное удаление. А вот в комментариях отписались люди, которые диски потеряли, хотя я обо всём этом предупреждал в статье. Сначала всё тщательно проверяем - потом включаем удаление.

Напомню один важный нюанс. Если вы случайно удалили образы VM, а сами машины до сих пор работают, то восстановить всё это относительно просто. Я видел отзывы, когда люди только через неделю или две замечали, что удалили диски VM, а сами машины при этом работали. Покажу на примере, как это выглядит.

Допустим, у нас работает виртуальная машина с диском в виде файла vm-109-disk-0.qcow2 и этот файл по какой-то причине был удалён в момент работы VM. То есть машина работает, а файла уже нет. Поверяем, реально ли файл удалён, но всё ещё открыт его дескриптор:

# lsof | grep '(deleted)'
kvm    402083            root  14u   REG        0,39 21478375424     17 /var/lib/vz/images/109/vm-109-disk-0.qcow2 (deleted)

Вы должны увидеть строки с упоминанием файла /var/lib/vz/images/109/vm-109-disk-0.qcow2. Значит, он реально ещё не удалён. Его держит процесс с пидом 402083. Проверяем это:

# ls -l /proc/402083/fd | grep deleted
lrwx------ 1 root root 64 Aug 3 21:16 14 -> /var/lib/vz/images/109/vm-109-disk-0.qcow2 (deleted)

Да, файловый дескриптор на месте и имеет номер 14. Скопируем из него данные обратно в файл:

# cp /proc/402083/fd/14 /var/lib/vz/images/109/vm-109-disk-0.qcow2

Какое-то время будет длиться копирование. После этого файл будет возвращён на место. Так как копирование не моментальное, диск виртуальной машины может немного пострадать. Если там есть СУБД, то может нарушиться целостность базы, но не обязательно. Большую часть ошибок сможет починить обычный fsck. По сравнению с полной потерей виртуалки это будут небольшие трудности.

Пример универсальный и будет актуален для любых ситуаций, когда удалён файл, который открыт каким-то процессом. Пока процесс запущен и держит этот файл, его можно без проблем восстановить. Вот если завершить процесс, то задача сильно усложниться и шансов восстановить информацию будет уже значительно меньше, хотя в некоторых случаях тоже будет реально.

❗️Сохраните заметку в закладки, может пригодиться в самом неожиданном случае. У меня бывало, что по ошибке удалял конфиг работающей программы. Казалось бы, вот он только что был, ты его грохнул, а как сразу же вернуть, не знаешь, надо вспоминать.

#restore #linux #terminal

Хорошего DevOps-инженера непросто найти, трудно недооценить и ещё сложнее — заменить. Спрос на специалистов стабильно превышает предложение, а зарплаты — в числе самых высоких в IT.

Если хотите развиваться в профессии с высоким потенциалом, начните с курса Нетологии «DevOps-инженер с нуля». Уже через 6 месяцев вы сможете трудоустроиться сисадмином, параллельно осваивая навыки DevOps.

В результате научитесь:

👉 работать с Docker, Kubernetes, Jenkins и Git;
👉 настраивать CI/CD и мониторинг инфраструктуры;
👉 администрировать Linux, Windows и базы данных;
👉 использовать облачные технологии и микросервисы.

Вас ждут минимум 4 проекта в портфолио, бесплатный доступ к Yandex Cloud и 10 QA-сессий с экспертами из Alibaba Group, ВКонтакте и Ozon, где сможете задать любые вопросы о профессии.

А чтобы быть ещё конкурентоспособнее, вы подтянете английский и познакомитесь с основами Python.

Сейчас на курс действует скидка 40% — записывайтесь 💡

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5yvgeLR

На днях обновились два продукта Proxmox, которые я активно использую: Virtual Environment 9.0 и Backup Server 4.0. Прежде чем перейти к содержанию обновлений, сделаю предупреждение. Не торопитесь обновлять свои сервера. У Proxmox есть некоторый шанс получить проблемы после обновления, особенно для большого обновления со сменой релиза Debian. Я сам лично много раз сталкивался с ними. Делал тут по этому поводу заметки. Плюс, опыт других людей говорит о том же.

Расскажу про своё отношение к обновлению гипервизоров. Если рядом нет подменного сервера, на который можно быстро восстановить работу виртуальных машин, то я его не обновляю без веских оснований. Процесс этот откладываю на максимально комфортное время, когда это можно сделать. Обычно какие-то длинные праздники, типа майских или новогодних. То же самое для кластера. Обновлять надо очень аккуратно и понимать, что ты будешь делать, если он вдруг не переживёт обновление. Уронить прод от неаккуратного обновления гораздо проще, чем получить проблемы от каких-то уязвимостей, которых во-первых, не так много, чтобы это было опасно в закрытом контуре, во-вторых, обновления приходят регулярно и если постоянно обновляться по мере их выхода, то частота этого процесса сама по себе по теории вероятности принесёт рано или поздно проблемы.

Соответственно, вы либо держите тестовый контур, там всё проверяете и регулярно обновляетесь, либо изыскиваете какие-то другие подходы к этому процессу, более безопасные и растянутые во времени. Опять же, если нет чего-то срочного и критичного. Для Proxmox вообще такого не припоминаю. В интернет они у меня никогда не смотрят, и доступ к ним ограничен. Ещё раз подчеркну, что этот подход используется только для гипервизоров. Не для виртуальных машин с рабочей нагрузкой. Их можно относительно безопасно обновлять, так как масштаб бедствия несоизмерим, если что-то пойдёт не так.

📌Ключевые обновления Proxmox VE:

🔥Обычные LVM тома, не Thin, теперь поддерживают снэпшоты. У меня это самый популярный формат хранения. Из-за того, что он не поддерживал снепшоты, иногда приходилось использовать qcow2 диски, но они не очень удобны из-за ряда особенностей. В описании указано, что хранилища типа Directory, NFS, и CIFS тоже получили такую функциональность. Но по описанию я не очень понял, относится ли это, к примеру, к RAW дискам, расположенным в директории. Из описания вроде бы да (Directory, NFS, and CIFS storages also gain additional support for snapshots as volume chains), но я не понимаю, как это технически реализовано. Надо будет на практике проверять. Вроде бы автоматически создаётся qcow2 файл для накопления изменений относительно базового диска.
◽️Добавлена функциональность SDN Fabric для построения отказоустойчивых управляемых и динамически маршрутизируемых сетей. У меня таких вообще нет, так что попробовать не придётся. Это в основном актуально для больших кластеров.
◽️Дополнительные графики с метриками. Будет полезно. Я частенько их смотрю для беглой оценки работы VM.
◽️Новый мобильный веб интерфейс. Лично я им вообще не пользуюсь. Заходил очень редко в исключительных ситуациях. Не знаю, зачем он нужен. Изредка можно и версию для ПК открыть.

Из основного это всё. Как я понимаю, триггером для релиза был переход на Debian 13, поэтому непосредственно в функциональности изменений немного.

📌 Ключевые обновления Proxmox BS:

🔥Поддержка S3-совместимых хранилищ. Этого реально не хватало. Подобные хранилища очень популярны и относительно дёшевы. Теперь можно спокойно брать дедики с небольшими локальными дисками и подключать более дешёвые S3 хранилища.
◽️Автоматический запуск синхронизации при подключении съёмного хранилища. Можно руками подключить внешний диск или подключить скриптами и бэкап на него будет автоматически синхронизирован. Потом его можно отмонтировать.
◽️Много мелких исправлений в интерфейсе, в уведомлениях, в очистке старых данных и некоторых других моментах.

Я наверное первые обновления сделаю, когда выйдут версии 9.1 и 4.1.

#proxmox

Главные по контейнеризации в России приглашают на второй митап Deckhouse User Community.
21 августа | Москва

Приходите, если работаете с Kubernetes или планируете начать. Разберём три практических кейса:
→ как DKP управляет узлами кластера — от создания до вывода из кластера;
→ как построить платформу обучения на Community Edition быстрее ванильного Kubernetes;
→ как автоматизировать контроль архитектуры с помощью фитнес-функций.

Будет полезно инженерам эксплуатации, платформенным разработчикам и всем, кто хочет прокачать навыки работы с современными подходами в DevOps.

Только офлайн. Пицца и нетворкинг в программе. Регистрируйтесь!

Небольшая информация из практики эксплуатации почтового сервера, с которой столкнулся впервые, и был немного удивлён. Получил от сервера Postfix уведомление:

This is the mail system at host mail.example.com.

I'm sorry to have to inform you that your message could not
be delivered to one or more recipients. It's attached below.

For further assistance, please send mail to postmaster.

If you do so, please include this problem report. You can
delete your own text from the attached returned message.

          The mail system

<[email protected]>: mail for clientdomain.com loops back to myself

Вроде всё ясно, но ничего не понятно. Сервер ответил, что не может отправить письмо на домен clientdomain.com, потому что это отправка самому себе. С чего бы вдруг? Домен clientdomain.com к почтовому серверу не имеет никакого отношения.

Я сначала подумал, что возможно какой-то глюк с самим доменом. Может написан с каким-то спецсимволом и сервер так на него отреагировал. Но не похоже. Вообще, сервер Postfix очень информативен в плане логов. Люблю его за это. По логам всегда можно разобраться в проблемной ситуации. Обычно там всё по делу и сразу понимаешь, куда копать, что искать. Да и поисковики быстро помогают. По этому серверу накоплена огромная база знаний по всему интернету.

Вечерком сел и решил спокойно разобраться. Было интересно, в чём реально проблема. Начал с самого простого и тут же получил ответ:

# dig clientdomain.com MX
nomail.nic.ru.  164 IN A 127.0.0.1

Сразу догадался, в чём дело. Зашёл на домен по HTTP и увидел информацию о том, что срок регистрации домена истёк.

Как оказалось, этот домен принадлежит регистратору Nic. И у него закончилось делегирование. Nic почему-то для таких доменов прописывает свой MX сервер в DNS - nomail.nic.ru и назначает ему адрес 127.0.0.1. Вот мой Postfix и пытался отправить письмо самому себе через 127.0.0.1, но в своих настройках не имел этого домена. Ошибка получилась вполне логичной. А вот поведение Nic - не совсем. Первый раз столкнулся, что разделегированный домен резолвят на 127.0.0.1.

Хорошая история для какого-нибудь тестового задания по теме почтовых серверов. Изначально я смотрел лог почтового сервера во время отправки, смотрел выборку по ID письма и там было непонятно, почему письмо для этого домена попадает на loops back to myself.

#mailserver

📊 Понравилась идея с опросами, поэтому, как и говорил ранее, решил их проводить регулярно на разные IT темы. В этот раз опрос будет на тему использования систем виртуализации. Решил сделать выбор нескольких вариантов ответа, потому что распространённая ситуация, когда есть разные типы гипервизоров и систем на их основе. У меня у самого они разные. Так что суммировать результаты нет смысла, будет больше 100%.

Сам опрос в следующей публикации. Всего доступно 12 вариантов ответа, поэтому пришлось как-то скомпоновать варианты. Изначально хотелось бы сделать вариантов 15 для более наглядной картины с учётом отечественных систем. Если используете какую-то неупомянутую систему, напишите название в комментариях к опросу. В следующих я постараюсь учесть комментарии и сделать более релевантный список.

Итоги подведу через 2 недели.

#опрос