Ко мне недавно обратился заказчик, которому я почти 3 года назад настроил небольшую инфраструктуру для работы с файловыми базами 1С. Надо было кое-что изменить. Что самое удивительное, всё это время её никто не обслуживал от слова совсем. Только базы добавляли. Я подключился по SSH к серверам и увидел, что с начала 22-го года туда никто не подключался, кроме меня. Всё это время с базами работали через интернет без VPN. Кратко расскажу, что я там настроил с упором на безопасную работу без VPN.

Был арендован бюджетный выделенный сервер, на нём установлен Proxmox на raid1 mdadm. На нём настроены 3 виртуальные машины:

◽️Windows Server, где будет работать 1С
◽️Debian для Nginx и Apache Guacamole
◽️Debian для локальных бэкапов

На Proxmox настроен файрвол. Входящий доступ закрыт на всё. Исключение - ssh и web доступ к гипервизору по белым спискам IP. Сделано как резерв, основное подключение организовано по-другому. Настроены пробросы 80 и 443 портов в виртуалку с Nginx. На ней обязательно включен автозапуск.

На сервере с Nginx настроено проксирование запросов на Windows Server с 1С. Доступ к базам через доменное имя, слеш, имя базы. Доступ закрыт паролем через basic_auth. На этой же виртуалке поднят Apache Guacamole, а через него настроен доступ ко всем виртуалкам по SSH или RDP через браузер. Guacamole не стал закрывать через basic_auth, смотрит напрямую в инет. Можно было закрыть для большей безопасности.

На Windows сервере устанавливается как обычно платформа 1С и веб сервер Apache. Делается публикация баз. Всё стандартно. Пользователи этой системы работают только с ним. Точнее администратор 1С. Пользователи только через браузер работают с 1С. Порты RDP не пробрасываются. Сервер напрямую из интернета недоступен.

На третьем сервере настраивается Samba, создаётся сетевой диск с доступом только на чтение. Этот диск подключается к Windows машине. В этот сетевой диск ежедневно делаются бэкапы файловых баз, старые удаляются. Работает скрипт на самом сервере с бэкапами. Монтирует папку с Windows сервера и забирает файлы к себе, а отдаёт их уже только в режиме чтения. Это сделано, чтобы был оперативный доступ к бэкапам с Windows машины, но при этом их нельзя было удалить с неё. С самого бэкап сервера базы копируются куда-то во вне.

В такой конфигурации обслуживался только сервер с Windows. Его наличие - пожелание заказчика. Файловые базы могут и без него работать. Все остальные виртуалки даже не обновлялись. С учётом того, что кроме веб интерфейса Guacamole ничего не смотрит в интернет, проблем с этим не было.

Понятно, что тут есть что критиковать, заменять компоненты и т.д. Я прикинул, как можно было сделать по возможности просто и функционально и сделал. Эта инфраструктура реально проработала без обслуживания. Ничего не висло, не ломалось, не взламывалось. И работать было удобно. То есть поставленные задачи выполнялись.

#1С

В моих заметках про self-hosted сервера GIT постоянно возникали упоминания Gogs. Это тоже легковесный open source сервис GIT от китайских разработчиков. Причём упоминаемая несколько раз ранее Gitea является форком Gogs, который случился довольно давно. С тех пор Gitea развивается намного активнее, обросла дополнительной функциональностью, была приобретена коммерческой компанией и получила какие-то проблемы с лицензией, так что и её уже форкнули в новый проект Forgejo.

Если вам нужно простое хранилище кода с различной функциональностью только вокруг него, то Gogs будет оптимальным выбором с точки зрения потребления ресурсов. Там нет ни своего registry, ни инструментов для CI/CD, ни учёта времени, ни многих других возможностей, которые есть в той же Gitea.

При этом базовые возможности для совместной работы с кодом там будут:

- привычные профили пользователей, дашборды с активностью и т.д.;
- доступ к репам по ssh и https;
- веб редактор для работы с кодом и записями в wiki;
- аутентификация по паролям, через LDAP или SMTP (!) сервер
- управление пользователями, организациями, репозиториями.

В общем, тут только GIT и ничего больше. В качестве хранилища состояния могут использоваться PostgreSQL, MySQL, SQLite3 и TiDB. При использовании SQLite3 для запуска службы не нужно ничего, кроме самого бинарника gogs и установленного в системе git:

# apt update && apt install git -y
# wget https://dl.gogs.io/0.13.0/gogs_0.13.0_linux_amd64.tar.gz
# tar xzvf gogs_0.13.0_linux_amd64.tar.gz
# cd gogs
# ./gogs web

Запускается gogs в режиме веб сервера. Можно идти на 3000-й порт по IP адресу и выполнять настройку. Как я уже сказал, если выбрать в качестве СУБД SQLite3, то установка будет выполнена тут же, а база будет создана в файле data/gogs.db.

Веб интерфейс работает очень быстро и легко. Системные требования минимальны. Запускается на VPS с 512 МБ оперативной памяти. Есть русский язык. По умолчанию выбирается язык браузера. Чтобы его поменять, надо выйти к окну логина и там снизу выбрать. Я сначала долго искал, никак не мог понять, как изменить язык.

Доступа к сайту gogs.io без VPN нет. Как я понял, это блокировка со стороны РФ для хостера DigitalOcean. Сайт живёт на нём.

⇨ 🌐 Сайт / Исходники

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#git

Я анонсировал ранее подборку сайтов IT блогеров со статьями на различные темы, связанные с настройкой и эксплуатацией IT систем. Собралось небольшое сообщество авторов. Полный список сайтов будет в конце. А пока анонс новых статей тех авторов, кто согласился участвовать и прислал свои материалы.

❗️Напомню, что основной смысл моей инициативы - поддержать донатами тех авторов, кого вы посчитаете нужным и у кого будут возможности для этого на сайте.

⇨ Безопасная передача файлов с помощью Magic Wormhole
Использование специальной библиотеки для прямой шифрованной передачи файлов между распределенными клиентами. У библиотеки есть как консольная утилита, которую можно использовать вручную, либо в скриптах, так и GUI приложение.

⇨ Запускаем ИИ чат-бот локально. LM Studio
⇨ Запускаем ИИ чат-бот локально. LobeChat
Обзорная информация по запуску языковых моделей на своих серверах.

⇨ Tmux – установка и кастомизация + Nord theme
Подробная статья про установку, настройку и использование популярного терминального мультиплексора tmux.

⇨ Установка Graylog 6.1 на Debian 12
Краткая инструкция по установке и базовой настройке сервера сбора и анализа логов. Это чуть более простой в настройке аналог популярного ELK Stack. Про непосредственно сбор логов будут отдельные статьи.

⇨ Обновления безопасности Exchange Server за ноябрь 2024 г.
Обзор свежих обновлений безопасности почтового сервера Exchange.

⇨ ИТ переезд компании в новый офис
Основные этапы и рекомендации по успешному проведению переезда. К краткой текстовой выжимки прилагается более чем 2-х часовой видеоматериал.

⇨ Как установить Zabbix 7 на Ubuntu 24.04 с использованием веб-сервера Apache и базы данных MySQL
Подробная инструкция по установке перечисленной связки сервисов для запуска Zabbix Server.

⇨ Как установить Zabbix 7 на Ubuntu 24.04 с использованием веб-сервера NGINX, БД PostgreSQL, и расширением TimescaleDB
Другой стек для запуска Zabbix Server.

⇨ Отслеживание утечек секретов при разработке программных решений
Описание двух инструментов для поиска секретов в исходном коде приложений: Gitleaks и gitGrabber.

⇨ Критическая уязвимость в Zabbix: что известно и как защититься
Описание недавней CVE-2024-42327 в Zabbix Server.

Если кто-то хочет присоединиться к этой подборке, то пишите мне в личные сообщения. Пока список выглядит так:

▪️https://r4ven.me/
▪️https://wiki-it.ru/
▪️https://www.gurin.ru/
▪️https://sysadminhub.ru/
▪️https://it-skills.online/
▪️https://devopslife.ru/
▪️https://bite-byte.ru/
▪️https://sysadminium.ru/
▪️https://desoft.ru/
▪️https://www.pc360.ru/
▪️https://bafista.ru/
▪️https://it-experience.ru/
▪️https://blogadminday.ru/
▪️https://marukhin.ru/

#статьи

В продолжении вчерашней темы мониторинга Zabbix небольшая заметка из практики, с которой столкнулся на днях. Я абсолютно всегда без исключения настраиваю мониторинг TLS сертификатов и делегирование доменов. Даже если кажется, что всё под контролем, уведомления рассылаются, сертификаты обновляются и т.д.

Был почтовый домен mail.example.com с сервером и на него же посадили веб интерфейс, что не очень удобно. Не рекомендую так делать. Делайте для него отдельный домен, типа webmail.example.com или как-то ещё. Я веб интерфейс перекинул на отдельный веб сервер, и для домена mail.example.com в настройках nginx сделал переадресацию на webmail.example.com, а чтобы продолжать обновлять сертификат оставил location /.well-known без переадресации. Сделал и забыл.

Прилетает от мониторинга через пару недель оповещение, что через 10 дней сертификат для mail протухает. А должен обновиться раньше. Иду разбираться и не понимаю, в чём проблема. На вид всё сделано корректно, как я обычно делаю. Смотрю логи ошибок certbot и вижу, что проверка домена mail идёт не по https, а по http. Я честно говоря почему-то думал, что сначала проверка всегда идёт по https, и если там всё ОК, то этого достаточно. Оказывается нет. Не обращал на это внимание.

У меня получилось так, что по http шла сразу переадресация всех запросов mail -> webmail, а последний хостился на другом сервере, поэтому проверка не проходила. Поправил правила nginx. Оставил location /.well-known и для http, и для https, чтобы в любом случае проверка домена проходила успешно. Что-то типа такого:

server {
    listen 80;
    server_name mail.example.com;

    location /.well-known {
    root /var/www/mail.example.com;
    }

    location / {
    return 301 https://webmail.example.com$request_uri;
    }
}

Для https аналогично.

Без мониторинга очень часто протухают сертификаты. Сколько раз это видел даже у крупных компаний. Помню у Rebrain когда-то давно был анонс вебинара про мониторинг. Переходишь по ссылке, а там браузер даёт ошибку на протухший сертификат. Получилось забавно. Поправили сразу, но сам факт. Либо не было мониторинга, либо за ним никто не следил. На протухшие домены и сертификаты лучше всего делать повторяющие уведомления, которые будут раз в сутки прилетать, пока не продлишь.

#zabbix #мониторинг

Решил всё же после выхода Zabbix Server 7.2 обновить один из работающих серверов до этой версии. Давно собирался там порядок навести и нарисовать новые дашборды. Имеет смысл это сделать уже на свежей версии.

Сервер был версии 6.0 на ОС Debian 11. Первым делом обновил Debian 11 до 12. Всё прошло гладко. Debian хорошо обновляется с релиза на релиз. Не припоминаю серьёзных проблем с этим. Потом подключил репозиторий от Zabbix 7 и обновил его с 6.0 до 7.0. Процесс обновления в целом прошёл штатно, но на выходе я столкнулся с проблемой.

Это был старый сервер, который обновляется с релиза на релиз, с системы на систему с 4-й версии. А может и того раньше. Не помню точно. Он всегда работал под Apache. После обновления на 7.0 в веб интерфейсе пропал русский язык. В настройках он остался, но если в профиле выбрать русский язык и сохранить настройки, то ничего не менялось. Оставался английский.

Я немного погуглил, решения не нашёл. Несмотря на то, что все необходимые условия для появления русского языка выполнены, он не работал. Я не стал дальше решать вопрос, а просто заменил Apache на Nginx и Php-fpm. Русский язык появился. То есть проблема сидела где-то в настройках Apache и скорее всего php.

Дальше в пару шагов обновил 7.0 до 7.2:

# wget https://repo.zabbix.com/zabbix/7.2/release/debian/pool/main/z/zabbix-release/zabbix-release_latest_7.2+debian12_all.deb
# dpkg -i zabbix-release_latest_7.2+debian12_all.deb
# apt update
# apt upgrade

Тут тоже столкнулся с ошибкой. В 7.2 веб интерфейс вынесли в новую директорию /usr/share/zabbix/ui вместо прошлой /usr/share/zabbix. Нужно поправить это в настройках nginx. Больше ничего менять не надо. Перезапускаем службу и тестируем новую версию 7.2.

❗️С версией сервера 7.2 не будут работать прокси 6.0. Для меня это было сюрпризом, так как в одном сегменте сети до сих пор работают Centos 7 и туда максимум можно поставить версию 6.0. С сервером 7.0 они нормально работали, а с 7.2 уже не хотят. Пришлось решать этот вопрос отдельной установкой туда более свежей системы.

Несмотря на то, что проделал довольно значительные обновления не только со сменой ветки программы, но и самой системы, прошло всё без особых сюрпризов. Потратил на всё про всё около двух часов. В комментариях к своим статьям по обновлению Zabbix постоянно встречаю различные ошибки у людей. То база не обновляется, то бэкенд остался старой версии. Сам с ними не сталкиваюсь. Если всё делать аккуратно с пониманием и проверкой того, что делаешь, то всё получается.

Перед обновлением сделал снепшот виртуалки и не забыл его удалить, когда убедился, что всё получилось и работает.

#zabbix

Для рисования схем существует много различных программ. Причём этот вопрос хорошо закрывается полностью бесплатным ПО. Его можно разделить на 2 категории: ручное рисование и автоматическое на основе текстового описания. Сегодня речь пойдёт про ручное рисование.

Наиболее популярные инструменты - draw.io и excalidraw.com. Оба сервиса представляют собой веб приложение, которое можно в том числе развернуть у себя на веб сервере. Результатом работы в браузере будет обычный файл, который можно сохранить к себе на компьютер. Это удобно. Не нужно ничего устанавливать локально, но при этом все схемы у тебя всегда под рукой. Можно воспользоваться как своим сервисом, так и публичным.

Я одно время пользовался draw.io и думал, что ничего другого и не надо. Вроде всё и так есть. Потом кто-то посоветовал посмотреть excalidraw. Он мне понравился. Там по умолчанию нет специальных иконок и прочих красивостей, но на деле оказалось, что простыми прямоугольниками и прочими геометрическими фигурами со стрелками нарисовать схему быстрее и проще. И выглядит она нагляднее. Так что теперь рисую там. При желании туда тоже можно импортировать готовые наборы иконок, но я без них обхожусь.

Видел не раз в комментариях упоминание lucidchart. Про него есть подробное видео на ютубе на канале ADV-IT. Автор нарисовал для примера пару схем и показал процесс. Изначально думал, что это наподобие описанных выше программ, где так же есть open source версия, но нет. Lucidchart полностью коммерческий продукт с бесплатным тарифным планом, в котором основное ограничение - 60 объектов на схему. Сайт использует какую-то хитрую блокировку по странам, так что я не смог зарегистрироваться даже через американский VPN. Так что можно смело про него забыть. Lucidchart у меня год в закладках висел, ждал своего часа и вот дождался.

☝️ Вернусь ещё раз к draw и excalidraw и расскажу об одной особенности, которая может быть кому-то незнакома. Для этих сервисов есть плагины для популярной IDE - VSCode. С помощью этих плагинов вы можете хранить схемы в репозиториях и изменять их прямо в редакторе. После изменения схемы автоматически рендерятся в картинки. То есть для вас это редактируемые объекты, которые легко изменяются, а для тех, кто будет смотреть этот репозиторий, это будут статические png картинки. Вот тут подробно показано, как это работает:

▶️ Рисуем документацию прямо внутри IDE - excalidraw

Ну и отдельно перечислю бесплатные сервисы, где можно автоматически создавать блок схемы на основе описания с помощью кода:

◽️Graphviz - ветеран подобных сервисов, очень старый продукт, который развивается и использует по сей день.
◽️Mermaid - более современный сервис, много где имеет встроенную поддержку (GitLab, Gitea, Joplin, Notion и т.д.), наиболее популярный на сегодняшний день.

Таких движков для описания кода очень много. У них довольно высокий порог вхождения. Используется свой язык разметки, так что придётся немного поразбираться.

#схемы

В ОС на базе Linux существуют несколько наиболее популярных программных решений для построения отказоустойчивого дискового хранилища, или по простому - софтовых рейдов:

◽️Mdadm
◽️LVM Raid
◽️ZFS

Про Mdadm рассказывать особо нечего. Это самый популярный программный рейд, которому сто лет в обед. Он очень прост в настройке и эксплуатации, про него масса статей с инструкциями. Я использую его повсеместно и проблем с ним никогда не знал. Много писал про него на канале.

Про ZFS тоже рассказывать большого смысла нет. Известная и проверенная временем технология. Я ещё на Freebsd её использовал и очень радовался, когда корень системы можно было поставить на ZFS. Она спокойно переживала аварийные выключения сервера, в отличие от UFS, которая была файловой системой по умолчанию и постоянно ломалась после аварийных отключений.

А вот про LVM Raid и информации немного, и практического применения я не видел. Мне не очень понятно, почему. Я немного поигрался с этим рейдом на тестах. Выглядит интересно. Сразу скажу, почему я решил обратить на него внимание. LVM Raid поддерживает технологию DM-integrity (device mapper integrity), с помощью которой можно контролировать целостность хранимой информации с помощью дополнительного хранения и проверки метаданных (checksum) файлов. Это то, что ZFS делает по умолчанию. Поясню, зачем это надо.

В современных дисках, как HDD, так и SSD, очень высокая плотность записи. Это делает сохранение заряда в ячейках менее надёжным и долговременным. Допустим, у вас на дисках долго хранится какой-то объём информации. В каких-то ячейках изменились записанные биты либо из-за ошибок при записи, либо возникли во время хранения. При этом диски полностью исправны и ошибок чтения нет. То есть технически всё в порядке. Но во время чтения вы можете получить битые файлы, которые при этом успешно прочитаются. Но информация будет разрушена.

При использовании Mdadm и поверх него ФС EXT4 или XFS, никакой защиты от подобных ошибок у вас не будет. Если не делать регулярное сопоставление записанных файлов с каким-то другим хранилищем таких же файлов, то о битых файлах вы не узнаете, пока явно не наткнётесь на них во время проверки. В LVM Raid с поддержкой DM-integrity часть хранилища выделяется под хранение метаданных файлов. Я не нашёл точно информации, сколько конкретно % от общего объёма тратится. Но там немного, не более 10%.

При использовании LVM Raid + DM-integrity вы узнаете о битых файлах при очередной проверке файлов с тем, что записано ранее в хранилище метаданных. Это происходит как минимум во время чтения. Я так понимаю, что процесс этот может происходить и в фоне, можно и принудительно запускать и смотреть результаты. CLI от LVM даёт такие возможности. При обнаружении повреждённых файлов, они будут автоматически восстановлены с других носителей в рейд массиве.

Хотел сделать заметку с примерами создания и управления LVM Raid, но сделаю это позже отдельной заметкой в виде готовой шпаргалки. Вводная теоретическая часть получилась слишком длинной.

Если кто-то использовал LVM Raid, поделитесь опытом и впечатлениями. Особенно интересно, если дополнительно включали DM-integrity. Без неё я не вижу смысла использовать рейд LVM, а не Mdadm. LVM хоть и даёт бОльшую гибкость в управлении. Например, можно на лету изменить уровень рейда, увеличить или уменьшить тома. Но на практике это не особо нужно. Mdadm проще и более предсказуем, интуитивен в управлении. Технически DM-integrity можно включить и для дисков в составе Mdadm, но там нет нативной поддержки, как в LVM. Битые файлы будут помечаться как ошибки чтения диска и Mdadm будет пытаться их синхронизировать с других дисков. Это тоже рабочий вариант, но не такой удобный в плане управления и отслеживания ошибок.

#lvm #raid

Ты просыпаешься на пыльном чердаке.
Снаружи буря грохочет по старой черепице.
Во рту пересохло. Ноги болят.
Ты прикован наручниками к трубе, и твоя рука обожжена.
Перед тобой стоит женщина. Тесак в ее руке блестит в тусклом свете.
"Что, - спрашивает она, - ты готов сделать, чтобы сбежать?"

Неплохое начало для триллера? Так начинается текстовая обучающая игра по regex выражениям SLASH\ESCAPE. В данном случае нетрудно догадаться об ответе: "Всё, что угодно." В формате regex это будет .*

"Всё, что угодно? - говорит она, - сурово."

Ты видишь, как она замахивается тесаком, как раз вовремя, чтобы отскочить назад. Металл оставляет порез на щеке, а затем ударяется о трубу позади тебя.

Три пальца на левой руке горят огнём. Ты понимаешь, что произошло, только когда видишь, как они отскакивают от твоего ботинка.

Над вами от внезапного толчка что-то зашаталось. Вы слышите, как что-то сдвигается, и женщина перед вами исчезает под грудой мусора.

Ваша рука выскользнула из наручника.

Вы можете двигаться ВПРАВО или ВЛЕВО - в RegEx вы можете просто написать слово, которое хотите сопоставить, так что пишите свой выбор.

Ну и так далее. К каждому заданию есть подсказка, которая объясняет правильный ответ и рассказывает, где это может пригодиться.

Сделано прикольно и атмосферно. Не видел и не слышал раньше про эту игру. Увидел случайно в другой похожей игре: lost-at-sql. Там тоже свой необычный сюжет. Вы капитан подводной лодки SS.QL, у которой какие-то проблемы. Вам надо их решать посредством SQL запросов к базе данных аппарата. Сделано забавно, но про SQL и так последнее время было много заметок, поэтому не стал акцентировать внимание именно на ней. С regex игра больше понравилась.

🎮 ⇨ SLASH\ESCAPE
📱⇨ Lost at SQL

#regex #обучение #игра

Когда собирал заметку про различные варианты рисования схем, в том числе на основе текстового описания, наткнулся на интересный и полезный проект kroki.io. Не стал его там упоминать, чтобы в одну кучу всё не сваливать. Решил написать отдельно.

Это open source проект, который есть в редакции self-managed, то есть можно развернуть у себя. Он объединяет в себе все доступные библиотеки open source движков для рисования графиков из текстового описания. На сайте есть форма, где можно выбрать из выпадающего списка желаемый движок диаграмм, посмотреть пример текстового описания и тут же графическое отображение.

Если вы подбираете себе подобный инструмент для рисования схем, то можете очень быстро выбрать и попробовать то, что вам понравится больше всего. Кто-то прям неслабо заморочился и объединил в одном месте 27 доступных движков, в том числе Mermaid, GraphViz, Excalidraw и другие.

Я, кстати, именно тут впервые увидел, что Excalidraw, оказывается, тоже может рисовать схемы на основе текстового описания. Изначально думал, что это только графический редактор. Язык у него не сказать, что простой. Немного посмотрел представленные примеры. Стало понятно, почему Mermaid такой популярный. С ним реально проще работать, чем с другими. Синтаксис наиболее простой и интуитивный.

На сайте kroki.io есть небольшая шпаргалка в виде pdf с картинками, где представлены различные форматы визуализаций и движки, с помощью которых они нарисованы. Можно быстро прикинуть, что вам больше всего подойдёт. Примеры:

◽️Схема сети - NwDiag
◽️Детали сетевого пакета - PacketDiag
◽️Схемы стоек - RackDiag
◽️Диаграммы из блоков - BlockDiag, Ditaa
◽️Столбчатая диаграмма - Vega-lite
и т.д.

⇨ 🌐 Сайт / Исходники

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#схемы

Шпаргалка на тему создания LVM Raid. Создаём RAID1.

# apt install lvm2
# pvcreate /dev/sdb /dev/sdc
# vgcreate vgroup /dev/sdb /dev/sdc
# lvcreate --type raid1 -l 100%FREE -n lvraid1 vgroup

Проверяем:

# lvs -o+segtype

Создаём файловую систему и монтируем:

# mkfs.ext4 /dev/vgroup/lvraid1
# mkdir /mnt/lvraid1
# mount /dev/vgroup/lvraid1 /mnt/lvraid1

Смотрим, что в итоге получилось:

# lsblk

Скопируем туда что-нибудь, дождёмся полной синхронизации и удалим один из дисков.

# cp -r /var/log/* /mnt/lvraid1/

Диск отключил. Проверяю данные, всё на месте. То есть LV работает как и прежде. Проверяю статус:

# lvs -a -o name,devices vgroup

Вижу, что одно устройство в статусе [unknown]. Добавляю в систему новый диск. Не тот же самый, что я отключил.

# lsblk

Вижу, что он подключился на /dev/sdd. Добавляю его в VG:

# pvcreate /dev/sdd
# vgextend vgroup /dev/sdd

Удаляем вывалившийся диск:

# vgreduce --removemissing vgroup --force

Проверяем:

# lvs -a -o name,devices vgroup

Устройства в статусе [unknown] больше нет. Добавляем в наш LV новый диск:

# lvconvert --repair vgroup/lvraid1
# lvconvert -m1 vgroup/lvraid1 /dev/sdd

На все вопросы отвечаем утвердительно. Смотрим результат и наблюдаем за синхронизацией:

# lvs -a -o name,devices vgroup
# lvs -o+segtype

Пошла синхронизация, данные все на месте. Замена прошла без остановки системы. Диски убирал и добавлял наживую. В целом, ничего сложного. Вполне понятный и логичный набор команд. Один раз проверил, записал и воспроизвёл в случае выхода из строя диска.

Из особенностей LVM Raid - LV можно конвертировать налету в разные уровни рейдов, добавлять к ним диски. Можно из raid1 сделать raid5, добавить туда диски. Не думаю, что на практике это будет оправданно. А вот превратить raid1 в raid10 видится полезным. Было 2 диска, добавил ещё 2 и получил raid10. Для этого надо добавить 2 диска в VG и сконвертировать LV. Прямой конвертации из raid1 в raid10 нет. Нужно сначала сконвертировать в raid5, добавить туда 2 диска, дождаться синхронизации и сконвертировать в raid10:

# pvcreate /dev/sdc /dev/sde
# vgextend vgroup /dev/sdc /dev/sde
# lvconvert --type raid5_n vgroup/lvraid1
# lvresize -l5118 vgroup/lvraid1 # размер зависит от размера LV
# lvconvert --stripes 1 vgroup/lvraid1
# lvconvert --stripes 2 vgroup/lvraid1
# lvconvert --type raid10 vgroup/lvraid1
# lvconvert --type raid10 vgroup/lvraid1

На выходе получил из RAID1 ⇨ RAID10 без остановки и потери данных. Я по всем этим командам получал подсказки в консоли. Там и по размеру подсказки были, и по тому, что финальная конвертация проходит в 2 этапа, и что сначала надо в raid5_n сконвертировать.

Если делать с нуля RAID10, то команда простая. Сначала добавляем 4 одинаковых диска в VG, потом создаём LV:

# lvcreate --type raid10 -l 100%FREE -n lvraid10 vgroup

А теперь ради чего всё это затевалось. LVM Raid умеет вести контроль целостности файлов на основе хэшей. Реализуется это на базе технологии DM Integrity. Включаем её во время создания LV:

# lvcreate --type raid1 --raidintegrity y -L 9G -n lvraid1 vgroup

Размер нужно будет вычислять опытным путём. Я сначала указал размер 100% и получил ошибку, что для моих 10G дисков нужно 150 MiB под метаданные. В итоге указал 9G.

Если в VG есть свободное место, то добавить raidintegrity можно к существующему тому:

# lvconvert --raidintegrity y vgroup/lvraid1

При каждой операции чтения выполняется расчёт контрольной суммы файла. Если она не совпадает с сохранённой ранее, выполняется попытка восстановления файла из других копий в составе рейда.

Для каждого диска в составе LV с DM Integrity создаётся отдельный LV rimage для хранения метаданных. В нём можно посмотреть статистику по ошибкам:

# lvs -o+integritymismatches vgroup/lvraid1_rimage_0_imeta

Колонка IntegMismatches. Все события по DM Integrity будут в системном логе /var/log/syslog.

Всё, что я показал, подробно описано в руководстве по LVM от Red Hat.

#lvm #raid

Продолжу тему с LVM Raid, чтобы получить законченное решение, которое можно будет использовать в проде. Я хочу установить корень системы / на LVM Raid, чтобы в случае выхода из строя диска иметь полностью работающую систему.

Для этого взял виртуалку с Debian 12 и установил систему с ручным разбитием диска. Создал ровно один раздел /dev/sda1, на нём создал VG - vgroup и один LV - root на весь доступный объём. Больше не делал ничего. Раздел /boot не выносил отдельно. Всё только в корне. Grub уже давно умеет грузиться с LVM разделов.

Установил систему. Добавил туда ещё один диск /dev/sdb. Скопировал на него разметку с sda и добавил его в VG:

# sfdisk -d /dev/sda | sfdisk /dev/sdb
# pvcreate /dev/sdb1
# vgextend vgroup /dev/sdb1

Пробую сконвертировать корневой раздел в RAID1:

# lvconvert --type raid1 -m 1 vgroup/root

Получаю ошибку:

Insufficient free space: 1 extents needed, but only 0 available

Суть её в том, что при создании любого RAID необходимо создать отдельный малюсенький LV на 4 MiB для хранения метаданных массива. А я полностью весь VG во время установки отдал на LV root. Чтобы избежать этой ошибки, оставляйте во время установки немного места на VG.

Решить эту проблему не трудно. LV можно уменьшить вместе с ФС, если это ext4:

# lvreduce -l -1 --resizefs /dev/vgroup/root

Команда сработает, только если раздел размонтирован. А у меня это корень системы, так что получил ошибку. Решение простое. Загрузился с SystemRescueCD и выполнил её там. Откусил кусочек от LV, теперь конвертирую в RAID1:

# lvconvert --type raid1 -m 1 vgroup/root

Всё проходит без ошибок. Загружаю систему, проверяю массив:

# lvs -o+segtype
# lvs -a -o name,devices vgroup

Всё в порядке, оба диска на месте. Ставлю загрузчик на второй диск sdb:

# dpkg-reconfigure grub-pc

Теперь вынимаю первый диск sda, на который изначально ставилась система и перезагружаю её. Grub запускается со второго диска, а дальше вываливаюсь в initramfs. Система не грузится, пишет, что не видит диск /dev/mapper/vgroup-root. В консоли initramfs ввожу команду на активацию всех lvm томов:

# vgchange -ay

Находит VG vgroup, но ругается, что там нет sda. Логично, диск этот отключен. После этого выхожу из initramfs:

# exit

Так как LVM раздел активирован, грузится система со второго диска. То есть в целом всё в порядке. Система жива, загружается. Надо только разобраться с тем, чтобы initramfs автоматически активировал неактивный VG с raid1.

Как оказалось, проблема эта нередкая. Нашёл решение в интернете. Создаём файл /etc/initramfs-tools/scripts/local-top/forcelvm следующего содержания:

#!/bin/sh

PREREQ=""
prereqs()
  {
    echo "$PREREQ"
  }
case $1 in
  prereqs)
  prereqs
  exit 0
   ;;
  esac
. /scripts/functions
lvm vgchange -ay

Пересобираем initramfs:

# chmod +x /etc/initramfs-tools/scripts/local-top/forcelvm
# update-initramfs -u -k all

Перезагружаемся. Теперь загрузка работает нормально. Что с одним, что с двумя дисками.

Заменяем выключенный диск новым. Смотрим, какие диски есть в системе:

# lsblk

У меня с данными диск стал sda, новый sdb. Копирую на него разметку, добавляю в VG и LV с raid1:

# sfdisk -d /dev/sda | sfdisk /dev/sdb
# pvcreate /dev/sdb1
# vgextend vgroup /dev/sdb1
# vgreduce --removemissing vgroup --force
# lvconvert --repair vgroup/root
# lvconvert -m1 vgroup/root /dev/sdb1

Ставим загрузчик на новый диск:

# dpkg-reconfigure grub-pc

Следим за синхронизацией:

# watch lvs -a

Когда закончится, перезагружаем систему и убеждаемся, что всё работает.

Получилась готовая инструкция по установке системы на LVM Raid1 и по замене вышедшего из строя диска. В целом, всё примерно то же самое, что и в mdadm со своими нюансами. При случае попробую на каком-нибудь железном сервере вместо mdadm - LVM. На вид выглядит удобнее и функциональнее.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#lvm #raid