Раз уж я рассмотрел панели для управления бэкапами (Postgresus и Pgbackweb) в виде дампов в Postgresql, было бы логично рассмотреть и вариант со своими велосипедами на bash. Поделюсь тем, что использую я.

Сначала полный текст скрипта для бэкапа:

#!/bin/bash

BASES=`/opt/pgpro/1c-16/bin/psql -U postgres -l | grep "_buh\|_zup" | awk '{print $1}'`
DATA=`date +"%Y-%m-%d_%H-%M"`
LOGDIR=/var/lib/pgpro/service_logs
BACKUPDIR=/var/lib/pgpro/backup

for i in ${BASES};
    do
    echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $i" >> $LOGDIR/backup.log
    /opt/pgpro/1c-16/bin/pg_dump -U postgres $i > $BACKUPDIR/$DATA-$i.sql 2>> $LOGDIR/dump.log
    BEGIN=`head -n 2 $BACKUPDIR/$DATA-$i.sql | grep ^'-- PostgreSQL database dump' | wc -l`
    END=`tail -n 3 $BACKUPDIR/$DATA-$i.sql | grep ^'-- PostgreSQL database dump complete' | wc -l`
    if [ "$BEGIN" == "1" ];then
      if [ "$END" == "1" ];then
          echo "Backup ${i} is OK" >> $LOGDIR/backup.log
          /usr/bin/pigz -c $BACKUPDIR/$DATA-$i.sql > $BACKUPDIR/$DATA-$i.sql.gz
          /usr/bin/rm $BACKUPDIR/$DATA-$i.sql
      else
          echo "Backup ${i} is corrupted" >> $LOGDIR/backup.log
      fi
    else
      echo "Backup ${i} is corrupted" >> $LOGDIR/backup.log
    fi
      echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $i" >> $LOGDIR/backup.log
      echo "=========================================" >> $LOGDIR/backup.log
done

Рассказываю, что тут происходит:

1️⃣ Завожу в переменную BASES список баз, которые мы будем бэкапить. Их можно указывать вручную, примерно так: BASES=("db01_zup" "db02_buh"). Можно брать список всех баз. В данном случае на сервере я маркирую базы метками _buh и _zup в названиях баз, чтобы по ним делать выборку. Если базу не нужно бэкапить, то эта метка не ставится. Можно придумать любую свою метку, например _back. Это позволяет автоматически бэкапить все нужные базы, не следя за их составом. Очень актуально, если создаёте и удаляете базы не вы, но вам нужны все бэкапы баз.

Можно использовать обратный подход. Бэкапить все базы, но вручную или по маске задавать исключения. Примерно так:

/opt/pgpro/1c-15/bin/psql -U postgres -l | grep -wv 'template0\|template1\|test-base\|_test' | sed -e '1,3d' | head -n -2 | awk '{print $1}'`

2️⃣ База дампится с помощью pg_dump без каких-либо дополнительных параметров. На выходе имеем обычный несжатый текстовый дамп.

3️⃣ В дампе проверяем наличие строки -- PostgreSQL database dump в начале дампа и -- PostgreSQL database dump complete в конце. Поэтому нам важно иметь дамп в текстовом формате. Если процесс снятия дампа прошёл без ошибок и в дампе присутствуют эти строки, то с большой долей вероятности с ним всё в порядке. Я ни разу не сталкивался с обратной ситуацией.

Соответственно, если строки присутствуют, пишем в лог файл, что Backup is OK, если есть проблемы, то Backup is corrupted. Дальше этот файл забирает либо мониторинг, либо хранилка логов. И если они видят фразу corrupted, то срабатывает триггер.

4️⃣ Если с дампом всё в порядке, то он жмётся архиватором pigz. Он работает многопоточно всеми доступными ядрами процессора. Если не хотите нагружать так плотно сервер, то количество потоков можно ограничить ключами. Я обычно снимаю дампы ночью и жму на всю катушку, чтобы побыстрее завершилось. Дампы потом ещё передавать надо. Это уже отдельная процедура и запускается с сервера бэкапов. С самого сервера СУБД к бэкапам доступа нет.

Получается автоматическая максимально простая и эффективная схема работы. Я вчера добавлял базы в веб панель. Честно говоря, меня это утомило. Если баз 1-2, то не проблема. А 15 штук добавлять уже надоедает. Бывает и больше. Плюс, надо вручную следить за ними, добавлять, отключать ненужные и т.д. Так что панель вроде и выглядит удобно, но если баз много, то удобства уже сомнительные.

Дальше у меня работает ещё один простой скрипт, который забирает эти дампы на тестовый сервер, распаковывает и заливает в СУБД. Расскажу о нём в следующей заметке.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#postgresql #backup #script

Случайно вчера узнал, что сегодня праздник – День Сисадмина (*Кричали женщины: ура! И в воздух чепчики бросали*) (НЕТ). Никогда за ним специально не следил и не отмечал. А вчера пригласили на одно публичное мероприятие, посвящённое этому дню, но, к сожалению, не смог пойти, потому что переехал жить в деревню. И теперь все поездки удлинились.

Несмотря на трансформацию нашей профессии и появление ответвления в виде DevOps, куда передали множество практических компетенций сисадминов, сам я себя по прежнему считаю системным администратором, хотя навыками DevOps владею.

Если кто-то спрашивает меня или супругу, кем я работаю, отвечаю сам и советую жене говорить, что инженером. Люди при слове системный администратор представляют себе человека в офисе, который настраивает рабочие компьютеры, а вечером – домашние всем знакомым и родственникам. Я не делаю ни то, ни другое, поэтому чтобы никто не приставал с просьбами, отвечаю так. Если просят пояснить, что за инженер, то говорю, что инженер информационных систем и технологий. Получается, что и не сисадмин, и не программист. Никто починить домашний компьютер или посоветовать роутер не просит.

Раз сегодня наш профессиональный праздник, а здесь на канале в основном сисадмины, хотя и не только, сделаю несколько искренних пожеланий по этому поводу.

1️⃣ В нашей профессии очень много направлений и областей знаний. Желаю не сидеть на одном месте, если чувствуете, что вас здесь что-то не устраивает. В нашей профессии все дороги открыты, можно выбирать любое направление. Я сам учился на программиста, пошёл работать в поддержку Windows систем, потом стал виндовым администратором, затем изучил Linux и администрировал его. Уволился с постоянной работы и фрилансил с частичной занятостью. Потом открыл ИП и стал работать по договорам с веб разработкой и поддержкой веб сервисов. Сейчас вообще стал блогером. Считаю, что в этой деятельности я раскрылся больше, нежели как it-специалист. Всегда ищу и стремлюсь к тому, что нравится. Боюсь, но всё равно делаю.

Помню, что когда уволился с постоянной работы в никуда, и не мог какое-то время найти новый доход, деньги кончались, а у меня ребёнок родился и жена в декрете, ходил по улице и постоянно повторял себе, что дорогу осилит идущий. Как мантры. В общем-то я с этим девизом так и живу. Если ты движешься, идёшь вперёд, то рано или поздно обязательно получится то, что задумал. Так вот, я желаю всем, кто это читает, не стоять на месте и всегда двигаться вперёд.

2️⃣ Второе пожелание продолжает предыдущее. Чтобы понять, куда двигаться, желаю почаще прислушиваться к себе, чтобы понять, что реально твоё, а что нет. Это вообще сложно и не всем получается найти себя. Но если об этом хотя бы задумываться, то есть шанс разглядеть то, что реально твоё, а не наносное. Так что желаю всегда двигаться вперёд и смотреть внутрь себя, ища там направления.

3️⃣ Ну и самое главное – желаю делать бэкапы, регулярно их мониторить и проверять! Это вообще база для спокойной жизни системного администратора. Сколько через меня всевозможных историй прошло на эту тему. Из-за специфики моей деятельности, у меня стаж шёл год за три или пять. Несколько лет я постоянно работал с 4-5 компаниями, которые иногда менялись, соответственно, видел много различных инфраструктур. А потом удалённо ещё больше. Какое-то время работал с разовыми заказами. Там вообще шёл поток различных проблем и задач. Это не считая того, что мне постоянно пишут. Буквально вчера услышал очередную историю, где живым оказался бэкап двухгодичной давности 🤷🏻‍♂️

В общем, с праздником. Всем профессионального роста, развития компетенций, поменьше бухать по пятницам и праздникам и надёжного тыла за спиной. Ура 🎉🎉🎉
Да, и спасибо, что читаете столько лет. Тост на картинке ниже актуален, как никогда.

#разное