​​Если у вас есть желание изучать и практиковаться в обеспечении безопасности IT систем, то рекомендую обратить внимание на известный ресурс TryHackMe. Он похож на HackTheBox, про который я уже писал. Они в целом похожи и являются лидерами в этом сегменте обучения. Первый больше ориентирован на новичков и теорию, второй больше на практику.

На обоих площадках есть бесплатные тарифные планы, которых на начальных этапах обучения будет достаточно. Обучение строится на базе небольших теоретических уроков, а потом нужно будет выполнять практические задания на виртуальных машинах. Причём задания могут быть как на тему защиты от взлома, так и нападения. Площадка предоставляет свою инфраструктуру для практики!

Примеров прохождения различных заданий из этих сервисов в интернете достаточно. Если любопытно, то сможете быстро найти, как текстовые описания, так и записи на ютубе.

Я ожидал, что TryHackMe ограничит доступ для пользователей из РФ, но нет. Без проблем зарегистрировался и получил доступ к выполнению заданий. Всё обучение на английском языке.

Если реально настроитесь обучаться на этом портале, то рекомендую репозиторий по теме и конкретно вот этот документ: From Beginner to Expert Tryhackme Walkthrough.

#обучение #бесплатно #security

Один читатель прислал ссылку на любопытную статью: Сисадмины обречены. В ближайшее время их ждет профессиональная смерть.
⇨ https://www.cnews.ru/news/top/2023-06-08_sistemnye_administratory

Заголовок вызывающий, так что кликбейт сработал, и я прочитал статью. Там ничего особо интересного нет, кроме самой мысли, что число рабочих мест для системных администраторов год от года сокращается и продолжит сокращаться в будущем. Сисадминам предлагают становиться либо DevOps и DataOps, либо разработчиками, либо кем-то связанным с машинным обучением и автоматизацией.

В качестве аргументов приводят рост облачных технологий, когда даже рабочие места переносят в облако, а в офисах остаются тонкие клиенты.

Несмотря на категоричность заявлений, в целом, тенденции такие есть и отрицать их не имеет смысла. Идёт укрупнение и централизация сервисов, которые потом продаются в готовом виде бизнесу. Это сокращает издержки всей отрасли в том числе и на содержание персонала. Его надо меньше. Так что да, количество рабочих мест для классических сисадминов уменьшается.

Другое дело, что это всё проходит плавно, так что каких-то глобальных проблем не возникает. Думаю, и не возникнет. Для хорошего заработка сейчас недостаточно научиться проектировать локальную сеть, настраивать Windows сервера и рабочие станции. Хотя лет 20 назад за эти знания можно было получать оплату сильно выше средней. Тем не мнее, с этого можно начать, а дальше решить, в какую сторону двигаться. Единственный момент, посоветую сразу же в начале ориентироваться и на Linux.

Если у вас есть желание и способности к программированию, то чем бы не хотели заниматься в IT, рекомендую их развить и немного поработать над написанием кода. Это в любом случае пригодится, в какую бы сферу вы потом не решили свернуть, хоть в девопсы, хоть в машинное обучение. Программирование пригодится везде и это будет явным плюсом в вашем резюме и итоговом доходе. Я лично программировать не люблю и не умею, хотя выучился на программиста и писал диплом на php. Просто не лежит душа к этому. Но никого никогда не отговариваю от программирования. Это очень полезный навык.

Наверняка в комментариях появятся люди, которые будут писать, что сейчас наоборот, надо всё у себя хранить, облака ненадёжны, в облаках, значит у чужого дяди и т.д. Да, где-то это актуально, но если смотреть глобальную статистику всего сектора IT, то тенденции будут к укрупнению и централизации, а не размежеванию. Облачных провайдеров всё больше и больше. Недавно МТС выкатили своё огромное публичное облако с кучей собственных ЦОДов по всей стране.

❗️Подведу итог. Системные администраторы никуда не денутся и по прежнему будут нужны. Уменьшается рынок конкретно для сисадминов, которые занимались поддержкой офисов, офисной инфраструктуры, пользователей. Их и надо меньше, и оплата у них падает. Нужно выбирать более узкую специализацию и развиваться в ней. Проблем с этим нет. Есть полно курсов, как за деньги, так и бесплатно. Если вы любите IT, готовы учиться и развиваться, проблем с занятостью и доходом у вас не будет.

#мысли

​​Давно не было заметок на тему удалённого управления компьютерами. Напомню, что все наиболее известные программы я уже обозревал и собрал их в одной статье: Топ бесплатных программ для удалённого доступа. Также все подобного рода программы объединены тэгом #remote

Сегодня речь пойдёт об очень интересном и полностью бесплатным (open source) проекте Remotely. Я не буду его описывать, а просто расскажу, как на практике выглядит разворачивание и использование этой системы удалённого доступа. Это будет более наглядно для понимания его работы.

1️⃣ С помощью Docker в пару команд вы запускаете сервер Remotely на любом Linux дистрибутиве. Он сразу же становится доступен через Web интерфейс. Можно зайти и зарегистрировать пользователя.

2️⃣ Скорее всего вам захочется настроить TLS сертификаты или как-то ограничить доступ к веб интерфейсу. Для этого можно настроить Nginx в режиме проксирования.

3️⃣ На целевой машине, которой будете управлять, заходите на адрес веб интерфейса и скачиваете клиента под свою систему. Поддерживается Windows и Linux. Запускаете его, получив ID подключения.

5️⃣ Через веб интерфейс администратор может, зная ID, подключиться к целевой машине. Можно настроить как безусловное подключение, так и с подтверждением со стороны пользователя.

6️⃣ Вы можете создавать организации и отделы и распределять управляемые машины по этим организациям. И создавать различных пользователей с привязкой к этим организациям. То есть система готова к большим распределённым структурам с ограничением доступа.

Из дополнительных возможностей Remotely отмечу:
- Уведомления на email.
- Простенький API.
- Через смартфон веб интерфейс и подключение к хостам тоже доступны, хотя пользоваться неудобно.
- На управляемых компьютерах можно удалённо запускать команды и скрипты.
- Поддерживается брендирование.

▶️ Совсем недавно вышло подробное видео с описанием установки и настройки Remotely. Оно на 100% актуально. Там наглядно и подробно описаны все шаги. Можно использовать как для обзора и знакомства, так и для внедрения.

Remotely можно сравнить с MeshCentral. Похожи тем, что оба работают полностью через веб интерфейс, в том числе подключение к машинам. Кто из них лучше, сказать трудно. Первый написан на C# под .NET 6, второй на JS под Nodejs. Тут я затрудняюсь оценить, что теоретически должно быть лучше в плане языка программирования. Оба активно развиваются, выходят новые версии.

⇨ Исходники

#remote

В ОС на базе Linux есть сокеты. Перекочевали они из Unix, поэтому называются сокетами unix. Сходу обычно не очевидно, что это такое, особенно когда какой-нибудь php-fpm или mysql может работать по tcp или через сокет. И надо выбрать, как ты хочешь, чтобы он работал.

Сокет — это абстракция, которая позволяет двум процессам взаимодействовать друг с другом. Выглядит эта абстракция как файл на диске. При этом реально на диск ничего не пишется. Файл нужен как точка входа в сокет и инструмент управления доступом. Все данные хранятся и обрабатываются в памяти ядра напрямую. В общем случае такое взаимодействие быстрее того, что проходит через сетевой стек при использовании обычного TCP соединения.

❗️Насчёт производительности важно понимать, что разницу вы заметите только при очень больших нагрузках. Для какого-нибудь среднестатистического веб сервера с сайтами большой разницы не будет. Скорее всего она будет в рамках погрешности измерений. Использовать unix сокет предпочтительно, если доступ к сервису нужен только локальный. Тогда извне гарантированно никто не подключится, в отличите от обычного сетевого доступа, где по недогляду можно открыть доступ к сервису для внешних подключений.

Быстро проверить работу сокета подручными средствами можно с помощью утилиты netcat:
# nc -U /run/mysqld/mysqld.sock
В ответ получите то же самое, что получили бы, если бы обратились к tcp порту через telnet:
# telnet 127.0.0.1 3306

Я лично почти всегда использую unix сокет для локальных сервисов, если они его поддерживают.

#linux #system

Linux всегда меня восхищал и радовал простыми решениями по возможностям работы с текстовыми файлами через командную строку. Слово простые можно было бы взять в кавычки, так как в реальности не просто изучить синтаксис подходящих консольных утилит. Но никто не мешает найти готовое выражение и использовать его. В Windows чаще всего можно решить эти же задачи с помощью своих программ, но обычно это занимает больше времени.

Самый простой пример того, о чём я говорю — автоматическая замена определённого текста в заданных файлах. Мне лично чаще всего это нужно, когда что-то делаешь с исходниками сайтов. Помню, как свои первые сайты делал более 20-ти лет назад на чистом html в Dreamweaver. При этом страниц там было сотни. Обновлял вручную копипастом. Это было тяжело, но в то время большинство сайтов были статичными, так как бесплатных хостингов на php не существовало. Но это я отвлёкся, заметка планируется про другое.

Допустим, у вас есть какой-то большой сайт на php и вам надо во всех файлах заменить устаревшую функцию на новую. В общем случае замену текста можно сделать с помощью sed, примерно так:
# sed 's/old_function/new_function/g' oldfilename > newfilename

Или посложнее пример с вырезанием вредоносного куска кода из всех файлов, которые заразил какой-то вирус. Допустим, это некий код следующего содержания:
<script>function aeaab19d(a)...................</script>
Текста между тэгами script может быть много, поэтому искать проще всего по этому тэгу и началу строки с function aeaab19d(a).
# sed -r 's/<script>function aeaab19d\(a\).*?<\/script>//' test.php
Тут я использую ключ -r для поддержки регулярных выражений, конкретно .*?.

Можно ещё усложнить и выполнить замену кода между каких-то строк. Для усложнения возьмём какой-нибудь XML:
<username><![CDATA[user01]]></username>
<password><![CDATA[password01]]></password>
<dbname><![CDATA[database]]></dbname>
Заменим user01 на user02
# sed -r 's/(<username>.+)user01(.+<\/username>)/\1user02\2/' test.xml
Тут важны круглые скобки и \1 и \2. Мы в первой части выражения запомнили текст в круглых скобках, а во второй части его использовали — сначала первую скобку, потом вторую.

Это были примеры для одиночных файлов, а теперь добавляем сюда find и используем sed на любом наборе файлов, который найдёт find.
# find /var/www/ -type f -name \*.php -exec \
sed -i -r 's/<script>function aeaab19d\(a\).*?<\/script>//' {} \;
Добавляем к sed ключ -i для того, чтобы он сразу изменял файл. Кстати, для find наиболее популярные примеры можете посмотреть через тэг #find.

Очень аккуратно выполняйте массовые действия. Сначала всё отладьте на тестовых файлах. Потом сделайте бэкап исходных файлов. И только потом выполняйте массовые изменения. И будьте готовы быстро всё откатить обратно.

Примеры рекомендую записать. Если надо быстро что-то сделать, то сходу правильно регулярку вы так просто не наберёте. К тому же в таком использовании есть свои нюансы. К примеру, я так и не смог победить команду sed, которая удаляет весь код <script>, если внутри есть переход на новую строку. Вроде бы легко найти, как заставить . в регулярках учитывать и переход на новую строку, но на практике у меня это не получилось сделать. Я не понял, как правильно составить выражение для sed.

Не забывайте про сервисы, которые помогают отлаживать регулярки. Собрал их в отдельной заметке.

#linux #bash #script

​​Затрону важную и очень спорную тему готовых сборок операционных систем. Думаю, многие ими пользуются или пользовались. И я пользовался, последние года очень мало, но тем не менее. Думаю, что больше не буду. Последняя сборка была tiny11. Про неё было много негативных комментариев. Я её поставил на древний ноут, отключил обновления и отправил на дачу. Там дети мультики на нём смотрят с внешнего диска. Проблем у меня с ней нет.

Заметку пишу, вдохновлённый новостью о том, что в одну из сборок зашили троян, который заменяет адреса криптокошельков и ворует деньги. Причём автор основательно подошёл к вопросу. Сначала он нарабатывал репутацию, несколько месяцев публиковал сборки на популярных торрент трекерах. Ну а потом в очередной сборке оказался вирус, причём хитрый, зашитый в EFI-раздел. Заражёнными оказались сборки некоего BoJlIIIebnik. Подробности у Хакера можете почитать.

Я сам очень активно в разное время пользовался сборками следующих сборщиков: Zver (это легенда, не понимаю, за что его ругают, удобные сборки были), KpoJIuK, OVGorskiy, SmokieBlahBlah. Последнего использовал постоянно, начиная с Win8. Нравились его сборки сразу с офисом. Я не активировал никакие твики, настройки и т.д. Мне нужна была Windows с последними обновлениями и желательно с офисом. И всё.

Теперь уже точно не буду пользоваться сборками. Мне настолько редко всё это стало нужно, что нет никакого смысла связываться с ними. Причём не важен авторитет сборщика. Его могут взломать и зашить вирус без его ведома. А может и зашивают. Кто знает, что на самом деле в этих сборках?

Кстати, под Linux тоже куча всяких сборок. Я их никогда не использовал и не видел смысла, так как нет такой проблемы с обновлениями, которые ставятся потом пол дня. Потенциально для них актуальны те же угрозы. Когда-то очень давно ещё во время обучения запускал LiveCD Knoppix и какой-то LiveCD под Freebsd. Даже название забыл, уже не вспомню. Но это так, для тестов и изучения. В работе не пользовался.

А вы пользуетесь каким-то готовыми сборками дистрибутивов? Только честно. Так то я знаю, каждый первый говорит, что нет, но на деле кто-то же всем этим пользуется 😁 Я когда обслуживал офисы, постоянно там установленные сборки встречал.

#windows #security

​​Смотрел на днях на одну интересную бесплатную панель управления хостингом. Про неё будет завтра отдельная заметка. Там вместо Nginx используется LiteSpeed Server, а точнее его open source версия — OpenLiteSpeed. Я с ним очень слабо знаком, поэтому решил навести справки — что это такое, в чём преимущество и почему кто-то решает использовать его, а не проверенный временем Nginx. Когда я его смотрел несколько лет назад, мне он показался каким-то местечковым продуктом без особых перспектив. Я ошибся.

В сети много материалов на тему как LiteSpeed, так и его сравнения с Nginx. Причём материалы и результаты тестов зачастую противоречивы. Каких-то явных преимуществ по производительности одного сервера по сравнению с другим нет, как это было, когда появился Nginx и его сравнивали с Apache. Там различия были значительные и это сразу было видно. Здесь не так. Можно подобрать тесты, где лучше будет один, а в других тестах — другой.

Перечислю особенности LiteSpeed:
◽Совместимость с Apache: правила Rewrite, ModSecurity, .haccess файлы (только в платной версии), понимает конфиги apache в неизменном виде (только в платной версии) и другие возможности.
◽Поддержка многих современных протоколов и технологий: HTTP/3, QUIC, сжатие Brotli и другие.
◽Свой обработчик php — LSAPI.
◽Есть готовый набор плагинов от разработчиков для поддержки популярных панелей управления хостингом или CMS. Например, Wordpress. Для него там очень крутой плагин интеграции.
◽Модуль интеграции PageSpeed Module, интеграция с reCaptcha.
◽Встроенная интеграция с Redis для хранения кэша.
◽Встроенный веб интерфейс для управления, может заменить кому-то веб панели управления хостингом.

Это то, что мне показалось наиболее интересным, и что я сам могу оценить и примерить на свою работу. В общем и целом впечатления неоднозначные. Производительность плюс-минус как у Nginx. Но с другой стороны, поддерживается очень много вещей, который у того же Nginx надо настраивать отдельно и не всегда это получается быстро. Покажу на двух примерах, с которыми сталкиваюсь лично.

1️⃣ Для настройки кэширования сайтов Wordpress приходится устанавливать отдельно плагины для статического кэша. Потом отдельно настраивать правила Nginx для быстрой отдачи этого кэша мимо движка Wordpress и обработчика php. У LiteSpeed есть готовый плагин под Wordpress, который всё это делает автоматически, плюс там же и поддержкa Redis. А интеграцию с ним в Nginx тоже надо будет настраивать отдельно. То есть конкретно в этой ситуации LiteSpeed очень сильно упрощает настройку. А CMS Wordpress это, на минуточку, чуть ли не половина всех сайтов в интернете.

2️⃣  Второй пример с шифрованием brotli. Для Nginx приходится вручную собирать свой пакет с поддержкой модуля brotli. Я даже статью когда-то писал об этом. Хлопотное занятие, хотя почему бы не использовать brotli. Он всеми поддерживается, жмёт лучше gzip. Я одно время пользовался, потом надоело собирать самому и забил. В LiteSpeed это работает из коробки.

И таких примеров получается много. У меня сложилось впечатление, что LiteSpeed хорош как раз тем, что разработчики собрали основные потребности рынка в плане расширения функциональности веб сервера и реализовали их в своём сервере. Получился такой законченный продукт. В то время как Nginx на его фоне смотрится как некий фреймворк для построения своей инфраструктуры.

Вывод назрел такой. Если вам не нужны дополнительные возможности LiteSpeed, использовать его нет смысла. Сам ядро веб сервера, насколько я понял, работает плюс минус так же по производительности. Nginx — оптимизированное и эффективное решение. Так просто по производительности его не превзойти. А вот если надо больше, то тут уже можно смотреть на LiteSpeed. Одна только полная совместимость с Apache чего стоит. Надо будет попробовать посадить на него Bitrix. Неужели без всяких изменений поедет быстрее, чем на Apache? Это будет круто. Но кажется это возможно только в платной версии. В open source частичная поддержка apache.

#webserver #litespeed

​​Более двух лет назад я вам уже рассказывал про Nginx Proxy Manager. Это веб панель для управления Nginx в режиме proxy_pass. С той заметки прошло много времени, а панелька эта очень активно развивается. Недавно в одном из видео я увидел эту панель в работе. Автор её очень сильно нахваливал.

Посмотрел на неё ещё раз. Она с тех пор заматерела. Изменила адрес репозитория, собрала много звёзд на гитхабе (14,1k, было ~2k). Получила красивую документацию. При этом не обросла лишним функционалом, не стала платной. Автору явно нравится его детище. Постоянно видны исправления, выход новых версий.

Живёт всё в одном контейнере, если ваc устраивает хранить состояние панели в базе SQLite. В противном случае можете настроить хранение в MySQL. В документации автор предлагает docker-compose файл для запуска, но так как контейнер всего один, проще запустить напрямую через docker:

# docker run -d --restart unless-stopped \
-p 80:80 -p 81:81 -p 443:443 \
-v ./data:/data -v ./letsencrypt:/etc/letsencrypt \
jc21/nginx-proxy-manager:latest

Далее идёте на 81-й порт своего сервера и логинитесь под учёткой [email protected] / changeme. Не забудьте сразу поменять, если он смотрит в интернет. Вся конфигурация и сертификаты будут храниться в созданных директориях, так что их удобно бэкапить.

Это хобби-проект одного разработчика, так что в прод такое ставить не стоит. А себе домой или для тестов вполне сойдёт. Приятный продукт с красивым веб интерфейсом, который решает одну конкретную задачу. И делает это хорошо. Рекомендую, если вам нужна подобная функциональность.

⇨ Сайт / Исходники / Обзор / NPM vs Traefik

#nginx #webserver

​​На днях писал про веб сервер OpenLiteSpeed, потому что познакомился с неплохой бесплатной панелью управления хостингом CyberPanel. Она отдельно указана на сайте проекта LiteSpeed, как панель со встроенной интеграцией с OpenLiteSpeed. Как и упомянутый веб сервер, панель — open source проект. Устанавливается бесплатно, то есть даром.

Основные возможности панели:
◽Хостинг php сайтов.
◽Многопользовательский доступ к панели и ресурсам.
◽Поддержка TLS сертификатов от Let's Encrypt.
◽Встроенный FTP, DNS, Mail, MySQL сервер.
◽Файловый менеджер.
◽Бэкап и восстановление панели и сайтов.
◽Интеграция с ModSecurity и CSF (ConfigServer Security & Firewall)
◽LSCache на базе LitesSpeed server для автоматической настройки кэширования сайтов на Wordpress.
◽Встроенный WordPress Manager для управлением сайтами Wordpress.

Есть один минус. Не поддерживает по умолчанию Debian, только Ubuntu и популярные форки RHEL (CloudLinux, AlmaLinux, Rocky Linux). Не понял, почему обошли стороной Debian. Там отличий от Ubuntu минимум. Пришлось на Ubuntu развернуть, чтобы попробовать.

Для установки предлагают готовый bash скрипт. Я его посмотрел, там ничего особенного. Огромная портянка под все системы разом. Часть ставит из пакетов, часть из pip (панель на Python из Django написана), саму панель из github подтягивает. Причём для китайцев отдельный репозиторий есть. В скрипте есть проверка страны.

# sh <(curl https://cyberpanel.net/install.sh || \
wget -O - https://cyberpanel.net/install.sh)

Я развернул и потестировал панель. Установилась без моего участия. В веб интерфейсе есть поддержка русского языка. Выглядит прилично, функционал впечатляет. В настройках глаза разбегаются. Там даже управление Docker контейнерами и образами есть, чего в описании на сайте я не увидел.

В процессе тестирования понял, на чём зарабатывает эта панель. Упомянутый WordPress Manager платный. Реализован в виде дополнения к панели, как и некоторые другие дополнительные функции. В целом, это нормальный подход для развития и поддержки панели. Есть шанс, что её не забросят, когда автору надоест ей заниматься. Ещё из платных возможностей: Rspamd, бэкапы на Google Drive, Файловый менеджер по всему серверу. И всё. Все остальные функции бесплатны.

По использованию ничего особенного не скажу. Всё плюс-минус как у всех. Добавляете домен, создаёте сайт. К нему можно тут же почту завести, DNS записи домена сделать и т.д.

Панель живая, развивается и поддерживается. Имеет большое сообщество. На форуме очень много активных тем. Автор — некий Usman Nasir. Похож на иранца или индуса. Не смог распознать точнее. Все видео на youtube канале на забавном английском, большую часть из которых озвучивает необычная женщина.

❗️На всякий случай скажу, что если можете обойтись без панели управления, обходитесь. Они в основном нужны тем, кто не разбирается в настройке веб серверов. Например, сеошники со своими сайтами. У них их десятки могут быть, которыми они сами управляют через панели. Либо тем, кто обслуживает множество клиентов на своём сервере. Тут без панели тоже неудобно. Я на тех серверах, что обслуживаю сам, панели никогда не ставлю. Это сильно сужает возможности по настройке и увеличивает риски по безопасности.

⇨ Сайт / Исходники

#hosting_panel

​​Рекомендую очень полезный скрипт для Mysql, который помогает настраивать параметры сервера в зависимости от имеющейся памяти. Я уже неоднократно писал в заметках примерный алгоритм действий для этого. Подробности можно посмотреть в статье про настройку сервера под Битрикс в разделе про Mysql. Можно вот эту заметку посмотреть, где я частично эту же тему поднимаю.

Скрипт простой в плане функциональности, так как только парсит внутреннюю статистику Mysql и выводит те параметры, что больше всего нужны для оптимизации потребления памяти. Но сделано аккуратно и удобно. Сразу показывает, сколько памяти потребляет каждое соединение.

Причём автор поддерживает этот скрипт. Я в апреле на одном из серверов заметил, что он даёт ошибку деления на ноль. Не стал разбираться, в чём там проблема. А сейчас зашёл и вижу, что автор внёс исправление как раз по этой части. Похоже, какое-то обновление Mysql сломало работу.

Вот прямая ссылка на код: mysql-stat.sh. Результат работы на картинке ниже. Добавить к нему нечего. Использовать так:

# ./mysql-stat.sh --user root --password "superpass"

Не забудьте поставить пробел перед командой, чтобы она вместе с паролем не залетела в history. Либо почистите её после работы скрипта, так как пробел не всегда работает. Зависит от настроек. Это при условии, что у вас парольное подключение к MySQL.

#bash #script #mysql

​​Я обычно не публикую новости обновлений за исключением нескольких продуктов, которые мне особенно нравятся и за которыми я пристально слежу и сразу же изучаю все нововведения новой версии. Такие продукты: Zabbix, Mikrotik и Proxmox. И вот последний вчера выпустил релиз 8.0. Я ждал его, так как он всегда обновляется вскорости после выхода новой версии Debian, так как собран на её пакетной базе. Но в этот раз это как-то совсем быстро случилось. Только недавно бету анонсировали и тут сразу релиз. Подозреваю, что обновляться пока не надо торопиться, только на тестовых машинах.

Пошёл сразу же смотреть нововведения в Press release. Обновления версий ядра и софта опускаю, отмечаю только новую функциональность бесплатной версии:

▪ Появилась автоматическая синхронизация пользователей и групп из LDAP хранилищ, в том числе Microsoft AD.

▪ Новый TUI (text-based user interface, то есть текстовый) интерфейс установщика. Стало как у Debian — два варианта установщика. Текстовый похож на дебиановский. Особо не понимаю, зачем на это тратить ресурсы разработки. Возможно GUI интерфейс в каких-то случаях не работает и спасает TUI.

▪ Сопоставление физических устройств (PCI и USB) и нод кластера. Можно создать виртуальное устройство, сопоставить его с реальными устройствами на конкретных нодах и добавить это устройство к VM. Теперь она сможет мигрировать только на те ноды, где есть сопоставление нужного устройства. До конца не понял, какую прикладную задачу это решает.

▪ Автоматическая блокировка учёток юзеров, которые попали на второй фактор аутентификации и не прошли его несколько раз. В общем, защита от брута второго фактора, когда первый пароль утёк злоумышленникам.

▪ Списки доступа (ACL) к сетевым ресурсам. Можно управлять доступом пользователей, например, к бриджам.

Навскидку нововведений как-то мало. Считай ничего значимого и нет, кроме сопоставления устройств. Это наиболее заметное улучшение функциональности.

Руководство по обновлению уже тоже готово: Upgrade from 7 to 8. Алгоритм примерно такой же как всегда:
1. Обновляемся до свежей версии своего релиза.
2. Устанавливаем утилиту pve7to8 и запускаем её.
3. Если все проверки утилиты прошли, обновляем файл с репозиторием на новую версию.
4. Запускаем обновление.

Если используете Ceph, внимательно читайте сноски, касающиеся его. Это важно, там есть свои нюансы.

Официальное видео от создателей:
⇨ What's new in Proxmox Virtual Environment 8.0
На нём продемонстрированы все перечисленные нововведения.

#proxmox

Эх, ребята. Неправильная сегодня пятница. Не до шуток стало. Опять новость в виде исключения. Но уж очень информация знаковая, не могу её пропустить. К тому же случилось то, что я предсказывал ещё пару лет назад, когда RedHat прикрыли проект Centos. Теперь они потихонечку поддушивают все клоны RHEL.

Слышали уже новость? Приведу сразу ссылки с заголовками:
⇨ Furthering the evolution of CentOS Stream
⇨ CentOS Stream станет единственным публичным источником кода пакетов RHEL
А вот ответ на это от AlamLinux:
⇨ Impact of RHEL changes to AlmaLinux

Суть в том, что RedHat перестали выкладывать в публичный доступ исходники своего дистрибутива RHEL, которые все использовали для создания форков. Теперь они выкладывают исходники через свой клиентский портал. То есть уже как минимум нужно быть клиентом, чтобы иметь к ним доступ.

Не трудно догадаться, какой будет следующий шаг. Быть клиентом подразумевает договорные отношения. Следующим шагом будут какие-то изменения в договоре, которые не позволят использовать представленные исходники. Даже сейчас уже не понятно, а можно ли их брать и использовать для создания форка. AlmaLinux прямо об этом заявляет.

Для меня это не сюрприз. Прямо и несколько раз об этом говорил в своих публикациях и комментариях, когда прикрывали Centos. Я выбрал Debian, как основной дистрибутив для себя, именно из этих соображений. Нетрудно предугадать действия огромной коммерческой компании, практически монополиста на некоторых рынках.

Я уже давно все новые установки делаю на Debian, но у меня до сих пор имеются в управлении немало серверов под Centos 7 и Oracle Linux 8. Надо потихоньку готовить миграцию. Для меня уже очевидно, что с rpm дистрибутивов надо уходить. Debian практически единственный подходящий вариант. Ubuntu в этом плане я тоже не очень доверяю. Мне кажется, в какой-то момент они договорятся с IBM и что-то ещё придумают, чтобы заработать.

❓Интересно узнать, что будет в итоге с Oracle Linux. Думаю, они потянут самостоятельно поддерживать и развивать этот дистрибутив дальше своими силами. Это будет логично с их стороны, хотя и потребует дополнительных финансовых затрат.

Эх, жаль, такой удобный и надёжный дистрибутив загубили. Буду скучать по Centos, хоть и не так сильно, как по Freebsd. Может ещё вернёмся к нему.

#centos

​​Если вы вдруг почувствуете, что ваша самооценка как IT специалиста или даже хакера падает, я вам помогу. Регистрируетесь на проекте root-me.org. Это что-то типа TryHackMe и HackTheBox. Переходите в раздел Challenges ⇨ Web Server. Выбираете задание HTML - Source code. Вам нужно будет найти пароль от формы, которую увидите после нажатия кнопки Start the challenge.

Дальше вам нужно будет проявить свои технические навыки, представив себя в роли хакера. С чего начнёте? Наверное можно попробовать поотправлять что-то в форму и посмотреть заголовки или поснифать трафик. Он нешифрованный. Но можно поступить проще. Открыть html код страницы и увидеть там пароль 😎. Отправляете его через специальную форму в описании задания и вы молодец.

Ну как, самооценка подросла? Если нет, даю ещё одно задание из этого же раздела: SQL injection - Authentication. Пишем в форму логина и пароля инъекцию: admin'/* и после отправки смотрим исходный код формы с паролем. Там будет настоящий пароль. Получаем плюс к самооценке.

На самом деле это прикольная песочница для различных задач по информационной безопасности и взломам. Причём задания есть на любой уровень знаний, так что хоть что-то по силам выполнить каждому. К заданиям есть ссылки с теорией. Сервис, как и предыдущие два, имеет бесплатную подписку, где много задач. Для развлечения и поднятия самооценки его хватит за глаза.

#обучение #security #бесплатно

VPN, RDP, VDI — это прошлый век. Попробуйте ZTNA для удаленного доступа!

Избавьтесь от лишнего «железа» и сложных схем туннелирования, администрируйте из личного кабинета без привязки к офису, создайте безопасную и удобную среду для работы сотрудников всего за 10 минут.

Попробуйте сервис сейчас — 14 дней демо-доступа после регистрации и бесплатная презентация по желанию: https://clck.ru/34cDfV

#реклама

​​▶️ Если хотите посмотреть в ютубе что-то развлекательное и тематическое, то могу посоветовать одно направление. В англоязычном интернете распространены ролики, где люди снимают и рассказывают про свой рабочий день. Для системных администраторов запрос будет выглядеть вот так: a day in the life of sysadmin. И дальше смотрите, что придётся больше по вкусу.

Я время от времени смотрю подобные ролики. Они мне в рекомендации заскакивают, потому что часто смотрю англоязычные видосики на IT темы. Особенно нравится погружение в другую среду. Люди там свой дом показывают, рабочее место, куда обедать ходят, как у них всё устроено, как кофе варят и т.д. Всё это без подготовки и купюр. Нравится атмосфера такого формата.

Гугл умный, в подборку будут залетать и девопсы, и сетевые инженеры и прочие IT специальности, но при этом не программисты. Гугл знает, что я не программист, и 1+0 для меня не 10, а 1.

#видео #развлечение

​​Когда возникает задача по контролю устройств в локальной сети, я сходу не могу придумать решение. Начинаю вспоминать, что в каких-то системах мониторинга с автообнаружением есть уведомления о появлении новых устройств, либо в некотором софте для инвентаризации и базе данных оборудования. А вот что-то отдельное под эту задачу мне было неизвестно до тех пор, пока не узнал про Pi.Alert.

Это небольшое приложение, которое выполняет одну конкретную задачу — периодически сканирует локальную сеть и оповещает тебя, если появляется новое устройство, которого нет в его базе данных. Управление в Pi.Alert осуществляется через веб интерфейс. Соответственно в нём же вы ведёте базу данных всех своих устройств, которые видны в сети.

Для обнаружения устройств используются три метода в зависимости от настроек программы:
1️⃣ По умолчанию используется утилита arp-scan для arp запросов.
2️⃣ Pi.Alert в своём составе имеет известный DNS сервер Pi-hole. Если он используется, то в дополнении к методу 1, проверяется активность на DNS сервере Pi-hole. Там ведётся лог запросов.
3️⃣ Если у вас используется в качестве DHCP сервера dnsmasq, то информация о новых устройствах берётся в том числе и в его leases.

Из особенностей и удобств Pi.Alert отмечу, то у него есть отдельный раздел с календарём, где можно посмотреть видимость различный устройств с привязкой к дням. Выглядит это удобно. Ну и добавлю, что есть лог по каждому устройству.

По названию программы и интеграции с Pi-hole становится понятно, что его можно установить на Raspberry Pi. Именно для этого устройства есть готовый скрипт для установки (есть в репозитории), который актуален и для Debian. На любом другом Linux Pi.Alert можно запустить в Docker. Есть готовый образ с хорошим описанием возможностей и параметров запуска, так что не буду дублировать тут эту информацию.

Уже в процессе тестирования я понял, что Docker образ от другого автора, который взял за основу оригинальный Pi.Alert и очень сильно его доработал, существенно расширив функциональность. Там и интеграция с nmap, с home assistent, API, проверки по snmp, построение карты сети, более расширенная база данных устройств. И вообще много всего полезного. Посмотрите сами в другом репозитории. Получилась полноценная система учёта и контроля устройств в сети.

Так что если вам нужен простой контроль устройств, используйте Pi.Alert от автора (pucherot). Там минимум настроек, которые задаются в процессе установки. Потом даже раздела настроек нет в веб интерфейсе. Если же вам надо расширенный функционал, берите версию от jokob-sk. Я и ту, и другую попробовал. Последняя вообще крутотень. Мне очень понравилась и по возможностям, и по внешнему виду. Там даже мониторинг сайтов есть. По сути это больше похоже на систему мониторинга с простыми сетевыми проверками. Имеет смысл добавить её в подборку с системами мониторинга. Очень просто и быстро запустить и настроить.

#network #мониторинг

​​Думаю те, кто используют curl в консоли, не раз сталкивались с тем, что не получается что-то скачать через эту утилиту. Копируешь ссылку из браузера, отдаёшь curl, но в итоге грузится либо какая-то заглушка, либо вообще ничего не грузится.

Это возникает из-за того, что утилиту curl легко распознать и заблокировать с её помощью загрузку. Делают это скорее всего для того, чтобы отвадить ботов и другие системы автоматизации, которые используют эту утилиту. Для того, чтобы обходить это ограничение, существует проект curl-impersonate.

Авторы подготовили специальную сборку curl, которая максимально похожа на обычные браузеры: Chrome, Edge, Safari или Firefox. Авторы считают, что чаще всего curl определяется на этапе TLS handshake. Для того, чтобы обойти эти проверки, они собирают curl с TLS библиотеками, которые используют браузеры, а не OpenSSL, как у обычной curl. Также по умолчанию используются шифры и заголовки, такие же, как у браузеров.

Для каждого браузера есть свой набор параметров, поэтому загрузка с помощью модифицированного curl выглядит примерно так:
# curl_chrome110 https://www.wikipedia.org
Под каждый браузер своя сборка.

Для использования достаточно загрузить подготовленные бинарники из репозитория: https://github.com/lwthiker/curl-impersonate/releases. На стандартном Debian 11 мне больше ничего не пришлось делать. В репе авторы указывают, что нужны некоторые пакеты:
# apt install libnss3 nss-plugin-pem ca-certificates
У меня они уже стояли. Есть и Docker образы.

Проект интересный и полезный. Модифицированную версию curl имеет смысл использовать для мониторинга, если у вас есть возможность выбирать бинарник. Мониторинг будет более достоверен и максимально приближен к реальным браузерам, насколько это возможно для консольной утилиты.

⇨ Исходники

#curl #terminal #linux

У одного IT блогера в видео увидел необычную и на первый взгляд удобную домашнюю страницу для браузера с кучей ссылок на внутренние и внешние сервисы. Узнал, что это open source проект Dashy. Чтобы сразу было понятно, о чём идёт речь, ссылка на публичное Demo:
⇨ https://demo.dashy.to

Dashy — веб сервис, который можно запустить на своём железе и пользоваться. По сути это аналог Heimdall, про который я писал когда-то давно. Я некоторое время пользовался потом забил. По факту сейчас пользуюсь только одним браузером везде, так что хватает штатного табло с панелями. А вот если браузеров несколько или нужны общие панели с кем-то ещё, то тут уже пригодится Dashy. Он более функциональный, чем Heimdall.

Возможности Dashy:

◽️Статус ссылок в виде зелёных и красных кружков. Если ссылка недоступна, то индикатор будет красный.

◽️Аутентификация разными способами: Basic Auth, Keycloak, OAuth, доступ на основе списков IP.

◽️Виджеты с поддержкой некоторых сервисов по API: Grafana, Proxmox, Nextcloud, Synology, Pi Hole и другие. Также поддерживаются различные публичные сервисы погоды, курсов валют, github. Даже для проверки своего внешнего IP есть виджет, что может быть удобно в некоторых случаях. Я для этих целей использовал виджет для Windows 10, чтобы на рабочем столе видеть свой внешний IP адрес. Полный список виджетов.

◽️Встроенный бэкап и восстановление настроек.

◽️Конфигурация с помощью YAML файлов или веб интерфейса.

Запустить и попробовать проще простого:
# docker run -p 8080:80 lissy93/dashy
Подробности по запуску можно посмотреть в репозитории. Там и переменные указаны, и как готовый конфиг указать, и docker-compose.yaml есть.

Примеры различных дашбордов можно посмотреть на отдельной странице:
https://github.com/Lissy93/dashy/blob/master/docs/showcase.md

⇨ Сайт / Исходники

#dashboard

​​В копилку полезных админских утилит Unix с примерами — socat. В общем случае это утилита для организации двунаправленных потоков передачи данных. При этом поддерживается большое количество типов потоков: файлы, пайпы, сокеты (unix, сетевые), различные устройства, в том числе консольного ввода. Это делает утилиту socat применимой в очень широком диапазоне ситуаций.

Самый простой пример использования socat аналогично telnet. Передаём данные с консоли ( - ) на какой-то сервис (smtp.yandex.ru:25). Например, почтовый сервер:
# socat - TCP4:smtp.yandex.ru:25
Попробуем пообщаться:
helo serveradmin.ru
mail from:<[email protected]>
Получаем ошибку:
503 5.5.4 Error: send AUTH command first.
Всё четко. Без аутентификации отправка невозможна. Примерно таким образом сервисы или вы лично можете убедиться в том, что ваш почтовый сервер не станет общедоступным релеем для рассылки спама.

А вот пример использования socat для перенаправления локальных запросов к порту 8080 на удалённый веб сервер:
# socat TCP4-LISTEN:8080 TCP4:10.20.1.25:80
Теперь можно тут же локально обратиться на удалённый веб сервер:
# curl localhost:8080 -L -H "Host: serveradmin.ru"

Для того, чтобы после единичного подключения поток не прерывался, надо добавить немного опций:
# socat TCP4-LISTEN:8080,fork,reuseaddr TCP4:10.20.1.25:80

Так как поддерживаются различные типы потоков, то по аналогии можно в качестве приёмника или источника данных указать unix сокет. Например, вот так:
# socat TCP-LISTEN:3307,reuseaddr,fork UNIX-CONNECT:/run/mysqld/mysqld.sock
Это может пригодится, если вы, к примеру, запустили mysql сервер с доступом к нему только через unix сокет, но при этом хотите разово, а может и не разово, подключиться к нему по сети. Но при этом не можете изменить конфигурацию сервера и перезапустить его. Теперь можно проверить соединение через тот же socat или telnet:
# telnet 172.23.92.42 3307

Причём эту идею можно развить дальше. Берём какой-то тестовый веб сервер, с которого мы хотим подключаться к удалённому mysql серверу, но при этом точно так же, как будто он локальный. Для этого, как показано выше, на сервере с mysql открываем доступ к сокету по сети, а на удалённом сервере создаём локальный unix socket:
# socat UNIX-LISTEN:/run/mysqld/mysqld.sock,fork,reuseaddr,unlink-early,user=mysql,group=mysql,mode=777 \
TCP:172.23.92.42:3307
Получили сокет mysql от удалённого сервера, как будто он локальный. С теми же правами доступа и владельцем.

Таким образом можно создавать очень замысловатые связки. Конечно, в проде такое использовать не имеет смысла. А нужно в основном в момент отладки, или в тестовых окружениях.

Это всего лишь несколько прикладных примеров с socat. Умеет он гораздо больше. Например, отправлять широковещательные сетевые запросы. Возможно, разовью ещё эту тему в отдельных заметках.

#linux #terminal

​​Задача проверки и регулярного мониторинга за скоростью интернет канала нетривиальна. На первый взгляд кажется, что технически особых проблем нет. Можно придумать какой-то скрипт, который будет регулярно проверять скорость канала и отправлять результат в систему мониторинга.

❓Но когда начинается практическая реализация, возникает множество нюансов. Например, откуда будем что-то скачивать для определения скорости? Как часто будем делать проверки? Какой приоритет будем отдавать этим проверкам? Если максимальный, то у остальных пользователей интернета всё будет тормозить во время тестов. Если минимальный, то что мы в итоге измерим, если в данный момент канал будет загружен чем-то другим?

В итоге мы можем получить набор каких-то значений, с которыми непонятно, что дальше делать, так как невозможно точно понять, что же мы намерили. Тормозить может как наш канал по разным причинам, так и внешний источник, с которым мы делаем проверки. Если использовать публичные сервисы, то провайдеры часто дают к ним максимальный приоритет и скорость, так что тесты всегда будут хорошие.

У меня как-то была задача организовать регулярную проверку скорости интернет канала на сотне филиалов распределённой сети. Я сначала согласился и взял время на подумать. А когда начал продумывать реализацию, понял, что не знаю, как всё это красиво сделать. И имеет ли вообще смысл всё это делать. Изложил свои доводы заказчику и он в итоге отказался от подобного мониторинга. Я объяснил, что проверки сделать смогу, но какие решения он будет принимать на основе этих данных с учётом всех перечисленных нюансов?

✅ Если у вас встанет подобная задача, могу порекомендовать готовый сервис для регулярных проверок, который вы можете развернуть у себя — Speedtest-Tracker. Это обёртка над Ookla's speedtest cli, где бэкенд написан на Laravel (PHP), а фронт на React.

Speedtest-Tracker запускается в докер. Делает регулярные проверки скорости и отправляет уведомления в Telegram/Slack/Discord. Можно посмотреть историю проверок. Всё управление и настройка через браузер. Есть интеграция с healthchecks.io и возможность хранения результатов в Influxdb.

Если захотите сами что-то наколхозить по этой теме, то возьмите упомянутый конcольный клиент speedtest. Другой вариант — воспользоваться iperf. С ним получится более предсказуемый и управляемый результат, но вся инфраструктура для тестов должна быть своя.

Если решали подобную задачу, особенно в какой-то распределённой сети, поделитесь идеями по реализации.

#network