Vertica: установка и запуск на AWS EC2

Vertica – сервер баз данных для аналитиков, рассчитанный на большие объёмы данных. Задача на сейчас – запустить Proof of Concept инстанс Vertica на AWS EC2, что бы посмотреть как она вообще сетапится и дать потестить дата-аналитикам. Обладает достаточно неплохой документацией. AWS Проверяем список инстансов, на которых можно запустить Vertica тут>>>. Находим AMI: Используем минимальный инстанс…

https://rtfm.co.ua/vertica-ustanovka-i-zapusk-na-aws-ec2/

Jenkins: SAML Authentication через Okta и группы пользователей

SAML – Secure Assertion Markup Language. – используется для распределённой авторизации (federated authentication), когда сервис, к которому требуется получить доступ (Service Provider), обращается к другому сервису (Identity Provider) для того, что бы выполнить эту авторизацию. См. документацию тут>>>. Service Provider (SP): система, в которой требуется аутентифиция, в нашем случае это будет Jenkins Identity Provider (idP): система,…

https://rtfm.co.ua/jenkins-saml-authentication-cherez-okta-i-gruppy-polzovatelej/

OpenVPN: ошибки No route to host и ERR_ADDRESS_UNREACHABLE – причина и решение

Имеется OpenVPN сервер. Его установка и настройка описаны в постах OpenVPN: настройка OpenVPN Access Server и AWS VPC peering: OpenVPN сервер расположен в одной AWS VPC, Bitwarden – в другой. Между этими VPC поднят VPC Peering, и OpenVPN должен роутить трафик между клиентом и Bitwarden. Проблема в том, что при доступе к Bitwarden (см. Bitwarden:…

https://rtfm.co.ua/openvpn-oshibki-no-route-to-host-i-err_address_unreachable-prichina-i-reshenie/

Jenkins: SAML, Okta, группы пользователей и Role-Based Security

В продолжение поста Jenkins: SAML Authentication через Okta SSO и группы пользователей – настройка Role-Based Security авторизации в Jenkins, используя группы Okta. Настройка Role-Based Security плагина Устанавливаем плагин Role-based Authorization Strategy: Переходим в Configure Global Security, переключаем авторизацию на Role-Based Strategy: Переходим в Manage and Assign Roles: Создание ролей – Global roles Роли делятся на…

https://rtfm.co.ua/jenkins-saml-okta-gruppy-polzovatelej-i-role-based-security/

AWS: Redshift – быстрый запуск кластера и подключение из SQL-workbench

Наши дата-аналитики наконец-то решились потрогать AWS Redshift вместо MariaDB RDS. Соответственно задача – поднять Proof of Concept кластер Redshift в AWS. Сейчас сделаем быстро, без вникания и рассмотрения деталей, если решение таки пойдёт в Production – то поразбираемся с нюансами. На данный момент нас интересует только выбор типа нод для кластера – Dense Storage или…

https://rtfm.co.ua/aws-redshift-bystryj-zapusk-klastera-i-podklyuchenie-iz-sql-workbench/

Github: SAML Okta – настройка SSO в Github Enterprise Cloud – Organization

В продолжение темы SSO, Okta и SAML. Для Jenkins всё сделано (см. Jenkins: SAML, Okta, группы пользователей и Role-Based Security) – теперь пришёл черёд Github. Идея та же: в Okta держим список пользователей, при логине в Github (наш Service provider, SP) – он должен запросить авторизацию у нашего Identity Provider, IDP – Okta, используя SAML.…

https://rtfm.co.ua/github-saml-okta-nastrojka-sso-v-github-enterprise-cloud-organization/

Okta: интеграция с G-Suite – provisioning, импорт и экспорт пользователей

Продолжаем настраивать Okta для нашего проекта. Этот пост – участник конкурса Ukrainian DevOps Community – UkrOps. Крайне рекомендую присоединяться – очень уютный чатик, очень хорошие люди. Предыдущие посты серии: Okta: настройка SSO для Gmail и Slack Jenkins: SAML Authentication через Okta SSO и группы пользователей Jenkins: SAML, Okta, группы пользователей и Role-Based Security Github: SAML…

https://rtfm.co.ua/okta-integraciya-s-g-suite-provisioning-import-i-eksport-polzovatelej/

Книги

Решил начать собирать в одном месте наиболее интересные книги из моей библиотеки. По категориям, с небольшими комментариями, не все сразу, буду добавлять. Практически все есть в PDF/EPUB, при необходимости можно связаться через группу в Телеграм или форму контактов тут>>>, а в комментариях к этой странице – предлагать и обсуждать книги, которые я упустил. Linux Daniel…

https://rtfm.co.ua/knigi/

dnsmasq: ошибки в AWS – “Temporary failure in name resolution”, логи, дебаг и размер кеша

При использовании AWS VPC периодически сталкиваемся с ошибками вида “php_network_getaddresses: getaddrinfo failed: Temporary failure in name resolution“. Единственный совет от тех. поддержки AWS заключался в установке dnsmasq в роли кеширующего сервиса, но он уже давно установлен – а проблема раз в несколько месяцев проявляется снова. Хотя пост не о том, но из возможных причин пока…

https://rtfm.co.ua/dnsmasq-oshibki-v-aws-temporary-failure-in-name-resolution-logi-debag-i-razmer-kesha/

Arch Linux: package-query: error while loading shared libraries: libalpm.so.11

Пару недель не устанавливал обновления, накопилось чуть больше сотни. Устанавливаются с помощью алиаса в .bashrc: ... alias osupgrade="yaourt -Syua --noconfirm" ...   Ошибка Работает без проблем (yaourt всё-равно под капотом дёргает pacman для пакетов из официального репозитория) уже почти два года, но сегодня апгрейд остановился с ошибками: ...(20/21) Updating the desktop file MIME type cache...(21/21) Updating the MIME type database...package-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directoryNo database errors have been found! Проверяем зависимости пакета package-query: ldd /usr/bin/package-query...libalpm.so.11 => not found... Но файлы…

https://rtfm.co.ua/arch-linux-package-query-error-while-loading-shared-libraries-libalpm-so-11/

What is: SAML – обзор, структура и трассировка запросов на примере Jenkins и Okta SAML SSO

В процессе настройки SAML SSO для Jenkins столкнулся с ошибкой, при которой не передаются часть атрибутов из Okta в Jenkins. Собственно, в этом посте попробуем разобраться с тем, что такое SAML вообще, рассмотрим его архитектуру и компонены, а затем выполним трассировку запросов между Okta и Jenkins, что бы посмотреть какие данные передаются. Т.к. информации очень…

https://rtfm.co.ua/what-is-saml-obzor-struktura-i-trassirovka-zaprosov-na-primere-jenkins-i-okta-saml-sso/

Складывать секстеты в гит в открытом виде достаточно плохо. А в публичный гитхаб — ещё хуже. https://shhgit.darkport.co.uk/ сайт на котором в режиме реального времени публикуют секреты из репозиториев почти сразу после пуша

Grafana: Loki – Prometheus-like счётчики и функции агрегации в LogQL и графики DNS запросов к dnsmasq

Последний раз Loki для сбора и наблюдения за логами настраивал аж в феврале этого (см. Grafana Labs: Loki — сбор и просмотр логов), когда Loki была ещё в beta-версии. Сейчас возникли проблемы с исходящим трафиком (объём за два месяца вырос в 4 раза), никак не можем найти виновника. Как один из вариантов поиска этого самого…

https://rtfm.co.ua/grafana-loki-prometheus-like-schyotchiki-i-funkcii-agregacii-v-logql-i-grafiki-dns-zaprosov-k-dnsmasq/

AWS: RDS обновление Certificate Authority SSL сертификата

Давно уже начали получать письма о том, что надо обновить CA сертификаты, всё было некогда. Пора сделать, выполним на Dev сервере, потом повторим на Staging и Production. Мы используем обычный RDS MariaDB, документация по обновлению тут>>>. Процесс очень простой, занимает несколько минут, особенно, если вы не используете SSL между клиентами и RDS. У нас, например,…

https://rtfm.co.ua/aws-rds-obnovlenie-certificate-authority-ssl-sertifikata/

HTTP: редиректы, POST и GET запросы, и “потерянные” данные

Имеется приложение, которое должно принимать данные через POST-запросы от клиентов. Перед этим приложением имеется некий прокси, неважно какой – AWS Application Load Balancer, NGINX или любой другой. Мы изначально столкнулись с проблемой на AWS ALB, потом я начал тестить на NGINX, что бы искючить влияение самого AWS-сервиса – воспроизводится везде, т.к. не зависит от проксирующей…

https://rtfm.co.ua/http-redirekty-post-i-get-zaprosy-i-poteryannye-dannye/

Nextcloud: запуск в Docker Compose на Debian с SSL от Let’s Encrypt

Недавно потестировал Nexcloud вообще, см. NextCloud: установка сервера на Debian с NGINX и PHP-FPM, и клиента на Arch Linux – в целом понравилось, работает – можно попробовать мигрировать с Dropbox на него. Сегодня запустим Nextcloud полностью в Docker, на сервере с Debian 10 в Digital Ocean. К серверу подключён отдельный диск, на котором будут все…

https://rtfm.co.ua/nextcloud-zapusk-v-docker-compose-na-debian-s-ssl-ot-lets-encrypt/

Linux: Nexctloud клиент, qtkeychain и ошибка “The name org.freedesktop.secrets was not provided by any .service files”

После установки Nextcloud (см. Nextcloud: запуск в Docker Compose на Debian с SSL от Let’s Encrypt), на следующий день его клиент запросил повторную аутентификацию. Но после ввода логина и пароля он сообщает об ошибке: Reading from keychain failed with error: ‘The name org.freedesktop.secrets was not provided by any .service files’ Гугление одним из первых результатов…

https://rtfm.co.ua/linux-nexctloud-klient-qtkeychain-i-oshibka-the-name-org-freedesktop-secrets-was-not-provided-by-any-service-files/

SSH: RSA-ключи и ssh-agent – управление SSH-ключами и их паролями

По ходу настройки keyring для Nextcloud-клиента (см. Linux: Nextcloud клиент, qtkeychain и ошибка «The name org.freedesktop.secrets was not provided by any .service files») – решил навести порядок в своих SSH-ключах, которых много, и аутентификация иногда преврашается в достаточно геморройный процесс. В целом, для упрощения работы можно использовать системное хранилище секретов – gnome-keyring, либо KeeyPassXC, про…

https://rtfm.co.ua/ssh-rsa-klyuchi-i-ssh-agent-upravlenie-ssh-klyuchami-i-ix-parolyami/

Linux: KeePass, SSH и хранение паролей RSA-ключей

В продолжение поста об SSH-ключах и их менеджменте на Linux (см. SSH: RSA-ключи и ssh-agent — управление SSH-ключами и их паролями). Задача заключается в том, что бы упростить работу с ключами, которые требуют ввода пароля для их использования – когда ключей много, то вводить каждый раз пароль может быть реальной головной болью. Одним из вариантов…

https://rtfm.co.ua/linux-keepass-ssh-i-xranenie-parolej-rsa-klyuchej/

Bitwarden: расшаренный MFA для общих аккаунтов Google

Одной из больших проблем при использовании MFA является вопрос с доступом к общим почтовым ящикам. Например, у нас имеется ящик вида [email protected], на который хочется задать TOTP-аутентификацию через Google Authenticator (см. Authy: настройка Multi-Factor Authentication для Github и AWS). Но при этом этим ящиком пользуется несколько человек. Следовательно, что бы у всех одновременно генерировался работащий…

https://rtfm.co.ua/bitwarden-rassharennyj-mfa-dlya-obshhix-akkauntov-google/

What is: Linux keyring, gnome-keyring, Secret Service, и D-Bus

Очень длиннопост получился. Я долго думал – собирать ли всё в одном посте, или всё-таки разбить на несколько, ведь с одной стороны keyrings – это одна тема, D-Bus – другая, а примеры работы с SecretServices – вообще третья. Тем не менее – решил всё-таки оставить в одном, так как со всем этим разбирался по ходу…

https://rtfm.co.ua/what-is-linux-keyring-gnome-keyring-secret-service-i-d-bus/