👨‍💻 Вопросы по DevOps.

• В этой объемной статье, которая рассчитана на 75 минут чтения, рассматриваются такие вещи, как сеть, HTTP, операционная система, виртуализация, хранилище etc., а также несколько технологий, используемых в сфере DevOps, таких как Prometheus, OpenStack, Puppet, Elastic etc. Материал будет очень полезен для прохождения собеседований.

- Сеть;
- HTTP;
- Операционная система;
- Виртуализация;
- Хранилище;
- Распределенные системы;
- Системный дизайн;
- Аппаратное обеспечение;
- Большие данные;
- Разное;
- Go;
- SQL;
- MongoDB;
- Prometheus;
- OpenStack;
- Puppet;
- Elastic;
- Packer.

#DevOps #SysOps

👨‍💻 System Design 101.

• В данной шпаргалке рассматриваются такие вещи, как протоколы коммуникации, DevOps, CI/CD, архитектурные паттерны, базы данных, кэширование, микросервисы (и монолиты), платежные системы, Git, облачные сервисы etc. Особую ценность представляют диаграммы — рекомендую уделить им пристальное внимание:

• Протоколы:
- REST и GraphQL;
- gRPC;
- Webhook;
- Производительность API;
- HTTP 1.0 -> HTTP 1.1 -> HTTP 2.0 -> HTTP 3.0 (QUIC);
- SOAP, REST, GraphQL и RPC;
- Сначала код и сначала API;
- Коды статусов HTTP;
- Шлюз API;
- Эффективное и безопасное API;
- Инкапсуляция TCP/IP;
- Почему NGINX называют "обратным" прокси?
- Алгоритмы балансировки нагрузки;
- URL, URI и URN.

• CI/CD:
- CI/CD простыми словами;
- Технический стек Netflix (конвейер CI/CD).

• Архитектурные паттерны:
- MVC, MVP, MVVM, MVVM-C и VIPER;
- 18 основных архитектурных паттернов.

• База данных:
- 8 структур данных, улучшающих работу баз данных;
- Выполнение инструкции SQL в базе данных;
- Теорема CAP;
- Типы памяти и хранилищ данных;
- Визуализация запроса SQL;
- Язык SQL.

• Кэш:
- Кэширование данных;
- Причины высокой производительности Redis;
- Случаи использования Redis;
- Стратегии кэширования.

• Микросервисная архитектура:
- Типичная микросервисная архитектура;
- Лучшие практики микросервисов;
- Типичный технический стек микросервисов;
- Причины высокой производительности Kafka.

• Платежные системы:
- Почему кредитную карту называют "самым выгодным продуктом банка"? Как VISA/Mastercard делают деньги?
- Принцип работы VISA.

• DevOps:
- DevOps, SRE и Platform Engineering;
- Что такое Kubernetes?
- Docker и Kubernetes;
- Принцип работы Docker.

• Git:
- Принцип работы команд Git;
- Принцип работы Git;
- Git merge и git rebase.

• Облачные сервисы:
- Популярные облачные сервисы по состоянию на 2023 год;
- Облачная нативность.

• Инструменты, повышающие продуктивность разработки:
- Визуализация файлов JSON;
- Автоматические преобразование кода в архитектурные диаграммы.

• Linux:
- Файловая система Linux;
- 18 основных команд Linux.

• Безопасность:
- Принцип работы HTTPS;
- OAuth 2.0 простыми словами;
- 4 наиболее распространенных механизмов аутентификации;
- Сессия, куки, JWT, SSO и OAuth;
- Безопасное хранение паролей в базе данных и их валидация;
- JWT (JSON Web Token) простыми словами;
- Принцип работы Google Authenticator и других типов двухфакторной аутентификации.

• Реальные системы:
- Технический стек Netflix;
- Архитектура Twitter по состоянию на 2022 год;
- Эволюция архитектуры Airbnb в течение последних 15 лет;
- Монорепозиторий и микрорепозитории.

#DevOps #SysOps

👨‍💻 OWASP DevSecOps Guideline.

• DevSecOps можно рассматривать в качестве апдейта методологии #DevOps: подход подразумевает не расширение классического пайплайна DevOps, а только интеграцию в него методов безопасности. При этом, согласно DevSecOps, к циклу разработки подключаются специалисты по информационной безопасности, которые гарантируют, что:

- Реализуемые решения не противоречат требованиям ИБ и регламентам компании;
- В конфигурации нет уязвимых мест;
- Все компоненты системы имеют актуальные патчи, корректно настроены;
- Разработана эксплуатационная документация в контексте ИБ.

• Согласно практике DevSecOps, о безопасности разработки нужно начинать думать еще на этапе планирования будущего продукта. В противном случае может возникнуть ситуация, когда, например, код написан идеально, но в техническом дизайне не исключена возможность пользователей назначать себе привилегированные права, что полностью нивелирует любые дальнейшие меры безопасности.

• Есть несколько подходов и рекомендаций, определяющих нормы внедрения DevSecOps-принципов в процесс разработки. Одним из базовых фолиантов в этом контексте является DevSecOps Guideline от OWASP — формируемое сообществом руководство, которое поясняет, как правильно выстроить процесс безопасной разработки и выявлять любые проблемы на ранних стадиях их возникновения.

https://github.com/OWASP/DevSecOpsGuideline/

#DevSecOps

📋 Disaster Recovery Plan: Как правильно заваривать чай, когда горит серверная.

• В жизни любого проекта наступает катастрофа. Мы не можем заранее знать, что именно это будет - короткое замыкание в серверной, инженер, дропнувший центральную БД или нашествие бобров. Тем не менее, оно обязательно случится, причем по предельно идиотской причине.

• Кстати, насчет бобров - это не шутка. В Канаде они перегрызли кабель и оставили целый район без оптоволоконной связи. А в топе источника проблем для крупной телекоммуникационной компании Level 3 Communications вообще были белки.

• Короче, рано или поздно, кто-то обязательно что-то сломает, уронит, или зальет неверный конфиг в самый неподходящий момент. И вот тут появляется то, что отличает компании, которые успешно переживают фатальную аварию от тех, кто бегает кругами и пытается восстановить рассыпавшуюся инфраструктуру - DRP. Вот о том, как правильно написать Disaster Recovery Plan мы сегодня и поговорим:

➡️ Читать статью [10 min].

#DevOps

📶 Создаём виртуальную сеть, как это делает Docker.

• Как известно, #Docker умеет создавать виртуальные сети для безопасного и удобного сетевого взаимодействия внутри контейнеров. В этой статье мы рассмотрим, как именно он это делает на примере базовых манипуляций с сетью в рамках одного хоста с операционной системой #Linux.

• По итогу мы получим:

- http-сервер, запущенный в изолированном сетевом пространстве;
- Доступ к этому серверу по порту 8000 из loopback (localhost) интерфейса хоста;
- Перенаправление пакетов от других машин по tcp порту 8000 в наш http-сервер.

➡️ Читать статью [10 min].

• Дополнительный материал: в этой статье автор рассказывает о том, как работает сеть в контейнерах и разбирает следующие вопросы:

- Как виртуализировать сетевые ресурсы, чтобы контейнеры думали, что у них есть отдельная сетевая среда?
- Как превратить контейнеры в дружелюбных соседей и научить общаться друг с другом?
- Как выйти во внешний мир (например, в Интернет) изнутри контейнера?
- Как связаться с контейнерами, работающими на хосте Linux, из внешнего мира?
- Как реализовать публикацию портов, подобную Docker?

➡️ Ссылка на статью [25 min].

#Сети #DevOps #Docker

👨‍💻 Attacking Pipeline.

• DevOps resources compromise;
• Control of common registry;
• Direct PPE (d-PPE);
• Indirect PPE (i-PPE);
• Public PPE;
• Changes in repository;
• Inject in Artifacts;
• User/Services credentials;
• Typosquatting docker registry image;
• Resources.

#DevOps #DevSecOps

👩‍💻 Материал для освоения и закрепления базовых навыков по настройке и управлению Linux.

• Настройка и управление Linux-сервером на своём собственном железе/хостинге становится вымирающим видом искусства. На самом деле это крайне полезный профессиональный скилл. Основы администрирования Linux и огромная библиотека софта для установки на своём сервере — одна из самых полезных вещей, которые может освоить девопс и разработчик, особенно в начале карьеры. Эти знания открывают целый новый мир возможностей. Они дают понимание, как всё работает на самом деле, как использовать железо с максимальной эффективностью.

• Для освоения и закрепления базовых навыков можно рекомендовать следующие ресурсы:

- Книга «Эффективная консоль»;
- Руководство по безопасности Linux-сервера;
- Упражнения для девопсов (сейчас 2624 упражнений и вопросов). Наверное, полезно также при подготовке к собеседованиям;
- Управление Linux, подборка репозиториев на Github;
- ++ 101 Linux commands - книга (CheatSheet) для изучения командной строки Linux;
- Удобный "справочник" по любой команде в Linux.

• Управление Linux-сервером — это базовый навык, который останется актуальным спустя годы и десятилетия. Скорее всего, на протяжении всей вашей карьеры. #Bash, #SSH, nginx/Apache и даже сам Linux — ничто из этого не устареет в обозримом будущем. Подумайте, что ещё такого долговечного есть в IT-индустрии? Чем раньше освоить эти инструменты — тем лучше.

#Linux #DevOps

👩‍💻 Бесплатный курс: Docker для начинающих + практический опыт.

• Курс разделен на девять модулей, всего — 44 урока, 76 тестов и 3,5 часа видео. С помощью упражнений можно практиковаться в Docker Compose, командах Docker, разработке образов с использованием Dockerfiles. Среди прочих тем — Docker Compose и создание стека приложений с его использованием, Docker Swarm и Docker Registry. Курс предназначен для новичков в #DevOps.

➡️ https://stepik.org/course/123300/

• Дополнительно:

- Шпаргалка с командами Docker;
- Play with Docker — онлайн-сервис для практического знакомства с Docker;
- Docker Security - объемное руководство по безопасной настройке Docker.

#Docker #Курс

👨‍💻 DevOops 2023.

• На YT появились доклады с DevOops 2023 - конференции по инженерным решениям и DevOps-культуре. Список докладов следующий:

• Security:
- GitOps с точки зрения безопасности;
- Как мы захотели автоматизировать Vault CE и во что его в итоге превратили;
- Безопасность контейнеров в 2023 году. Тренд или необходимость? (VK / VK Cloud);
- Токсичные репозитории. Что сейчас происходит с open source?
- Network Policy для разработчиков: как, зачем и почему;
- Прорастить или насадить? Руководство по выращиванию политик безопасной разработки;
- (Не)стандартный подход к моделированию Supply Chain Attack;
- Безопасность: консультативная vs запрещающая;
- Защищаем Kubernetes при помощи StackRox — дешево, сердито, эффективно?
- Security для бедных без ущерба для DevEx.

• K8s:
- Очумелые ручки: делаем свой Helm Chart Repository из подручных средств;
- Скрывая Kubernetes: подходы к конфигурированию;
- Stateful в K8s, которого мы боимся;
- Использование Helm без написания Helm-чартов;
- Сказка о рулевом и прорехах в пиджаке: как защитить K8s;
- Через тернии к Kubernetes operators;
- Побег из курятника контейнера;
- 7 раз отмерь, а потом переделай: как мы храним сетевые политики;
- Развертывание инфраструктуры в облаках с NOVA Container Platform.

#DevOps #Kubernetes

👨‍💻 Roadmap для тех, кто собирается в DevOps.

• Многие, кто изучают DevOps, ориентируются на Roadmap.sh. Это классный ресурс, который помогает понять, какие компетенции нужно приобрести в профессии. Но в нём очень много информации, начинающие специалисты рискуют утонуть в деталях.

• Более оптимальный роадмап можно найти на хабре. Он разбит на уровни, фокусирует внимание на том, что в первую очередь понадобится для старта и роста в профессии и содержит ссылки на наши платные и бесплатные курсы. Статья будет полезна разработчикам и системным администраторам, которые хотят перейти в DevOps.

➡️ https://habr.com/ru/post/773618

#DevOps #Roadmap

👩‍💻 DevOps Bash tools.

• Добавляем в нашу коллекцию еще один репозиторий для изучения Bash, содержащий в себе более 1000 скриптов, которые могут оказаться полезными для DevOps и не только — AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Code/Build Linting, pkg mgmt для Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, .bashrc, .vimrc, .gitconfig, .screenrc, tmux...

➡️ https://github.com/HariSekhon/DevOps-Bash-tools

• Дополнительный материал:

- Бесплатный практический курс по Bash;
- Bash Tips and tricks;
- Малоизвестные трюки с перенаправлениями в bash;
- Bash-скрипты, руководство в 11 частях;
- Introduction to Bash Scripting;
- Bash Prompt Generator;
- Bash Cheat Sheet: Tips and Tricks for the Terminal;
- Bash Introduction for Hackers.

#bash #DevOps

👨‍💻 Подборка бесплатных курсов по DevOps и Cloud.

➡Основы программирования для Linux;
➡Основы Linux;
➡Бесплатный онлайн-курс DevOps;
➡GIT;
➡Docker;
➡Azure;
➡Специализация Python Scripting for DevOps;
➡Kubernetes;
➡Jenkins;
➡Chef;
➡Cloud Computing.

#DevOps #Cloud #Курс

👩‍💻 Secret Docker Commands.

• Небольшое видео о полезных и продвинутых командах Docker, которые обычно не встречаются в документации. Держу пари, что Вы точно откроете для себя что-то новое и полезное.

➡02:23 - Manage Docker Resources;
➡05:11 - Remote Docker Servers;
➡07:05 - Copy Files;
➡08:03 - Troubleshoot Logs;
➡10:36 - Troubleshoot Network.

➡️ https://youtu.be/tNBwddCczK8

• Кстати, у автора этого видео есть очень крутой репо (4к🌟), который содержит огромное кол-во полезных команд: https://github.com/ChristianLempa/cheat-sheets/blob/main/tools/docker.md

• Дополнительно:

➡Шпаргалка с командами Docker;
➡Play with Docker - онлайн-сервис для практического знакомства с Docker;
➡Docker для начинающих + практический опыт - бесплатный курс, который состоит из 44 уроков, 76 тестов и 3,5 часа видео;
➡Docker Security - объемное руководство по безопасной настройке Docker.

#Docker #DevOps