🔥 Дайджест полезных материалов из мира Devops за неделю

Почитать:
— Каталог данных — почему без него непросто и как всё организовать с максимальной пользой
— MLOps на примере прогноза движений акций с помощью MLRun
— Сравнение методов веб-скрепинга для данных Википедии: Beautiful Soup против WikipediaAPI
— Перенос Docker на другой диск в Windows
— Почему инфраструктура big tech обычно состоит из самописных решений
— Илья Поляков: как мы выявили уязвимость в 6 версиях FortiNAC и получили за это премию Pentest Awards
— Запускаем новые GitLab Auto-scaling раннеры в Yandex Cloud
— От технарей — для технарей: как я заглянул в будущее на конференции SmartDev 2023
— Prometheus + Loki + Grafana: отслеживаем состояния k8s и запущенных в нём приложении
— Учимся бесплатно деплоить Java (и не только) приложения (Docker, CircleCI, Google Cloud)
— Automating Python Deployments with GitHub Actions, AWS ECR, and AWS Lambda
— Your Daily CVE Reminder 🦸🏻‍♀️
— K8s Exercise: Part 2
— Getting ready for AWS re:Invent 2023
— What are the benefits of using Java enterprise solutions?
— Easy Baking with OpenTofu and Terragrunt: A Simple Guide
— Deploying and Securing Your Node.js App on a DigitalOcean Droplet: A Comprehensive Step-by-Step Deployment Guide with SSL.
— Introducing Dev Container Support in CodeSandbox
— Pune AWS Community Day 2023 Chronicles
— Testing Application Resilience: How to Stop Amazon ElastiCache Cluster and Manage Traffic

Посмотреть:
🌐 Что такое RAID 0? #raid0 #raid (⏱ 00:32)
🌐 Chatgpt, Bard , Claude, Theb - используй API лучших нейросетей бесплатно и без ВПН на Python. (⏱ 05:23)
🌐 NLP практика. Определяем тональность текста при помощи NLTK и DL (⏱ 19:37)
🌐 Django шаблонизация и маршрутизация (⏱ 09:11)
🌐 Задача, которая очень часто встречается на собеседованиях #python (⏱ 00:59)
🌐 Решение непростой задачи с Leetcode, часто всплывает на собеседования #pythontutorial (⏱ 00:59)
🌐 Хитрая задача с собеседования #Python (⏱ 00:59)
🌐 DevOps SRE стрим. Октябрь. Ответы на вопросы. (⏱ 01:20:35)

Хорошего дня!

@DevOPSitsec

⚡ Бесплатные сертификационные курсы для начинающих специалистов по кибербезопасности:

🔸 Компьютерная криминалистика
https://edx.org/course/computer-forensics

🔸 Введение в этический хакинг
https://mygreatlearning.com/academy/learn-for-free/courses/introduction-to-ethical-hacking

🔸 Введение в информационную безопасность
https://mygreatlearning.com/academy/learn-for-free/courses/introduction-to-information-security

🔸 Киберкриминалистика
https://edx.org/course/computer-forensics?index=product&queryID=51787be79abc40fcdf6a4ec25112e541&position=7

🔸 Киберпреступность
https://olympus.mygreatlearning.com/courses/85207

🔸 Сертификация в области кибербезопасности
https://isc2.org/Certifications/CC

🔸 Сетевая безопасность
https://olympus.mygreatlearning.com/courses/70951

🔸 Cybersecurity Essentials
https://netacad.com/courses/cybersecurity/cybersecurity-essentials

🔸 Основы кибербезопасности
https://edx.org/course/cybersecurity-basics

🔸 Введение в киберпреступность
https://simplilearn.com/free-cybercrime-course-for-beginners-skillup

🔸 Сетевая безопасность - OpenLearn
https://open.edu/openlearn/science-maths-technology/computing-ict/network-security?active-tab=description-tab

🔸 Безопасность предприятий и инфраструктуры
https://coursera.org/learn/enterprise-infrastructure-security

🔸 Обнаружение и устранение киберугроз в режиме реального времени
https://coursera.org/learn/real-time-cyber-threat-detection

🔸 Тестирование на проникновение - обнаружение уязвимостей
https://edx.org/course/penetration-testing-discovering-vulnerabilities

🔸 Основы этического хакинга
https://codered.eccouncil.org/course/ethical-hacking-essentials

🔸 Основы сетевой защиты
https://codered.eccouncil.org/course/network-defense-essentials

🔸 Основы цифровой криминалистики
https://codered.eccouncil.org/course/digital-forensics-essentials

🔸 Android Bug Bounty Hunting
https://codered.eccouncil.org/course/android-bug-bounty-hunting-hunt-like-a-rat

🔸 Аппаратные проекты с использованием Raspberry Pi
https://codered.eccouncil.org/course/hardware-projects-using-raspberry-pi

🔸 Введение в Raspberry Pi
https://codered.eccouncil.org/course/introduction-to-raspberry-pi

🔸 Атаки с использованием SQL-инъекций
https://codered.eccouncil.org/course/sql-injection-attacks

🔸 Введение в кибербезопасность
https://netacad.com/courses/cybersecurity/introduction-cybersecurity

@DevOPSitsec

Python и DevOps. Ключ к автоматизации Linux
Автор: Ной Гифт, Григ Георгиу

Практическое руководство научит использовать Python для повседневных задач администрирования Linux.
#python #linux

📕 Книга

Devops библиотека

🐋Как работает Docker? Остается ли Docker актуальным?

Архитектура Docker состоит из трех основных компонентов:

🔹 Docker Client
Это интерфейс, через который осуществляется взаимодействие с пользователями. Он взаимодействует с демоном Docker.

🔹 Docker Host
Здесь демон Docker принимает запросы Docker API и управляет различными объектами Docker, включая образы, контейнеры, сети и тома.

🔹 Реестр Docker
Здесь хранятся образы Docker. Например, широко используется публичный реестр Docker Hub.

@DevOPSitsec

🔬Одна картинка вместо тысячи слов: 9 лучших практик разработки микросервисов.

При разработке микросервисов необходимо следовать следующим лучшим практикам:

1. Использовать отдельное хранилище данных для каждого микросервиса
2. Поддерживать код всех компонентов системы.
3. Отдельная сборка для каждого микросервиса
4. Отдельные права для каждого микросервиса
5. Развертывание в контейнеры
6. Проектирование сервисов без статических данных
7. Переход к доменно-ориентированному проектированию
8. Проектирование микрофронтенда
9. Оркестрирование микросервисов

@DevOPSitsec

🔥 Дайджест полезных материалов из мира Devops за неделю

Почитать:
— Подходы к автоматизации создания окружений для R&D-команд
— Анализ вакансий ИТ в Москве: системное администрирование, 2023г
— Существуют ли джуниор-DevOps-инженеры и почему их ищут
— Вышел релиз GitLab 16.4 с настраиваемыми ролями и списком зависимостей для групп
— MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I
— Установка Deckhouse в kind: пробуем K8s-платформу на ноутбуке — без серверов и облаков
— Магия внедрения сервисного подхода DevOps. Развиваем культуру коммуникации и разработки в компании
— Nmap: сканирование портов
— Как я использовал тематическое разделение доступа для создания веб-приложения
— Azure pipeline
— Build and test a Golang app with Gitness
— PagerDuty Community Update, October 20 2023
— AI-Based Engagements: The Future of Human-Computer Interaction
— Turbocharge Your Debugging with Skyramp's Hot Code Reload
— Proxy Reverso com Apache2
— Are Apple App Association Files Risky?
— Event Driven ec2: Create ec2 instances using Lambda with Terraform
— Expert Insights into Flutter App Development (Part # 01)
— 🐋 How to use the Docker Exec command?

Посмотреть:
🌐 Что такое RAID 1? #raid #raid1 (⏱ 00:21)
🌐 RAID 5: Баланс скорости и надежности (⏱ 00:41)
🌐 Пишем телеграм бота для скачивания #yotube видео (⏱ 20:41)
🌐 Алгоритм бинарного поиска на #C++ (⏱ 00:59)
🌐 Очередь с приоритетом разбор задачи на #C++ (⏱ 01:00)
🌐 Задача на поиск числа с leetcode на С++ (⏱ 01:00)
🌐 Задача с #leetcode решаем на #golang (⏱ 00:32)
🌐 Разбор задачи на содержание массива #С++ (⏱ 00:59)
🌐 Django гайд по формам (⏱ 10:32)

Хорошего дня!

@DevOPSitsec

🆓 БЕСПЛАТНЫЕ курсы от Microsoft, которые помогут вам начать карьеру в области Python, Data Science и Machine Learning.

1. ИИ для начинающих

Получите базовое представление о том, что такое изучение искусственного интеллекта.
- Терминологии
- Основы НЛП
- Основы компьютерного зрения

2. Наука о данных для начинающих

Охватывает и помогает освоить:
- Основы науки о данных и этика
- Статистика
- SQL И NOSQL
- Подготовка и визуализация данных
- Анализ данных
- Полный жизненный цикл науки о данных

3. Машинное обучение для начинающих

Охватывает и помогает освоить:
- Различные методы ML
- Создание первого ML-проекта - от сбора данных до создания веб-приложения для обученной модели
- Техники НЛП
- Временные ряды
- Обучение с подкреплением

Основные команды #docker

@DevOPSitsec

🔥 Дайджест полезных материалов из мира Devops за неделю

Почитать:
— Gitea & Act Runner: First touch
— Книжный кружок. Рецензия на книгу «Микросервисы от архитектуры до релиза»
— Grafana Beyla: автоинструментарий eBPF с открытым исходным кодом для наблюдения за приложением
— Что такое API-шлюзы и Gateway API и почему за ними будущее нативных облачных приложений
— Управление Linux-сервером — самая ценная инвестиция
— Airflow в Kubernetes. Часть 1
— Чтение на выходные: DIY-материалы о контейнерах, DevOps и архитектуре — личный опыт напрямую от специалистов
— Практическое руководство по созданию Helm чарта или как избавиться от рутины при работе с YAML манифестами
— A Comprеhеnsivе Guidе to DеvOps Job Support
— K8s Exercise : Labels and Annotations
— Cracking the Code: Communicating Tech to Non-Tech
— DevOps CI/CD Quick Start Guide with GitHub Actions 🛠️🐙⚡️
— PagerDuty Community Update, October 27 2023
— Experimenting on the Edge with Turso and Go 🧪
— Docker Basics: A Beginner's Guide to Containerization
— An Easy Way to Understand Docker
— 2023 DevOps is Terrible: Unpacking the Evolution into Platform Engineering
— New Blackfire.io feature: On-demand distributed profile processing 😎

Посмотреть:
🌐 RAID 10: Совершенное объединение (⏱ 00:52)
🌐 Прогнозирование цены биткоина при помощи VAR, XGBoost, FB Prophet (⏱ 20:29)
🌐 Django настройка админки (⏱ 06:55)
🌐 Задача на палиндром строки на C++ (⏱ 00:59)
🌐 Django расширяем функционал! (⏱ 07:03)
🌐 ДевОпс блиц, практика. СОБЕСЕДОВАНИЕ Middle DevOps инженера. Часть 4. (⏱ 52:38)

Хорошего дня!

terragrunt-brownfield

Пример модуля, демонстрирующего возможность скриптового импорта существующих ресурсов и встраивания скриптов-хуков в модули

Пример


include {
path = "global.hcl"
}

terraform {
source = "..//."

before_hook "import" {
commands = ["apply", "plan"]
execute = ["./import-resources-into-tfstate.sh", get_terraform_command()]
}
}

inputs = {
resource_group_name = "terratest-abcd"
location = "uksouth"
}


https://github.com/simonmcc/terragrunt-brownfield

Как устроены языки C++, Java и Python?

▪️Компилируемые языки, такие как C++ и Go, перед выполнением преобразуют исходный код в машинный код с помощью компилятора. Скомпилированный машинный код затем может непосредственно выполняться процессором.

▪️Java сначала компилирует исходный код в байткод, который не зависит от платформы и выполняется виртуальной машиной Java (JVM). JVM может дополнительно повысить производительность, используя компиляцию Just-In-Time (JIT) для преобразования байткода в машинный код во время выполнения.

▪️Интерпретируемые языки, такие как Javascript и Ruby, не подвергаются компиляции. Вместо этого их код построчно обрабатывается интерпретатором во время выполнения. Однако современные движки JavaScript, такие как V8, также используют JIT-компиляцию для повышения производительности.

▪️Python представляет собой смесь двух миров. Сначала исходный код компилируется в платформонезависимый байткод, который затем построчно выполняется платформонезависимым интерпретатором. Кроме того, такие реализации, как PyPy, используют JIT-компиляцию для повышения скорости работы.

В целом компилируемые языки обладают преимуществами в скорости, однако благодаря современным методам оптимизации грань между компилируемыми и интерпретируемыми языками становится все более размытой.

⚙ Configu

Полезный проектом с открытым исходным кодом, который набирает обороты в сообществе DevOps 🏆.

Я использовал этот проект для бесшовного развертывания WordPress, используя подход "конфигурация, вместо код". 🔥

Configu - это простой, современный и универсальный стандарт для управления и совместной работы с конфигурациями программного обеспечения ⚙️.

📌 Github
📌 Проект

@DevOPSitsec

Практически каждый инженер-программист использует Git, но лишь немногие знают, как он работает.

Для начала необходимо определить, где хранится наш код. Принято считать, что их всего два - на удаленном сервере типа Github и на нашей локальной машине. Однако это не совсем верно.

Git поддерживает три локальных хранилища на нашей машине, что означает, что наш код может быть найден в четырех местах:

- Рабочая директория: место, где мы редактируем файлы
- Staging area: временное место, где файлы хранятся до следующей фиксации
- Локальный репозиторий: содержит код, который был зафиксирован
- Удаленный репозиторий: удаленный сервер, на котором хранится код.

Большинство команд Git в основном перемещают файлы между этими четырьмя местами.

@DevOPSitsec

⚡️ Бесплатные сертификационные курсы от Google:

1. Изучайте программирование на JavaScript
https://learndigital.withgoogle.com/digitalgarage/course/learn-programming-with-javascript

2. Курс по Python от Google
https://developers.google.com/edu/python

3. Краткий курс по машинному обучению
https://learndigital.withgoogle.com/digitalunlocked/course/machine-learning-crash-course

4. Основы цифрового маркетинга
https://learndigital.withgoogle.com/digitalgarage/course/digital-marketing

5. Наука о данных с помощью Python
https://learndigital.withgoogle.com/digitalunlocked/course/data-science-with-python

6. Основы облачных вычислений Google
https://cloudskillsboost.google/course_templates/153

7. Введение в Google Cloud Essentials
https://cloudskillsboost.google/quests/23

8. Введение в базовый уровень: Данные, ML, AI
https://cloudskillsboost.google/quests/34

@DevOPSitsec

🤖🧠 Машинное обучение в двух словах

Алгоритмы машинного обучения обладают одной суперспособностью - способностью обобщать закономерности в данных без явного программирования. В рамках этого направления существует несколько основных методов:

📌 𝐄𝐧𝐬𝐞𝐦𝐛𝐥𝐞 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠: объединяет несколько моделей вместе для улучшения прогнозов. Представьте, что это суперпрогноз, состоящий из различных моделей погоды, которые работают лучше друг друга.

📌 𝐔𝐧𝐬𝐮𝐩𝐞𝐫𝐯𝐢𝐬𝐞𝐝 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠: алгоритмы находят скрытые закономерности и группировки в немаркированных данных.

📌 𝐍𝐞𝐮𝐫𝐚𝐥 𝐧𝐞𝐭𝐰𝐨𝐫𝐤𝐬 𝐚𝐧𝐝 𝐝𝐞𝐞𝐩 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠: являются двумя наиболее мощными методами машинного обучения. Нейронные сети, созданные на основе человеческого мозга, состоят из слоев взаимосвязанных узлов. Глубокое обучение - это тип машинного обучения, в котором используются нейронные сети с большим количеством слоев.

📌 𝐒𝐮𝐩𝐞𝐫𝐯𝐢𝐬𝐞𝐝 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠:использует размеченные данные для обучения моделей предсказания результатов. Это все равно что иметь ключ к ответу для проверки своей работы.

📌 𝐑𝐞𝐢𝐧𝐟𝐨𝐫𝐜𝐞𝐦𝐞𝐧𝐭 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠: речь идет об оптимизации решений путем проб и ошибок и получения обратной связи, подобно тому, как мы учимся на своих ошибках.

@DevOPSitsec