Deploy a Google-managed certificate with DNS authorization

На вихідних вирішив покрутити трохи GCP, бо давно не мав з ним справ, та і загалом T-shaped дуже добре будувати. Знайшов старий pet-project, і там заекспейрились SSL сертифікати, які б мали реньюватись Certificate Manager-ом, але щось пішло не так.

Знайшов фічу, якій не так багато часу DNS Auth для GCP Certificate Manager:
https://cloud.google.com/certificate-manager/docs/deploy-google-managed-dns-auth#terraform

Виглядає класно, підтикуємо кастомний домен звідки-завгодно, далі CNAME туди ж, з цим рекордом явно нічого не станеться + ще і wildcard можна прикрутити.

Власне, додалось легко, підтвердився овнершип домену швидко, тим паче вайлдкардовий, тільки сам сертифікат потрапив не в Classic Certificates, а в просто Certificates. Ну, думаю, це ж GCP, ладно вже.

Далі дока змусила мене створити certmap і map entry, ізі, і на цьому етапі виявилось що в мене немає кнопки "підтикнути його" в Load Balancer (це взагалі окрема тема, як виходить, в GCP зовсім не канонічні балансери, а набір ресурсів, які роблять щось схоже).

І тут виходить проблема, бо я наче молодець, сертифікат є, а підсунути його в балансер не можу. Покопав погуглив, знайшов що в ресурс google_compute_target_https_proxy передається параметр certificate_map, і має бути ок. Передав, еплайнулось.

І тут новий прикол: бачу, що юзається вже новий стек з domain + dns auth + wildcard cert + certmap + entry. Але, GCP мені в консолі показує чудовий приатачений старий сертифікат, і тільки в сетінгах самого target proxy типу так дуже обережно показує, що там ще є і Certificate Map. Чому так? Загадка.

Далі наступна штука: gce-ingress, який по суті і створював цей LB (точніше, як ми зрозуміли, набір ресурсів, який - є "типу" LB), ролбекнув certmap і залишив старий невалідний сертифікат. Топ.

Зрозуміло, що я пішов дивитись як засунути brand-new bundle в gce-ingress, а там така халепа:
https://github.com/kubernetes/ingress-gce/issues/1692

Тобто, ви НЕ можете передати через анотації, вельюси, вотевер certificate map в gce-ingress.

Ну і самарі, до чого ми прийшли:
➕ GCP зробив круту фічу, яка допоможе згенерити вайлдкардовий сертифікат, підтвердити овнершип домену через CNAME, і не паритись з рефрешем (всі http-based рефреші в мене рано чи пізно відвалювались)
➕ GCP зробив чудовий gce-ingress, який розуміє кастомну реалізацію LB в GCP, і збирає сетап всіх ресурсів в купу, на виході - робочий варіант
➖GCP не підтримує свою фічу 1 в своєму рішенні 2

А в іншому, GCP це мабуть класний клауд 😆

ДевОпси, хто з вас елітний unit, і чим ви дуже proud тудей?

Якщо вас сьогодні не чекає суперове journey, то накидаю вам 3 варіанти:

1) ollama дозволяє запустити натреновану опенсорсну LLM-ку локально, у випадку якщо на роботі вам не можна юзати публічні штуки Amazon Q, або ChatGPT, абощо (лінку закину в коменти)

2) Amazon Bedrock теж запустить опенсорсну LLM-ку в клауді в два кліки, дуже юзабельно якщо пункт 1 не підійшов

3) Приходьте на виступ Віталія Вохміна (наш Research Development Experience TL), ми працюємо в домені ML, то ж я можу точно законфірмити що він дуже потужний (приходьте одразу на нього, бо я ще не починав готувати доповідь лол) 🙂

https://squad.ua/events/kubeflow-plus-devops?utm_source=community&utm_medium=mykolaichenko&utm_campaign=etema_devops_dec2

Все ж зробив презентацію, ось перший слайд: буде або нормально, або дуже тупо, тема KubeFlow буде висвітлена нестандартно, з бек’ярду

Добрий вечір, заварюйте чай, беріть печиво, за 15 хвилин стартуємо 🫵 лінку дублюю в коменти

У всіх WAF + Shield на паблік ендпоінтах?

Щось робимо? Закиньте в чат, де готують відповідь пліз

IaC generator - CDK

Найс, terraformer для AWS CDK (вкрав в робочому чаті). Думаю, це відповідь на gcloud beta resource-config bulk-export, який обговорювали декілька місяців раніше.

Якщо хтось встиг потестити, напишіть два слова в коментарях. В будь-якому випадку, нам в плюс і зайвим не буде 🙂

https://aws.amazon.com/ru/blogs/devops/import-entire-applications-into-aws-cloudformation/

Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" – з фокусом на AI та Data!

🔗 Реєстрація на програму за посиланням!

Новий потік програми стартує 13 лютого та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх кому цікаві хмарні технології.

Учасники програми отримають:

✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost;
✔️доступ до лекцій, воркшопів, карʼєрних консультацій та сесій запитань-відповідей від фахівців Google;
✔️практичний досвід та бейджі Google Cloud, якими можна підкріпити свій профіль LinkedIn;
✔️індивідуальні напрями навчання, зокрема з фокусом на AI та Data;
✔️цінні нагороди від Google;
✔️ваучери на сертифікаційний іспит Google Cloud;

High Middle DevOps, наваліться

Пожартували і вистачить, прямий збір, збирає DevOps з моєї команди + з міста Суми, @rzhyganov (відповідаю головою). Тепер деталі:

- 3 танкова бригада
- Харківський напрямок
- за 3 дні втратили 2 машини (FPV)
- всі живі 🇺🇦
- грузовий бус для транспортування снарядів (більше 1 тони за раз)

Давайте проголосуємо за Суми і Харків гривнею, сума велика, але і ми не просто так за компами сидимо.

Попрацював, задонатив - день не даремно:

https://send.monobank.ua/jar/49VizSxCqw

Вебінари від Svitla Systems (28 та 29 лютого)

🔹 28 лютого - вибір структури Terraform проекту та найкращі підходи до організації репозиторію Terraform.

Спікер: Олександр Сапожніков - Lead of SRE team в Temabit

- Основні типи організації terraform коду
- Плюси та мінуси кожного типу
- Як це використовувати у CI/CD пайплайнах
- Що вибрати?

Реєстрація за посиланням

🔹29 лютого - AWS Fargate

Спікер: Станіслав Коленкін - Head of Cloud Foundation в TemaBit

- основи AWS Fargate
- ключові особливості та переваги використання AWS Fargate
- практичне застосування та випадки використання
- поради для міграції та інтеграції з вашою існуючою інфраструктурою

Реєстрація за посиланням

DOU Day 2024

Добрий вечір,

DOU, великий друг української айтішечки, і України, проведе топову конференцію, коректовану представниками багатьох спільнот, компаній, і бажанням зробити найкращу подію на нашому ринку.

Чому топову конференцію? Тому що там був відбір, як в FAANG. Сотні бажаючих взяти участь, і всього 5 місць на стейдж. Оргкомітет відбирав мега прискіпливо.

Просто зайдіть і подивіться, хто там буде. Я не буду рекламувати, але соромно повинно стати:
- Максиму Іщенку, за те що він створив DOU і Djinni
- Тарасу Чмуту, тут ясно за що
- Олесю Петріву з Reface, за попапи русакам в перші дні війни
- Анастасії Войтовій, за те що вона з Cossack Labs і її всі знають
- Віктору Турському, якого ви бачили на ютубі (а де Діма Малеєв тоді?)
- Івану Петрушенко за його школу алгоритмів на користь збройних сил
- Наталії Ренській, за те що вона з компанії SQUAD
- та іншим 😄

Це має бути офлайн івент, і локацію зараз звісно не скажуть, хоч її знають. Це свято айтішки відбудеться 18 травня, і сьогодні до 00:00 можна вихопити квитки зі знижкою. Беріть собі і своєму тімліду, якщо в нього скоро день народження.

Особисто чекаю топіки на сайті і девопсів у якості спікерів. Вірю, що перше буде скоро (але квитків вже не буде), а друге - точно наступного року.

Кожен квиток на DOU Day, це мікро-подяка DOU за їх відоси, збори, внесок в нашу галузь, за можливість посратись на форумі і прочитати якусь холіварну статтю.

Квитки тут ❤️ https://dou.ua/dou-day-2024/

⚡️Microsoft and Amazon will suspend access to their cloud products in russia from March 20.

The restrictions are prompted by the 12th package of EU sanctions dated December 19, 2023.

DevOpsDays: Let's talk security

Шановні, завтра конференція. Не пропустіть і зареєструйтесь:

https://devopsdays.com.ua/

Зарплатне опитування і мітап у Львові

Добрий вечір, пройдіть свіже зарплатне опитування і / або відвідайте DevOps мітап у Львові. Якщо ви це зробите, графіки будуть виглядати краще, і пропозиції будуть приємніше.

Прохання сабмітити тільки крепкі ЗП-хи (ніт) 💰

Ну а на мітап просто сходіть.

Також зараз відбувається DevOpsDays Ukraine, і вчора в кімнаті "Disaster Recovery" ми обговорили цей топік. Короткі нотатки:

1. Створіть бекап план (так званий Backup Strategy)
2. Зберігайте бекапи в іншому регіоні, краще - в іншому аккаунті, ще краще - в іншому клауді.
3. Завжди тестуйте бекапи.
4. Дуже обережно поводьтесь з Базами Даних.
5. Не приховуйте, якщо ви щось дропнули 🌚
6. Репліка БД не є достатнім підходом, все ж треба бекапи.
7. Репліка БД, яка відстає на X годин - це добре, але краще - репліка в ріалтаймі + транзакшн лог.
8. Додайте умову в автоматизацію, яка видаляє інфру, щоб вона не потерла всі ресурси. Краще exit 1 :)

[ нотатки є думками людей які долучились до обговорення, і можуть не збігатись з моєю / вашою думкою ]

Напишіть комент, якщо у вас є Lessons Learned по Disaster Recovery 🤝

Securing Research Infrastructure for Advanced AI

Власне, ми багато працюємо з Computer Vision і основний продукт - це девайс, який вміє розумно щось детектити (читайте - івенти, які відбуваються перед камерою). Булшитні або ні. Чи треба слати нотіф, тому що хтось краде посилку або коцає авто, чи це просто кіт / вітер / бжели (мем).

Хоча і наша робота закінчується раніше (ще до релізу девайсу і сервінгу моделі), але те що ми робимо - називається Research Infrastructure.

І ми робили це ще до того як це стало мейнстрімом. Всі степи, по типу Data Collection, Annotation, Model Evaluation, Inference ... Окрім останнього, в силу багатьох причин.

Ну і я завжди вважав, що "ну що тут складного". Зібрав стрім, в бакет поклав, процесинг зробив, хтось проанотував, в базку поклав, готово. Можна тренуватись. А виявляється не так 🙂

Почитайте про безпеку в Research Infrastructure. Спершу виглядає як успішний успіх, але з другого-третього разу виявляється що цей набір практик має сенс.

Ви натренувались на даних, які користувач вам розшарив, а потім попросив видалити. Що тепер робити з моделькою?

Видалити і перетренувати? Так це ж дорого. І метрики моделі будуть гіршими. А якщо вона вже в проді?

Видаляти похідні цих даних (фрейми, шматки даних, деривативи будь-які) по системі, а як їх ідентифікувати? А якщо їх хтось викачав з інфри (не важливо як, опустимо цей момент)?

І це тільки мікрочастина data collection & data deletion.

Звісно, якщо це парсинг інтернету без консентів, то все простіше. Але і в результаті вийде лайно.

Власне, ще дуже багато роботи.

У девопсдейс кімнатах запитав шановного девопса, а "що ж там у них". І там по-іншому. Тули зібрав, почитаю потикаю, і теж поділюсь.

Поки подивіться цей блогпост від OpenAI, який з першого ознайомлення буде здаватись "за все хороше, проти всього поганого". ⤵️

https://openai.com/index/securing-research-infrastructure-for-advanced-ai/