GCP HttpRequest.latency

Доброго вечору, сьогодні історія про GCP, їх логування, специфікацію логів і unexpected behaviour.

Референс:
https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry#HttpRequest

latency string (Duration format)

The request processing latency on the server, from the time the request was received until the response was sent. For WebSocket connections, this field refers to the entire time duration of the connection.

A duration in seconds with up to nine fractional digits, ending with 's'. Example: "3.5s".

Більше контексту:
GCP це логує на балансерах, функціях і інших компонентах. Прочитайте це будь ласка, і я прямо зараз фолоу-апну питанням.

Дякую за те, що прочитали офіційну специфікацію GCP і проголосували. Я зупинив опитування.

По результатам також видно конфуз:
- 49% Server Side Request Latency
- 12% TTFB
- 12% RTT
- 28% Total Response Time

Поясню причину unexpected behaviour:
- по опису метрики, яку я закинув з офіційної доки - очевидно це Server Side Request Latency
- тут пишуть що це Total Response Time, а в коментах - що RTT
- тут пишуть що це Total Response Time
- в коменті до опитування пишуть, що взагалі НЕМАЄ правильної відповіді
- ще є купа тредів і форумів де люди конфьюзяться

В моєму випадку я помітив цю штуку на slow clients на пет-проджекті, і грішив на бекенд. Далі зробив profiling + tracing, також k6 перформанс тести і зрозумів що в мене немає жодних питань до бекенду. Але є дуже багато питань до метрики 😆

З моєї сторони, значення яке туди потрапляє виглядає як Total Response Time, і пруфається через curl --limit-rate

➡️ Тепер я попрошу GCP сертифікованих інженерів, або тих хто точно знає зайти в коменти сюди, і дати відповідь що є дійсно таке HttpRequest.latency в логах GCP до балансера

Сподіваюсь розберемось разом, на тижні ще закину чудову статтю з Pragmatic Engineer про стан ІТ в 2025, де є +40% зросту від дна ринку (як в опозицію до поста, який писав вище). Успіхів!

DOU DAY + The Reality of Tech Interviews in 2025

Вітання!

Вибрав для вас декілька доповідей з DOU DAY, на які варто звернути увагу:
- Jujutsu, GitButler: make git fun again - Всеволод Поляков
- Великий вихід з гіперскейлерів. Стратегія міграції інфраструктур - Володимир Цап
- Операційна система: що насправді відбувається, коли ви запускаєте вашу програму - Віктор Турський
- TBA - Ігор Дворецький
- Розвиток і впровадження AI агентів - Денис Попов

Також як і домовлялись, мікро-огляд статті The Reality of Tech Interviews in 2025:
https://newsletter.pragmaticengineer.com/p/the-reality-of-tech-interviews

➡️ New reality of tech hiring
2021-2021 ми бачили пік ринку, потім падіння в 2023, і зараз +40% порівняно з низом ринку. Тобто, порівнюємо не з перегрітим ринком, а з низом ринку - і таким чином покращуємо свій mental health.

➡️ Analyzing the tech hiring market
2023 163K вакансій, зараз - 230К. Перспективні напрямки: AI Infrastructure, Machine Learning Operations. В стандартних доменах, типу бек, фронт, мобайл - складно. Сіньйори в шоколаді - все так само отримують офери, особливо - якщо вакансія і ваш досвід матчиться. Джунам - важко як ніколи. Більше етапів інтервью. Менеджери - теж важко.

➡️ Interview process changes
Стандартно DSA, але якість очікують вищу, і складність - більшу. Системний Дизайн - знову очікують більше. Також більше шансів отримати промоушн в мідла, якщо прийшли на вакансію сіньйора. Тім матчінг (aka team lunch) - ще один неформальний раунд співбесіди.

➡️ Interview format differences at startups and Big Tech
Тут все очевидно - FAANG - DSA, компанії менше - щось схоже до того, чим будете займатись в компанії.

➡️ Preparation strategies by experience level
Джуни: 80% DSA, 20% behave
Мідли: 50% DSA, 25% сисдиз, 25% behave
Сіньйори: 50% сисдиз, 20% DSA, 30% behave
Стафи: 90% біхейв, бо в них DSA і сисдиз і так від зубів відскакує

Executive Summary:
- 2020 - 2021: golden rush, "please take our money"
- 2025: "prove you're worth it"
- Трохи більше часу на пошук компанії, але ринок +- норм.
- Очікування від кандидатів ростуть, і будуть продовжувати рости.

Виглядає оптимістичніше, ніж попередній пост на цю тему 🙂 Рекомендую прочитати статтю повністю. І продовжуємо вчитись проходити інтерв'ю - це окремий скіл, який покращується з досвідом і роботою над помилками. Всім успіхів!

Вступ до MLOps і LLMOps

Добрий вечір пані і панове,

Сьогодні прийшов до вас з вебінаром по MLOps і LLMOps, який проводить Дмитро Сподарець - і він займався цим ще до мейнстріму. Враховуючи глибоку експертизу, ми запросили Дмитра допомогти в організації DevOpsDays Ukraine: AI Chapter (відбудеться восени), і я хотів би порекомендувати відвідати безкоштовний міт:

➡️ https://lu.ma/pz9mltkn?tk=4k0AIj

Також і я працюю в цьому домені, тому тримайте мікро-підбірку технологій, які не будуть зайвими в Machine Learning Operations. Частину ми використовуємо або використовували, частину я бачив на суміжних проектах, тощо.

Основна суть - додати собі в "контекст", щоб коли зустрічаєте статтю або гайд - не скіпали, а розбирались. Все це (ну майже) сетапиться на K8S, і цього набору буде достатньо щоб створити і потикати ML pipeline.

Отже, поїхали, по доменам:
1) Annotation - CVAT, Label Studio
2) Pipelines - KubeFlow / Metaflow / Airflow
3) Experiment tracking - MLFlow
4) Distributed Training - Ray, Horovod
5) Data Versioning - DVC
6) Serving - скиньте в коменти, у нас модельки на еджі (BentoML? KServe? Seldon Core? )
7) Feature Store - Feast
8) Model Registry - також MLFlow
9) Monitoring - Prometheus Stack
10) Tracing - OpenTelemetry + Jaeger

(закінчив список на тулах, які ви ВЖЕ знаєте - для хорошого настрою)

По KubeFlow у нас прям топова експертиза, в сторону multi-region, на 1000+ GPU-шних нод (автоскейлінг звісно). А ще ми випалили лям доларів через залипші поди в кубфлоу, але про це колись буде окремий пост.

Тихої ночі!

✅ Fwdays Academy відкриває набір на другий потік Platform Engineering Course! Ви зануритеся в Terraform CDK, AWS CDK, Pulumi, Kubernetes CRDs та Helm, отримаєте практичні навички та створите рішення для автоматизації платформ.

Згідно з дослідженнями IT-ринку, в 2025 році фахівці з Platform Engineering заробляють на 20% більше, ніж DevOps-інженери!

👉 Реєстрація та деталі: https://bit.ly/4jNpNI0
📅 Дати: 2-13 червня 2025
⚙️ Формат: 6 практичних онлайн-занять з реальними кейсами, груповою роботою та індивідуальними завданнями
🚀 Кількість місць обмежена
💰 Промо на -10%: mukolaich

Кому буде цікаво?
🔸 DevOps-інженерам
🔸 Розробникам
🔸 Системним адміністраторам
🔸 QA-спеціалістам
🔸 Всім, хто прагне прокачати навички Kubernetes, IaC та автоматизації інфраструктури

💡 Ментор курсу: Anton Grishko — Chief Architect у ProfiseaLabs, спікер DevOps-конференцій, автор статей на DOU і Medium. Понад 15 років у сфері ІТ, один із засновників стартапу з Platform Engineering.

🔥 Отримайте нові знання разом з Fwdays Academy!

Триває найбільша конференція IT-спільноти – DOU Day – і ми вирішили запитати спікерів, як їм подія 😎

Ділимось відповідями Всеволода Полякова, Head of Infrastructure в Let's Enhance. А вам як конфа?

Мережа Трійки та Зарплатне Опитування

Доброго дня, шановні DevOps / SRE / Platform / Infra фахівці! Прошу звернути увагу на важливі ініціативи:

1️⃣ 20 млн збір від DOU - https://dou.ua/triyka/
Запрошую долучитися! DOU збирає кошти + ініціатива також корисна для ментального здоров’я - ще й є мотивація у вигляді призів

2️⃣ Зарплатне опитування - https://dou.ua/lenta/sitenews/summer-survey-2025

Особливо закликаю брати участь інженерів рівня Senior+ або тих, хто має крепку компенсацію. Саме на ці віджети орієнтуються компанії - тому для нашої інфра галузі корисно демонструвати хороші зарплати

Окрема подяка інженеру з Житомира - в минулому опитуванні він задекларував $14K! У нас тут формується нова Bay Area 😁

Якщо хтось має супервисоку компенсацію (або якщо це читає той самий житомирський рокстар) — напишіть мені. Зберемо стек порад і підходів - повністю анонімно

Вдалого дня!

/dev/null

How is AI transforming DevOps?

On September 3rd, join DevOpsDays: AI Chapter to find out. World-class experts will share practical insights on GenAI, LLMs, MLOps, compliance, and building reliable AI agents for DevOps.

🎙️ Talks & Speakers
– The Impact of GenAI on Development and the SDLC, Patrick Debois
– AI Compliance Trends: IP & Data Protection in EU & U.S., Kateryna Dubas
– From Skepticism to Superpower: Adopting AI Tools in Dev Teams, Oleksii Ostapets
– Platform Engineering for LLMs, Max Körbächer
– Building Reliable Agents for DevOps, George Fahmy
– MLOps — details coming soon, Andreea Munteanu

💛 Charity goal: 50,000 UAH for 50 rehab sessions for Ukrainians in physical recovery. Support us and make your donation on the website.

Participation is free

🔗 Register now: https://devopsdays.com.ua — see you soon!

Шановні Інженери,

Після конференції, як завжди, відбудеться говорилка на тему AI. Кімната так і називатиметься - «Про AI» 😁

Теми було підібрано ретельно, з акцентом на те, щоб ви могли покращити процеси у своїй компанії та зоні відповідальності

100% поговоримо про RAG, Fine Tuning, ембедінги і вектори, агенти, MLOps і все що поруч

Реєструйтеся! 🔼

Дивіться що на ширшому ринку відбувається:

- Mistral AI - DevOps Engineer, HPC Services
- Open AI - Engineering Manager, Infrastructure (з кубом, істіо і тераформом в описі вакансії)
- Anthropic - Software Engineer, AI Reliability Engineering
- Nvidia - Senior Software Engineer - Bare Metal DevOps

AWS: знайомство з OpenSearch Service в ролі vector store

Ми зараз використовуємо AWS OpenSearch Service як vector store для нашого RAG з AWS Bedrock Knowledge Base. Про RAG і Bedrock детальніше поговоримо іншим разом, а сьогодні давайте подивимось на AWS OpenSearch Service. Власне, задача – мігрувати наш AWS OpenSearch Service Serverless на Managed, в першу чергу через (сюрпрайз) питання вартості – бо з Serverless…

https://rtfm.co.ua/aws-znajomstvo-z-opensearch-service-v-roli-vector-store/

#AWS_OpenSearch #Elasticsearch

Operational issue - Multiple AWS services in the US-EAST-1

Це ми вже проходили, будемо свідками як половина інтернету виходить з ладу - попередьте свої команди 🙂

https://health.aws.amazon.com/health/status