Запись доклада Дмитрия Березуцкого и Андрея Евтеева «Построение горизонтально масштабируемой системы обработки данных с беспилотного транспортного средства» с DevOpsConf 2024

Это хардкорный рассказ про сложности обработки большого количества данных (150 Тб в сутки) и новые инструменты — dagster, arrow и polars, volcano.

В докладе спикеры рассказали:

- как они научились обрабатывать большой объем сериализованных данных с беспилотных автомобилей (130-150 Tb в сутки);
- какой Open Source-стек для этого выбрали;
- почему отказались от Apache Airflow и остановились на Dagster;
- где и как запускают вычисления на Spark, а где обходятся Apache Arrow и Polars;
- чем их не устроил стандартный планировщик Kubernetes, и чем они его заменили (спойлер: Volcano);
- как реализовали автоматическую эволюцию схем табличных данных в Spark + Hive Metastore.

▶️Запись доклада в VK Видео

Посмотрите сами и поделитесь с коллегами 🙌


#записьдокладаDevOpsConf
@DevOpsConfChannel

⚡️Успейте забронировать билет по минимальной стоимости

С 1 января билеты на DevOpsConf 2025 станут дороже, но у вас есть возможность зафиксировать текущую стоимость, если забронируете билет до 31 декабря. После брони у вас еще будет несколько дней для принятия решения и оплаты.
⠀
Присоединяйтесь к нам, чтобы найти решение собственных задач, вдохновиться опытом коллег, первыми поймать тренды индустрии. И, конечно, пообщаться с единомышленниками, завести полезные профессиональные знакомства 🤝

Ждём вас на профессиональной конференции по интеграции процессов разработки, тестирования и эксплуатации DevOpsConf 2025, которая пройдёт 7 и 8 апреля в Москве 🖐️

✅ Забронировать билет можно на сайте

3 статьи про K8s от инженеров Deckhouse ⤵️

Команда разработки Deckhouse часто выступает с докладами на HighLoad++, DevOpsConf и других конференциях «Онтико». Спикеры компании рассказывают о DevOps, Kubernetes и платформенной разработке. Сегодня мы делимся с вами тремя статьями от инженеров Deckhouse по этим темам, которые больше других понравились читателям в уходящем году.


🔴Новая аутентификация в Kubernetes: зачем переходить на Structured Authentication Config. 

Structured Authentication Config — крупнейшее изменение системы аутентификации в K8s за последние годы. В статье Максим Набоких, член Kubernetes SIG Auth, рассказывает о предпосылках появления KEP 3331 и сценариях, в которых полезен новый аутентификатор.

🔴Автоматизируем сборку и деплой приложения в GitLab CI/CD: подробное руководство с примерами. 

Статья о том, как использовать GitLab для организации автоматической сборки и деплоя приложения в кластер Kubernetes. Сам кластер будет работать под управлением Deckhouse Kubernetes Platform, а автоматизировать процесс будем с помощью Open Source-утилиты werf.

🔴Обзор k8sgpt: как ИИ помогает обучать DevOps-инженеров. 

K8sgpt — чат-бот, который помогает получать информацию и советы по вопросам, связанным с Kubernetes. Статья рассказывает, как установить утилиту и подключить к ней AI. Вы увидите, какого уровня диагностику можно провести с помощью этого инструмента и на какие ответы можно рассчитывать.

Продуктивного прочтения 🙌

Всем привет!

В разгар новогодних каникул принесли вам полезную подборку записей — топ-5 докладов DevOpsConf 2024. Это доклады, которые набрали самые высокие оценки от участников конференции за содержание и подачу. Послушайте опыт коллег и откройте для себя новые подходы 🙌

💙 Смотреть в VK Видео

✅ Содержание плейлиста:


1) Как мы вырастили отказоустойчивость Яндекс Go. Денис Исаев (Яндекс)

Хороший доклад про отказоустойчивость крупной системы в контексте процессов и метрик. Денис рассказал историю о том, как они шли к текущей ситуации, какие этапы прошли и какие решения совершили.

2) Kafka. Деградировавший кластер, или 168 часов траблшутинга. Максим Ванюшкин (Т-Банк)

Доклад о решении проблем в Kafka: от низкоуровневого траблшутинга до устранения серьёзных сбоев, угрожающих работе сервисов. Освещены сложные конфигурации, инструменты мониторинга, лайфхаки и тонкости, полезные при работе с Kafka для предотвращения неожиданностей в кластере.

3) Hardening Jenkins: как подать блюдо, чтобы оставили чаевые. Лев Хакимов (МТС Web Services)

Вы должны послушать этот доклад, если у вас jenkins. Лев подсветил все возможные проблемы с безопасностью, и после этого доклада у вас будет чёткое понимание того, на что вам нужно обратить внимание в ваших инсталляциях.

4) Платформа — это продукт. А что, вообще, такое — продукт? Виктор Попов (Samokat.tech)

Из доклада вы узнаете, как разрабатывать внутренние платформы, применяя продуктовый подход. Виктор рассказал, что такое продукт и какие принципы, практики и инструменты мы можем использовать. Что делать, если стал владельцем или менеджером внутреннего платформенного продукта.

5) JumpStart для новых сервисов. Владимир Дроздецкий (Magnit OMNI)

Как развернуть сервис быстрее, чем заваривается кофе? Посмотрите доклад Владимира и узнайте, как они превратили запуск новых сервисов из марафона в спринт, минуя лабиринты настройки и деплоя. От CI/CD до DORA-метрик — меньше головной боли, больше кодинга. Шутки и практические советы включены!

Продуктивного просмотра и отличного продолжения каникул 😎

#записьдокладаDevOpsConf
@DevOpsConfChannel

Всем привет!
⠀
Приглашаем вас на профессиональную конференцию по интеграции процессов разработки, тестирования и эксплуатации DevOpsConf 2025, которая пройдёт 7 и 8 апреля в Москве 🖐️

✅ Совсем скоро мы начнём знакомить вас со спикерами конференции и их докладами, а пока вы можете ознакомиться с предварительным расписанием на сайте

*в расписании возможны изменения
⠀
🖐️ Присоединяйтесь к нам, будем обсуждать самые актуальные темы индустрии:

🟣Chaos Engineering. Путь к технологической зрелости.

Истории успеха. Подготовка и тестирование гипотез стабильности. Рентабельность. Антихрупкость для систем.

🟣Клауднейтив инжиниринг. Будущее инфраструктуры.

Весь новый инструментарий (и обновления старого), который вы будете использовать в 2025.

🟣Operational intelligence. Наблюдаемость систем.

Как правильно структурировать метрики для пользы бизнеса. Что имеет значение, а что нет.

🟣DevEx. Измеряем и улучшаем пользовательский опыт.

Как создать платформу, которая будет удобна и полезна для ваших пользователей.

🟣Безопасность или её иллюзия? Реальный опыт использования инструментов.

Чем отличается внедрение инструмента от его реального использования и как избежать ловушки попадания в иллюзию безопасности?

🟣От облака к собственной инфраструктуре. Пошаговый план.

Как правильно оценить необходимость миграции и подготовить свою команду к переходу на онпрем.

🟣Системное и сетевое администрирование. Как не забыть сисадминские практики.

Как управлять изменениями и тех. миграциями в сложной инфраструктуре и не породить хаос. Как работать с линуксами, сетями и железками.

🟣CTO-трек. Как менять ит-ландшафт компании.

Инженерная культура, оргдизайн, сложности найма и технологическое лидерство.

И многое другое.
⠀
Как всегда, вас ждёт много-много нетворкинга и общения с единомышленниками, полезный опыт коллег и прокачка своего профессионализма.
⠀
Ждём вас на DevOpsConf 2025 🙌

Запись доклада Александра Егорова «Как создать ML-платформу по выводу 100 моделей в неделю» с конференции DevOpsConf 2024

Сфера машинного обучения постоянно развивается, команды разработки расширяются, а вместе с ними растет и число моделей. Также появляется и проблема удобства совместного труда и вывода гигантского количества моделей в production.

Александр рассказал о способах создания удобной среды разработки на основе платформы Kubernetes, ориентированной на команды с более чем двумя сотнями Data Scientists и Data Engineers, позволяющей выпускать более 100 моделей в течение нескольких недель. Данная платформа уже реализована в Альфа-Банке.

Спикер поделился:

🟣какие сложности встречаются при работе с JupyterHub с большой командой;
🟣как объединить множество инструментов из жизненного цикла машинного обучения;
🟣где эффективно хранить и как использовать данные;
🟣как можно просто настроить вывод и переобучение не только отдельных моделей, но и целых ансамблей.

💙 Смотреть запись в VK Видео

#записьдокладаDevOpsConf
@DevOpsConfChannel

⚡Успейте забронировать билет до повышения цены

1 февраля стоимость билетов на DevOpsConf 2025 вырастет, но если забронируете билет до 31 января, текущая стоимость зафиксируется. После брони у вас ещё будет несколько дней для оплаты.

🔴В программе конференции в этом году:

— Затронем самые актуальные темы, такие как: Chaos engineering, Системное и сетевое администрирование, DevOps-практики, Reliability Engineering, Platform Engineering, IT-безопасность, Применение ИИ в Devops и многое другое. Отличная возможность получить новые знания, познакомиться с новыми инструментами и применением старых, а также найти альтернативные решения для ваших рабочих задач.

— Общение с экспертами, CTO, CIO и лидерами отрасли. У вас будет возможность принять участие в наших круглых столах на самые острые тематики, задать вопросы нашим докладчикам и подискутировать за обедом с коллегами и не только.

— Много практики! Мы понимаем, что не обо всём можно подробно рассказать в рамках доклада, поэтому подготовили ещё больше воркшопов и мастер-классов.

За 2 дня вы получите срез всего самого важного, что происходит в отрасли, и узнаете о перспективах ее развития.

Актуальные цены:

📍Офлайн-участие — 81000 руб (с 1 февраля — 89000 руб.)
▫️Онлайн-участие — 40500 руб. (с 1 февраля — 44500 руб.)

Встречаемся 7 и 8 апреля в Москве в Кампусе СКОЛКОВО 🙌
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте