Доклад Дмитрия Березуцкого и Андрея Евтеева – это хардкорный рассказ про сложности обработки большого количества данных (150 Тб в сутки) и новые инструменты — dagster, arrow и polars, volcano.
⠀
Self-driving-разработчикам необходимо иметь возможность легко и оперативно получать обработанные данные с проездов беспилотных автомобилей для развития технологии и решения множества разнообразных повседневных задач: вычисления метрик проездов, определения качества доработок, получения датасетов для обучения моделей, построения HD-карты, разметки целевых ситуаций с проездов и пр.
⠀
Перед спикерами была поставлена задача разработать пайплайны обработки и автоматической разметки логов проездов беспилотных автомобилей и предоставить удобные инструменты для доступа к этим данным.
⠀
Из доклада вы узнаете:
⠀
- как они научились обрабатывать большой объем сериализованных данных с беспилотных автомобилей (130-150 Tb в сутки);
- какой Open Source-стек они для этого выбрали;
- почему отказались от Apache Airflow и остановились на Dagster;
- где и как они запускают вычисления на Spark, а где обходятся Apache Arrow и Polars;
- чем не устроил стандартный планировщик Kubernetes, и чем они его заменили (спойлер: Volcano);
- как они реализовали автоматическую эволюцию схем табличных данных в Spark + Hive Metastore.
⠀
Встречаемся уже совсем скоро на DevOpsConf 2024, ждём вас 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

NextOps — что будет после DevOps? Поговорим об этом с Игорем Курочкиным.
⠀
DevOps как термин и профессиональное движение появились 15 лет назад, самое время подвести итоги и посмотреть, что будет дальше.
⠀
Игорь расскажет, что будет после DevOps, ждать ли второй волны, появились ли новые лидеры, сообщества и организации. Обсудим тренды и нерешенные проблемы в разработке и эксплуатации, новые подходы и инструменты. Разберем исследования, публикации и отчеты, книги и конференции, компании и экспертов. Рассмотрим такие направления, как Platform Engineering, Developer Experience, Internal Developer Platforms, Productivity Engineering, DevTools 2.0, ClickOps, AIOps, Cloud Native, Reliability Engineering, Resilience Engineering, Team Topologies.
⠀
Ждём вас на DevOpsConf 2024 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Объединяй и властвуй: как объединить два кластера K8s без даунтайма? Расскажет Алексей Подольский.
⠀
Спикер раскроет тему оптимизации инфраструктуры, снижения ее стоимости и повышения безопасности трафика внутри периметра путем поэтапной подготовки объединения нескольких K8s-кластеров и тонкой фильтрации трафика.
⠀
Присоединяйтесь к нам 4 и 5 марта на DevOpsConf 2024 в Москве или онлайн по всему миру 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Виктор Попов в своём докладе расскажет, как разрабатывать внутренние платформы, применяя продуктовый подход.
⠀
Все давно решили, что внутренние IT-сервисы — это продукты, но никто толком не понимает, что это значит. Просто техлиду говорят, что теперь он еще и владелец продукта.
⠀
Рассмотрим, что такое продуктовая методология применительно к внутренним айти-сервисам и какие практики и инструменты применимы в этом случае.
⠀
Присоединяйтесь к нам 4 и 5 марта на DevOpsConf 2024 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Практический доклад Михаила Кабищева о том, что такое requests/limits и как их правильно готовить на реальных примерах.
⠀
Последние годы контейнеры и Kubernetes захватывают все больше и больше компаний, позволяя быстро запускать тысячи приложений. Однако в какой-то момент можно столкнуться с проблемой утилизации железа: какие-то сервера оказываются сверхнагруженными, а какие-то — совсем нет.
⠀
Михаил расскажет про:
⠀
- опыт эксплуатации большого кластера K8s;
- что такое requests/limits и как они работают на низком уровне;
- как они помогали разработчикам правильно рассчитывать эти значения, а затем начали выставлять их автоматически;
- зачем нужен descheduler;
⠀
А также Михаил покажет демо, чтобы развеять несколько мифов.
⠀
Встречаемся 4 и 5 марта на DevOpsConf 2024 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Доклад Сергея Реусина – единственный про Resilience Engineering или инженерию устойчивости.
⠀
Сергей представит историю инженерии устойчивости, разницу определений и методов в сравнении с надежностью, стабильностью. Расскажет о применении DORA за рамками ускорения деплоев.
⠀
Вы узнаете о ключевых принципах, персонах и сообществе, а также о пересечении методов с другими доменами (медицина, энергетика и т. п.). Как происходило внедрение в СберМаркет — ключевые цели, этапы, успехи и провалы. С чего начать в вашей организации.
⠀
Встречаемся 4 и 5 марта на DevOpsConf 2024 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Доклад Владимира Гурьянова – это детальный рассказ о том, как работает Prometheus под капотом, от чего зависит его производительность и как бороться с тормозами.
⠀
Сложно представить себе современный проект без эффективной системы мониторинга, и в этом контексте Prometheus выделяется как стандарт де-факто.
⠀
Владимир проанализирует, почему Prometheus потребляет столько ресурсов и расскажет, как можно этого избежать. Анализ начнется с изучения механизмов хранения серий данных в Time Series Database (TSDB) Prometheus. Особое внимание он уделит тому, как выбор метрик, отправляемых в Prometheus, влияет на потребление ресурсов системы.
⠀
Затем спикер перейдет к обсуждению различных подходов и инструментов, которые могут помочь оптимизировать работу Prometheus. Основной задачей будет найти баланс между сокращением потребления ресурсов и сохранением информативности и полезности данных, хранящихся в системе.
⠀
Эти аспекты являются ключевыми для обеспечения эффективного и экономичного мониторинга в современных проектах.
⠀
До скорой встречи на DevOpsConf 2024 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

AppSecJob: как с помощью К8s-операторов поставить проверки безопасности на автопилот? Расскажут в своём докладе Алена Жилина и Вячеслав Давыдов.
⠀
В мире разработки, где скорость выпуска продуктов на рынок становится приоритетом, процесс проверок безопасности не должен становиться проблемным местом. Оркестрация SAST-, SCA-, SecretScanning-инструментов в контейнерной среде обеспечивает единообразное и эффективное управление ими. Использование механизмов управления микросервисами, предоставляемых Kubernetes, позволяет создать более высокоуровневые интерфейсы для проведения сканирований безопасности, упрощая процесс и реализуя «shift-left»-подход.
⠀
В этом контексте вместе со спикерами вы рассмотрите:
⠀
- существующие решения и подходы для автоматизации внедрения проверок безопасности в CI/CD;
- оркестрацию инструментов: управление выбором, конфигурацией и запуском набора AppSec-инструментов при различных условиях;
- когда Kubernetes — это больше, чем манифесты, или их UP от yaml-разработки к написанию операторов;
- концепцию создания AppSecJob и её преимущества для AppSec-инженеров, DevOps’ов и команд разработки.
⠀
Присоединяйтесь к нам на DevOpsConf 2024 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Антон Устюжанин подробно расскажет о проектировании отказоустойчивых систем. Рассмотрим разные ситуации и научимся определять, когда у нас всё ещё остается единая точка отказа, из-за которой весь проект может оказаться под угрозой. Посмотрим на стоимость обеспечения отказоустойчивости.
⠀
Все хотят отказоустойчивые приложения, многие их пишут, а многие ли осмотрелись вокруг?
⠀
На примерах эволюции инфраструктуры и подходов к разработке в компании Точка Антон покажет, что иногда может ускользать из виду, на что можно закрывать глаза, а где надо смотреть в оба.
⠀
🖐 Ждём вас на DevOpsConf 2024.
⠀
✅ Программа конференции и билеты на сайте в описании канала @DevOpsConfChannel

Из доклада Кирилла Ильина и Артема Поддубного вы узнаете, как сделать архитектуру ваших сервисов в виде кода и как на это наложить техники из матрицы MITRE ATT&CK для оценки безопасности продуктов.
⠀
Компания движется путем реализации направлений DevOps/ARCH/Sec как код. Они реализуют:
⠀
- архитектуру как код,
- инфраструктуру и CMDB как код,
- угрозы как код.
⠀
Спикеры расскажут о том, как они к этому пришли, как это объединило команды IT/ARCH/Sус и каким они увидели свой технологический ландшафт благодаря реверс-подходу. И как модель угроз легла на реальный технологический ландшафт.
⠀
Поделятся планами развития.
⠀
Встречаемся уже через неделю в Москве на DevOpsConf 2024 🙌
⠀
✅ Расписание конференции и билеты на сайте в описании канала @DevOpsConfChannel

DevOps без ClickOps. Антон Алексеев расскажет, как terraform и gitlab ускорили им деплой инфраструктуры в 20 раз.
⠀
Что делать, если деплой инфраструктуры в ручном режиме занимает десятки часов, а хочется, чтобы все работало по кнопке автоматически?
⠀
Что вас ждет на докладе Антона:
⠀
1) рассмотрите плюсы и минусы terraform как единого инструмента деплоя;

2) поговорите про хранение стейта инфраструктуры, идемпотентность, динамически создаваемые переменные и секреты и т.д.;

3) обсудите способы, как управлять зависимостями (helm-чарты, инфраструктура) при деплое большого окружения;

4) увидите, как убрать узкие горлышки и минимизировать ручную работу.
⠀
У вас ещё возможность к нам присоединиться, ждём вас 4 и 5 марта на DevOpsConf 2024 🖐
⠀
✅ Расписание конференции и билеты на сайте в описании канала @DevOpsConfChannel

Дмитрий Анисов в своём докладе расскажет интересную историю, как он чинил ceph, с выводами о том, как можно было избежать аварии. Полезно, если у вас есть ceph.
⠀
Ceph - это большой, сложный программный продукт, требующий не только глубоких знаний о нём, но и о сопутствующих вещах. Непонимание некоторых процессов, недостаток опыта или невнимательность могут привести к большим проблемам.
⠀
В докладе Дмитрий разберёт ситуацию отказа ceph и потери части данных. Почему это произошло, какие ошибки были допущены в изначальном проектировании и в эксплуатации, какие действия пришлось предпринять, чтобы всё починить. Разберёт нетипичные решения, которые пришлось применить для восстановления работоспособности и данных.
⠀
В конце вас ждёт обсуждение того, как можно было этого избежать, на что стоит обращать внимание, а также спикер даст рекомендации по эксплуатации и проектированию ceph.
⠀
🖐 Встречаемся 4 и 5 марта на DevOpsConf 2024.
⠀
✅ Расписание конференции и билеты на сайте в описании канала @DevOpsConfChannel