👤 Дмитрий Самиров / Mail.Ru Group
📋 Доклад / Хайлоад, которого не ждали
https://clck.ru/XzfcA
Дмитрий Самиров руководит пилотными проектами в Tarantool (Mail.ru Group). Дмитрий расскажет, как его команда за 2 месяца создала систему хранения товаров и остатков для магазинов «Магнит». Внезапно пилотный проект превратился в хайлоад-сервис, который должен держать нагрузку 200 тысяч запросов в секунду.
На HighLoad++ 2021 узнаем:
— какие ошибки были допущены при проектировании сервиса, и как их исправляли;
— с какими проблемами разработчики столкнулись при масштабировании системы.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание и программа https://clck.ru/Xzfcz
#HighLoad2021 #оптимизация_производительности #производительность_мобильных_приложений
📋 Доклад / Хайлоад, которого не ждали
https://clck.ru/XzfcA
Дмитрий Самиров руководит пилотными проектами в Tarantool (Mail.ru Group). Дмитрий расскажет, как его команда за 2 месяца создала систему хранения товаров и остатков для магазинов «Магнит». Внезапно пилотный проект превратился в хайлоад-сервис, который должен держать нагрузку 200 тысяч запросов в секунду.
На HighLoad++ 2021 узнаем:
— какие ошибки были допущены при проектировании сервиса, и как их исправляли;
— с какими проблемами разработчики столкнулись при масштабировании системы.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание и программа https://clck.ru/Xzfcz
#HighLoad2021 #оптимизация_производительности #производительность_мобильных_приложений
👤 Александр Коптин / Почтатех
📋 Доклад / Автоматизированная сортировка. Как Почта России обрабатывает миллионы отправлений в сутки
https://clck.ru/Xzh88
Знаете как выглядит жизненный цикл посылки от заказа в интернет-магазине до доставки в почтовое отделение? Александр не только знает этот путь, но и поделится с нами в своем докладе. Мы узнаем про жизненный цикл, что такое автоматизированная сортировка, зачем она нужна и как управляется сортировочное оборудование. А также, как построено взаимодействие Почты России с Федеральной Таможенной Службой и какие информационные системы за этим стоят.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #аппаратноеобеспечение #инфраструктура #оптимизация_производительности
📋 Доклад / Автоматизированная сортировка. Как Почта России обрабатывает миллионы отправлений в сутки
https://clck.ru/Xzh88
Знаете как выглядит жизненный цикл посылки от заказа в интернет-магазине до доставки в почтовое отделение? Александр не только знает этот путь, но и поделится с нами в своем докладе. Мы узнаем про жизненный цикл, что такое автоматизированная сортировка, зачем она нужна и как управляется сортировочное оборудование. А также, как построено взаимодействие Почты России с Федеральной Таможенной Службой и какие информационные системы за этим стоят.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #аппаратноеобеспечение #инфраструктура #оптимизация_производительности
👤 Руслан Гилемзянов / AliExpress Россия
📋 Доклад / "Вы это смотрели" или как мы построили платформу для рассылок таргетированных уведомлений пользователям AliExpress Россия.
https://clck.ru/XzhpC
Руслан - руководитель команды по разработке механик взаимодействия с пользователями. Он поделится с нами, как построили Event-Driven Big Data платформу на базе Apache Flink, позволяющую отсылать миллионы таргетированных уведомлений пользователям ежедневно.
И, конечно, затронем такие аспекты, как:
- применение и особенности Event-Driven подхода в задачах отправки триггерных уведомлений пользователям AliExpress Россия;
- особенности и сценарии использования встроенных механизмов Apache Flink, а также его интеграции с проектами из семейства Apache Hadoop.
Встречаемся 25 и 26 ноября в Москве на HighLoad++.
Расписание и программа https://clck.ru/XziBY
#HighLoad2021 #аппаратноеобеспечение #инфраструктура #оптимизация_производительности
📋 Доклад / "Вы это смотрели" или как мы построили платформу для рассылок таргетированных уведомлений пользователям AliExpress Россия.
https://clck.ru/XzhpC
Руслан - руководитель команды по разработке механик взаимодействия с пользователями. Он поделится с нами, как построили Event-Driven Big Data платформу на базе Apache Flink, позволяющую отсылать миллионы таргетированных уведомлений пользователям ежедневно.
И, конечно, затронем такие аспекты, как:
- применение и особенности Event-Driven подхода в задачах отправки триггерных уведомлений пользователям AliExpress Россия;
- особенности и сценарии использования встроенных механизмов Apache Flink, а также его интеграции с проектами из семейства Apache Hadoop.
Встречаемся 25 и 26 ноября в Москве на HighLoad++.
Расписание и программа https://clck.ru/XziBY
#HighLoad2021 #аппаратноеобеспечение #инфраструктура #оптимизация_производительности
👤 Юрий Бабак / Мир Plat.Form
📋 Доклад / Что такое клиринг, как он работает и реализован на примере платежной системы "Мир".
https://clck.ru/Y4FUs
Из доклада Юрия мы узнаем, как устроена и работает клиринговая система платежной системы "Мир".
Например, почему при совершении оплаты средства на счету могут быть "заморожены" или "заблокированы". Что делают в ПС "Мир", чтобы средства не были заблокированы "вечность". Также узнаем, как происходят взаиморасчеты между банками и как считаются чистые позиции за операционный день.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/Y4FUs
#HighLoad2021 #архитектуры #масштабируемость #архитектурный_кейс
📋 Доклад / Что такое клиринг, как он работает и реализован на примере платежной системы "Мир".
https://clck.ru/Y4FUs
Из доклада Юрия мы узнаем, как устроена и работает клиринговая система платежной системы "Мир".
Например, почему при совершении оплаты средства на счету могут быть "заморожены" или "заблокированы". Что делают в ПС "Мир", чтобы средства не были заблокированы "вечность". Также узнаем, как происходят взаиморасчеты между банками и как считаются чистые позиции за операционный день.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/Y4FUs
#HighLoad2021 #архитектуры #масштабируемость #архитектурный_кейс
👤 Сергей Митин / ivi
📋 Доклад / Как сделать операцию на сердце бегущему марафонцу? Или опыт и приколы эксплуатации сети одного видеосервиса.
https://clck.ru/Y4G5T
Сергей поделится с нами самыми разрушительными авариями сервисов, которые устраивают сетевики. Кроме историй факапов вас ждет: как правильно резервировать, балансировать и считать, и прогнозировать. Все на основе реальной истории видеосервиса в эпоху пандемии.
P.S. Как же любят кино пользователи, когда не могут на улицу ходить!
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/Y4G6C
#HighLoad2021 #DevOps #эксплуатация #архитектурный_кейс
📋 Доклад / Как сделать операцию на сердце бегущему марафонцу? Или опыт и приколы эксплуатации сети одного видеосервиса.
https://clck.ru/Y4G5T
Сергей поделится с нами самыми разрушительными авариями сервисов, которые устраивают сетевики. Кроме историй факапов вас ждет: как правильно резервировать, балансировать и считать, и прогнозировать. Все на основе реальной истории видеосервиса в эпоху пандемии.
P.S. Как же любят кино пользователи, когда не могут на улицу ходить!
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/Y4G6C
#HighLoad2021 #DevOps #эксплуатация #архитектурный_кейс
👤 Евгений Ненахов / MTS Digital
📋 Доклад / Создаем универсальный инструмент для потоковой обработки данных на основе Apache Spark Streaming.
https://clck.ru/Y4Hhn
Как создать универсальный инструмент потоковой обработки данных, который быстро обрабатывает события (~ 5-10 млн. событий в секунду), масштабируется и имеет высокую степень надежности, используя Scala(Java), Apache Spark Streaming и PostgreSQL?
Евгений поделится, почему они остановили свой выбор на Apache Spark Streaming, и даст рекомендации в части его тюнинга, которые были проверены в бою (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻https://clck.ru/Y4HiT
#HighLoad2021 #BigData #машинное_обучение #архитектурный_кейс
📋 Доклад / Создаем универсальный инструмент для потоковой обработки данных на основе Apache Spark Streaming.
https://clck.ru/Y4Hhn
Как создать универсальный инструмент потоковой обработки данных, который быстро обрабатывает события (~ 5-10 млн. событий в секунду), масштабируется и имеет высокую степень надежности, используя Scala(Java), Apache Spark Streaming и PostgreSQL?
Евгений поделится, почему они остановили свой выбор на Apache Spark Streaming, и даст рекомендации в части его тюнинга, которые были проверены в бою (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻https://clck.ru/Y4HiT
#HighLoad2021 #BigData #машинное_обучение #архитектурный_кейс
25-26 ноября в Москве состоится крупнейшая в Европе IT-конференция HighLoad++ 2021.
🔥В программе — более 130 докладов, каждый из которых решает конкретную задачу. Но конференция — это не только доклады.
На HighLoad++ 2021 вы легко сможете пообщаться с ТОПами IT-индустрии и найти ответы на свои вопросы. А хотите получить персональную консультацию от разработчиков технологий, на которых построен ваш проект? Приходите! Что ещё? Узнаете, как устроены Тинькоф, Яндекс, ВКонтакте, МТС, Mail.ru, Avito и другие крупные проекты.
😎Влиться в профессиональное комьюнити, завязать полезные знакомства, обновить свою базу знаний и найти решение для сложных задач — всё это на одной площадке.
Приходите на HighLoad++ 2021! 25-26 ноября, Москва.
👉 https://clck.ru/Y5YBr
🔥В программе — более 130 докладов, каждый из которых решает конкретную задачу. Но конференция — это не только доклады.
На HighLoad++ 2021 вы легко сможете пообщаться с ТОПами IT-индустрии и найти ответы на свои вопросы. А хотите получить персональную консультацию от разработчиков технологий, на которых построен ваш проект? Приходите! Что ещё? Узнаете, как устроены Тинькоф, Яндекс, ВКонтакте, МТС, Mail.ru, Avito и другие крупные проекты.
😎Влиться в профессиональное комьюнити, завязать полезные знакомства, обновить свою базу знаний и найти решение для сложных задач — всё это на одной площадке.
Приходите на HighLoad++ 2021! 25-26 ноября, Москва.
👉 https://clck.ru/Y5YBr
👤 Александр Елисеев / DINS
📋 Доклад / Конфигурационное управление большой облачной инфраструктурой на основе OWL-онтологии и Neo4J.
https://clck.ru/Y8fPE
Инфраструктура телекоммуникационных сервисов, в разработке которых участвует DINS, включает десятки тысяч серверов в более чем 20 дата-центрах на 5 континентах, как в собственных дата-центрах, так и в публичных облаках.
Александр расскажет об опыте построения универсальной системы управления конфигурациями на основе графовой базы данных Neo4J, покажет, какие преимущества дает использование Онтологии на основе языка OWL для описания информационной модели инфраструктуры и как на её основе предоставить универсальный API для доступа к инфраструктурным данным.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #DevOps #эксплуатация #архитектурный_кейс
📋 Доклад / Конфигурационное управление большой облачной инфраструктурой на основе OWL-онтологии и Neo4J.
https://clck.ru/Y8fPE
Инфраструктура телекоммуникационных сервисов, в разработке которых участвует DINS, включает десятки тысяч серверов в более чем 20 дата-центрах на 5 континентах, как в собственных дата-центрах, так и в публичных облаках.
Александр расскажет об опыте построения универсальной системы управления конфигурациями на основе графовой базы данных Neo4J, покажет, какие преимущества дает использование Онтологии на основе языка OWL для описания информационной модели инфраструктуры и как на её основе предоставить универсальный API для доступа к инфраструктурным данным.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #DevOps #эксплуатация #архитектурный_кейс
👤 Денис Железцов / Wargaming
📋 Доклад / CMDB умер. Да здравствует CMDBNG!
https://clck.ru/Y8g3M
Это история про миграцию критического компонента всей инфраструктуры Wargaming — CMDBuild, от которой зависит весь продакшн, на новую несовместимую разработку практически без даунтайма.
Спойлер: раньше у Wargaming была Java с REST, а местами нет, API. Они заменили все это, и теперь у них graphql с теми же данными, что были раньше.
Денис расскажет, как они пришли к такому решению, с какими трудностями столкнулись, как мигрировали данные из старой схемы в новою. И как живется с Haskell в бэкенде в общем.
Встречаемся на HighLoad++ 2021 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #Базы_данных #Cистемы_хранения #архитектурный_кейс
📋 Доклад / CMDB умер. Да здравствует CMDBNG!
https://clck.ru/Y8g3M
Это история про миграцию критического компонента всей инфраструктуры Wargaming — CMDBuild, от которой зависит весь продакшн, на новую несовместимую разработку практически без даунтайма.
Спойлер: раньше у Wargaming была Java с REST, а местами нет, API. Они заменили все это, и теперь у них graphql с теми же данными, что были раньше.
Денис расскажет, как они пришли к такому решению, с какими трудностями столкнулись, как мигрировали данные из старой схемы в новою. И как живется с Haskell в бэкенде в общем.
Встречаемся на HighLoad++ 2021 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #Базы_данных #Cистемы_хранения #архитектурный_кейс
👤 Алексей Петруняка / MTS Digital
📋 Доклад / Эволюция сервиса таргетирования от ClickHouse, натянутого на глобус, до BitMagic-based in-memory engine.
https://clck.ru/Y8gyo
В основе сервиса МТС Маркетолог (сервис для запуска таргетированной рекламы) лежит Big Data МТС — анонимные данные о ~100 млн профилей, которые Big Data передает в МТС Маркетолог. Это ~60 млрд фактов о сегментах аудитории и их активности. И это только часть данных 😳.
Алексей расскажет, как они быстро создавали сервис таргетирования на основе ClickHouse, а потом перешли к быстрому in-memory-хранению и обработке данных. И оставили ClickHouse только в качестве «холодного» хранилища.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #видео #поиск #RTB #биллинги #архитектурный_кейс
📋 Доклад / Эволюция сервиса таргетирования от ClickHouse, натянутого на глобус, до BitMagic-based in-memory engine.
https://clck.ru/Y8gyo
В основе сервиса МТС Маркетолог (сервис для запуска таргетированной рекламы) лежит Big Data МТС — анонимные данные о ~100 млн профилей, которые Big Data передает в МТС Маркетолог. Это ~60 млрд фактов о сегментах аудитории и их активности. И это только часть данных 😳.
Алексей расскажет, как они быстро создавали сервис таргетирования на основе ClickHouse, а потом перешли к быстрому in-memory-хранению и обработке данных. И оставили ClickHouse только в качестве «холодного» хранилища.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #видео #поиск #RTB #биллинги #архитектурный_кейс
👤 Иван Соколов / Яндекс
📋 Доклад / Считаем число просмотров видео и зрителей трансляций для десятков миллионов пользователей в день.
https://clck.ru/Y8knt
Обычные продуктовые фичи могут стать нетривиальной задачей на больших масштабах. Иван поделится, как в Яндекс спроектировали две системы подсчета пользователей: общее число просмотров у видео и количество текущих зрителей у лайв-трансляций. Особенность в том, что параллельно удалось решить важные задачи:
* близкое к realtime время обновления счетчиков;
* возможность горизонтального масштабирования;
* отказоустойчивость при выпадении части мощностей.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #видео #поиск #RTB #биллинги #архитектурные_паттерны
📋 Доклад / Считаем число просмотров видео и зрителей трансляций для десятков миллионов пользователей в день.
https://clck.ru/Y8knt
Обычные продуктовые фичи могут стать нетривиальной задачей на больших масштабах. Иван поделится, как в Яндекс спроектировали две системы подсчета пользователей: общее число просмотров у видео и количество текущих зрителей у лайв-трансляций. Особенность в том, что параллельно удалось решить важные задачи:
* близкое к realtime время обновления счетчиков;
* возможность горизонтального масштабирования;
* отказоустойчивость при выпадении части мощностей.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #видео #поиск #RTB #биллинги #архитектурные_паттерны
👤 Сергей Трифонов / Яндекс
📋 Доклад / Эволюция акторной системы
https://clck.ru/Y8krz
Сколько подходов к созданию эффективных многопоточных приложений на С++ вы знаете?
Например, в Yandex Database (YDB) выбрали модель акторов и с нуля создали свою акторную систему. С тех пор прошло более 7 лет, и сегодня акторная система исполняется на десятках тысяч серверов. Чтобы пройти путь к созданию сложных модульных распределенных систем с помощью модели акторов им пришлось решить множество проблем. В докладе Сергея Трифонова обсудим некоторых из них:
- как совместить интерактивную нагрузку и фоновые задачи в одном приложении;
- как обеспечить гарантии latency и высокую утилизацию;
- как изолировать подсистемы и обойтись без резервирования CPU.
И, конечно, поделится, почему они выбрали именно модель акторов.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #архитектурные_паттерны
📋 Доклад / Эволюция акторной системы
https://clck.ru/Y8krz
Сколько подходов к созданию эффективных многопоточных приложений на С++ вы знаете?
Например, в Yandex Database (YDB) выбрали модель акторов и с нуля создали свою акторную систему. С тех пор прошло более 7 лет, и сегодня акторная система исполняется на десятках тысяч серверов. Чтобы пройти путь к созданию сложных модульных распределенных систем с помощью модели акторов им пришлось решить множество проблем. В докладе Сергея Трифонова обсудим некоторых из них:
- как совместить интерактивную нагрузку и фоновые задачи в одном приложении;
- как обеспечить гарантии latency и высокую утилизацию;
- как изолировать подсистемы и обойтись без резервирования CPU.
И, конечно, поделится, почему они выбрали именно модель акторов.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #архитектурные_паттерны
👤 Константин Гаврильчик / ЦИАН
📋 Доклад / Проектирование ML-ориентированной системы дедубликации контента на ЦИАН.
https://clck.ru/Y8m8F
Поговорим о том, как построить ML-ориентированную систему дедубликации объявлений недвижимости в условиях высокой нагрузки и при высоких требованиях к качеству работы системы.
Константин расскажет о том, как сохранить практически линейную масштабируемость системы при росте базы в N раз. Обсудим, как разметить данные, обучить модель (с использованием текстов, картинок и численных полей), а также мониторить ее деградацию в режиме реального времени.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #BigData #машинное_обучение #архитектурные_паттерны
📋 Доклад / Проектирование ML-ориентированной системы дедубликации контента на ЦИАН.
https://clck.ru/Y8m8F
Поговорим о том, как построить ML-ориентированную систему дедубликации объявлений недвижимости в условиях высокой нагрузки и при высоких требованиях к качеству работы системы.
Константин расскажет о том, как сохранить практически линейную масштабируемость системы при росте базы в N раз. Обсудим, как разметить данные, обучить модель (с использованием текстов, картинок и численных полей), а также мониторить ее деградацию в режиме реального времени.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #BigData #машинное_обучение #архитектурные_паттерны
👤 Илья Казначеев /MTS Cloud
📋 Доклад / Управляем состоянием распределенных систем без боли.
https://clck.ru/Y8mE5
Управление состоянием в сложном микросервисном ландшафте — задача не из легких. Как только процесс изменения затрагивает несколько слабосвязанных сущностей, проблема их консистентности встает поперек горла архитектора. На помощь приходят многофазные транзакции, Saga, X/Open XA... теперь вместо одной проблемы у вас две.
В процессе разработки сервиса Containerum Managed Kubernetes Илья с командой пошли другим путем — построили распределенную систему на основе доменной модели, управляемой конечными автоматами, и синхронно-асинхронной коммуникации между сервисами посредством gRPC и Kafka. Это позволило им управлять сложными иерархическими сущностями, разбросанными на полдюжины сервисов, гибко обрабатывать ошибки и забыть про неконсистентность и болезненные роллбэки.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021
📋 Доклад / Управляем состоянием распределенных систем без боли.
https://clck.ru/Y8mE5
Управление состоянием в сложном микросервисном ландшафте — задача не из легких. Как только процесс изменения затрагивает несколько слабосвязанных сущностей, проблема их консистентности встает поперек горла архитектора. На помощь приходят многофазные транзакции, Saga, X/Open XA... теперь вместо одной проблемы у вас две.
В процессе разработки сервиса Containerum Managed Kubernetes Илья с командой пошли другим путем — построили распределенную систему на основе доменной модели, управляемой конечными автоматами, и синхронно-асинхронной коммуникации между сервисами посредством gRPC и Kafka. Это позволило им управлять сложными иерархическими сущностями, разбросанными на полдюжины сервисов, гибко обрабатывать ошибки и забыть про неконсистентность и болезненные роллбэки.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021
👤 Иван Агарков / Wargaming
📋 Доклад / Инвентаризация пакетов, уязвимостей и обновлений на коленке
https://clck.ru/Y8siw
Вы когда-нибудь задумывались о том, сколько пакетов стоит в ваших системах? А каких они версий? А сможете быстро сказать, сколько версий nginx у вас сейчас существует? А какие там есть уязвимости? А какие уязвимости там были вчера? Вот и в Wargaming не могли.
А теперь — могут.
В этом докладе Иван Агарков расскажет о том, как сделать такую систему буквально на коленке за то время, пока он будет рассказывать этот доклад, и какие проблемы с её помощью можно решить.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #Безопасность #Системное_администрирование
📋 Доклад / Инвентаризация пакетов, уязвимостей и обновлений на коленке
https://clck.ru/Y8siw
Вы когда-нибудь задумывались о том, сколько пакетов стоит в ваших системах? А каких они версий? А сможете быстро сказать, сколько версий nginx у вас сейчас существует? А какие там есть уязвимости? А какие уязвимости там были вчера? Вот и в Wargaming не могли.
А теперь — могут.
В этом докладе Иван Агарков расскажет о том, как сделать такую систему буквально на коленке за то время, пока он будет рассказывать этот доклад, и какие проблемы с её помощью можно решить.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #Безопасность #Системное_администрирование
👤 Андрей Лескин / Qrator Labs
📋 Доклад / Mēris botnet — как это было
https://clck.ru/Y8sw4
Новый ботнет с чумовым названием Mēris не только поднял волну интереса со стороны широкой публики, но и доставил ряд проблем для сайтов и ресурсов.
Ботнет ботнету — рознь, и зачастую между атаками на разных клиентов можно увидеть подозрительные совпадения. Более того, в некоторых случаях можно проследить за развитием мысли атакующего и его попытки тем или иным методом пробить защиту ресурса.
Новый виток именованных ботнетов в очередной раз показал, что опасность хорошо организованной DDoS-атаки может быть не столько в самой атаке, сколько в “сопутствующем ущербе” от неё.
Приходите на доклад Андрея Лескина, обсудим новый боннет Mēris.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #безопасность
📋 Доклад / Mēris botnet — как это было
https://clck.ru/Y8sw4
Новый ботнет с чумовым названием Mēris не только поднял волну интереса со стороны широкой публики, но и доставил ряд проблем для сайтов и ресурсов.
Ботнет ботнету — рознь, и зачастую между атаками на разных клиентов можно увидеть подозрительные совпадения. Более того, в некоторых случаях можно проследить за развитием мысли атакующего и его попытки тем или иным методом пробить защиту ресурса.
Новый виток именованных ботнетов в очередной раз показал, что опасность хорошо организованной DDoS-атаки может быть не столько в самой атаке, сколько в “сопутствующем ущербе” от неё.
Приходите на доклад Андрея Лескина, обсудим новый боннет Mēris.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #безопасность
👤 Нарек Татевосян / Яндекс
📋 Доклад / Строим Security Сenter для Kubernetes-платформы.
https://clck.ru/Y8tDM
Традиционный подход — давайте обложим Kubernetes файерволлом — уже не работает. Kubernetes — это целый мир, платформа в платформе и защищать его необходимо, исходя из ее особенностей. И подходов к защите Kubernetes много, и нужно все их учитывать.
В докладе Нарек Татевосян рассмотрит двухэтапный подход к такому хранилищу, когда слой сырых данных отправляется в промежуточное объектное хранилище, а потом перекладывается в SIEM-систему. В Яндексе реализовали первый слой в виде S3-хранилища, а в качестве SIEM-системы использовали Elastic.
По итогам доклада вы поймете, как интегрировать множество opensource и вендорских инструментов анализа состояния Kuberntes-инфраструктуры в свою SIEM-систему. Также обсудим, как воспользоваться terraform-модулями, которые уже внедряют описанный подход, и как их можно адаптировать для своей iaas-инфрасруктуры.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписан
📋 Доклад / Строим Security Сenter для Kubernetes-платформы.
https://clck.ru/Y8tDM
Традиционный подход — давайте обложим Kubernetes файерволлом — уже не работает. Kubernetes — это целый мир, платформа в платформе и защищать его необходимо, исходя из ее особенностей. И подходов к защите Kubernetes много, и нужно все их учитывать.
В докладе Нарек Татевосян рассмотрит двухэтапный подход к такому хранилищу, когда слой сырых данных отправляется в промежуточное объектное хранилище, а потом перекладывается в SIEM-систему. В Яндексе реализовали первый слой в виде S3-хранилища, а в качестве SIEM-системы использовали Elastic.
По итогам доклада вы поймете, как интегрировать множество opensource и вендорских инструментов анализа состояния Kuberntes-инфраструктуры в свою SIEM-систему. Также обсудим, как воспользоваться terraform-модулями, которые уже внедряют описанный подход, и как их можно адаптировать для своей iaas-инфрасруктуры.
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписан
👤 Омар Ганиев / DeteAct
📋 Доклад / DoS <-> Pwn.
https://clck.ru/Y8uSF
💥Доклад Омар Ганиева про уязвимости и про DoS. Казалось бы, какая связь?
Мы узнаем про хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
Омар расскажет про интересные прикладные и канальные атаки из практики DDoS-тестирования разных сервисов (ритейл, соц. сети, банки и т.д.).
Кроме этого, можно не останавливаться на достигнутом отказе в обслуживании.
Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям. Можно обойти защиту или взломать приложение, хитро повалив его.
✅Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #безопасность
📋 Доклад / DoS <-> Pwn.
https://clck.ru/Y8uSF
💥Доклад Омар Ганиева про уязвимости и про DoS. Казалось бы, какая связь?
Мы узнаем про хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
Омар расскажет про интересные прикладные и канальные атаки из практики DDoS-тестирования разных сервисов (ритейл, соц. сети, банки и т.д.).
Кроме этого, можно не останавливаться на достигнутом отказе в обслуживании.
Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям. Можно обойти защиту или взломать приложение, хитро повалив его.
✅Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #безопасность
👤 Дмитрий Мишунин / HashEx
📋 Доклад / Современные векторы атак на DeFi-проекты
https://clck.ru/Y8uyx
DeFi — быстрорастущий рынок, заманивающий своими высокодоходными ставками. Любой высокий доход сопровождается и высоким риском. В докладе Дмитрий Мишунин расскажет про контролируемые (минимизируемые) риски. Из $100B+, вложенных в DeFi, более $14B подверглось атакам и хищениям. При этом речь идет только про публично известные случаи. По оценке HashEx, непубличные хищения могут увеличить общий размер утрат на 50%.
Кроме этого вы узнаете:
- DeFi-рынок. Размер. Темпы роста. Доходы и потери за год существования рынка. Типы проектов.
- Контролируемые риски со стороны создателя и мейнтейнера проекта, их цена, объем потерь.
- Практический разбор векторов атак ($5B+ потерянных средств).
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #архитектурные_паттерны
📋 Доклад / Современные векторы атак на DeFi-проекты
https://clck.ru/Y8uyx
DeFi — быстрорастущий рынок, заманивающий своими высокодоходными ставками. Любой высокий доход сопровождается и высоким риском. В докладе Дмитрий Мишунин расскажет про контролируемые (минимизируемые) риски. Из $100B+, вложенных в DeFi, более $14B подверглось атакам и хищениям. При этом речь идет только про публично известные случаи. По оценке HashEx, непубличные хищения могут увеличить общий размер утрат на 50%.
Кроме этого вы узнаете:
- DeFi-рынок. Размер. Темпы роста. Доходы и потери за год существования рынка. Типы проектов.
- Контролируемые риски со стороны создателя и мейнтейнера проекта, их цена, объем потерь.
- Практический разбор векторов атак ($5B+ потерянных средств).
Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY
#HighLoad2021 #архитектуры #масштабируемость #архитектурные_паттерны
👤 Евгений Россинский / ivi
📋 Доклад / Генерация хайлайтов
https://clck.ru/YAXPG
🎞 Highlight — небольшое видео, показывающее наиболее яркие моменты из видео. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.
Перед тем, как ринуться с головой в массовую генерацию новых видеофайлов, в ivi провели полноценный А/B-тест, который доказал существенно лучшую конверсию в просмотр у контента с доп. материалами. Была поставлена задача: создать механизм генерации highlight’ов для 80 000 единиц контента, нескольких типов с разной длительностью.
Евгений Россинский расскажет об алгоритмической и инженерной частях создания Highlight’ов. Особое внимание будет уделено эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов.
✅ Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/YAXPv
#HighLoad2021 #видео
📋 Доклад / Генерация хайлайтов
https://clck.ru/YAXPG
🎞 Highlight — небольшое видео, показывающее наиболее яркие моменты из видео. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.
Перед тем, как ринуться с головой в массовую генерацию новых видеофайлов, в ivi провели полноценный А/B-тест, который доказал существенно лучшую конверсию в просмотр у контента с доп. материалами. Была поставлена задача: создать механизм генерации highlight’ов для 80 000 единиц контента, нескольких типов с разной длительностью.
Евгений Россинский расскажет об алгоритмической и инженерной частях создания Highlight’ов. Особое внимание будет уделено эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов.
✅ Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/YAXPv
#HighLoad2021 #видео
👤 Вадим Щемелинин / СИБУР
📋 Доклад / Рабочая видеоаналитика в нефтехимии
https://clck.ru/YBT5y
Вадим Щемелинин три года занимается видеоаналитикой в нефтехимии, а до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
Вадим поделится, как внедряли технологии компьютерного зрения в нефтехимическом холдинге СИБУР. С какими сложностями столкнулись в разработке и как их решали. Почему inhouse- разработка оказалась необходимой для решения этой задачи.
✅ Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/YBT6W
#HighLoad2021 #видео #нейронные_сети #искусственный_интеллект
📋 Доклад / Рабочая видеоаналитика в нефтехимии
https://clck.ru/YBT5y
Вадим Щемелинин три года занимается видеоаналитикой в нефтехимии, а до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
Вадим поделится, как внедряли технологии компьютерного зрения в нефтехимическом холдинге СИБУР. С какими сложностями столкнулись в разработке и как их решали. Почему inhouse- разработка оказалась необходимой для решения этой задачи.
✅ Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/YBT6W
#HighLoad2021 #видео #нейронные_сети #искусственный_интеллект