Всем привет!
Как сделать стрим в PostgreSQL?
Раньше, когда пытались стримить в PostgreSQL, то сталкивались с тем, что рос WAL-трафик и на стрим тратилось гигантское время.
Но всё меняется, и команда Postgres оптимизировала TOAST так, что теперь возможна быстрая запись потока бинарных данных. Об этой оптимизации (ее планируется закоммитить для следующей версии PG15) — сегодняшняя статья Олега Бартунова.
Читать📍https://habr.com/ru/company/oleg-bunin/blog/646981/
Как сделать стрим в PostgreSQL?
Раньше, когда пытались стримить в PostgreSQL, то сталкивались с тем, что рос WAL-трафик и на стрим тратилось гигантское время.
Но всё меняется, и команда Postgres оптимизировала TOAST так, что теперь возможна быстрая запись потока бинарных данных. Об этой оптимизации (ее планируется закоммитить для следующей версии PG15) — сегодняшняя статья Олега Бартунова.
Читать📍https://habr.com/ru/company/oleg-bunin/blog/646981/
Хабр
Как сделать стрим в Postgres?
На одной конференции мне задали вопрос (спасибо Александру!): как сделать стрим в PostgreSQL? Представьте, что имеется bytea и вы к нему хотите что-то дописать. Люди столкнулись с тем, что на это в...
👍2
Всем привет!
Продолжаем знакомить вас с нашими спикерами. На конференции Highload++ выступит Алексей Петруняка из MTS Digital.
Алексей обсудит тему: «Таргетирование в МТС Маркетолог: ClickHouse, C++ и битовые маски».
📋 https://clck.ru/apedp
Рекламу нельзя слать слишком часто, поэтому нужно сделать интерфейс, где менеджеры смогут "бронировать" миллионы выбранных по таргетам профилей из 100-миллионной базы.
В своем докладе Алексей расскажет, как они сначала реализовали сервис на основе ClickHouse, сложив в него около 60 миллиардов фактов о сегментах аудитории, а потом из-за того, что запрос на такое "бронирование" выполняется слишком долго, плюс нужно пересчитывать результаты по каждому клику в интерфейсе, перешли на быстрое in-memory-хранение и обработку данных для этих операций, оставляя ClickHouse только в качестве персистентного хранилища.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте — https://clck.ru/apeeF
Продолжаем знакомить вас с нашими спикерами. На конференции Highload++ выступит Алексей Петруняка из MTS Digital.
Алексей обсудит тему: «Таргетирование в МТС Маркетолог: ClickHouse, C++ и битовые маски».
📋 https://clck.ru/apedp
Рекламу нельзя слать слишком часто, поэтому нужно сделать интерфейс, где менеджеры смогут "бронировать" миллионы выбранных по таргетам профилей из 100-миллионной базы.
В своем докладе Алексей расскажет, как они сначала реализовали сервис на основе ClickHouse, сложив в него около 60 миллиардов фактов о сегментах аудитории, а потом из-за того, что запрос на такое "бронирование" выполняется слишком долго, плюс нужно пересчитывать результаты по каждому клику в интерфейсе, перешли на быстрое in-memory-хранение и обработку данных для этих операций, оставляя ClickHouse только в качестве персистентного хранилища.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте — https://clck.ru/apeeF
💥 С 1 февраля цены на Highload++ Foundation вырастут!
Вы можете забронировать билет, зафиксировать цену ещё на несколько дней и оплатить позже.
Чем ближе к конференции, тем дороже!
Переходите на сайт , изучайте программу и бронируйте билет до повышения 👉🏻 https://clck.ru/apwSu
Вы можете забронировать билет, зафиксировать цену ещё на несколько дней и оплатить позже.
Чем ближе к конференции, тем дороже!
Переходите на сайт , изучайте программу и бронируйте билет до повышения 👉🏻 https://clck.ru/apwSu
Всем привет!
Евгений Ненахов расскажет про потоковую обработку данных в центре BigData MTS Digital.
Евгений занимается разработкой на Scala, Java преимущественно в проектах BigData. Участвовал в разработке DataLake для нескольких крупных компаний. Преподаватель фундаментальной информатики и информационных технологий в вузе.
📋 https://clck.ru/aq5Ly
В своем докладе Евгений расскажет, как они в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Даст проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет, как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
👉 Купить билет уже сейчас можно на сайте — https://clck.ru/aq5LJ
Евгений Ненахов расскажет про потоковую обработку данных в центре BigData MTS Digital.
Евгений занимается разработкой на Scala, Java преимущественно в проектах BigData. Участвовал в разработке DataLake для нескольких крупных компаний. Преподаватель фундаментальной информатики и информационных технологий в вузе.
📋 https://clck.ru/aq5Ly
В своем докладе Евгений расскажет, как они в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Даст проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет, как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
👉 Купить билет уже сейчас можно на сайте — https://clck.ru/aq5LJ
👍3
Друзья, всем привет!
💥 Мы запускаем открытое голосование по лучшим Open Source решениям.
Эксперты отобрали 16 OpenSource-решений, авторы которых продолжат борьбу за право заявить о своем решении многотысячной аудитории хайлоадеров!
В голосовании могут принять участие абсолютно все, так что зовите своих коллег, друзей и знакомых 😊
✅ 26 февраля мы подведем итоги и выберем 5 лучших авторов (по итогам голосования).
👉 https://opensource.highload.ru/
💥 Мы запускаем открытое голосование по лучшим Open Source решениям.
Эксперты отобрали 16 OpenSource-решений, авторы которых продолжат борьбу за право заявить о своем решении многотысячной аудитории хайлоадеров!
В голосовании могут принять участие абсолютно все, так что зовите своих коллег, друзей и знакомых 😊
✅ 26 февраля мы подведем итоги и выберем 5 лучших авторов (по итогам голосования).
👉 https://opensource.highload.ru/
Всем привет!
О том, как построили платформу для рассылок таргетированных уведомлений пользователям AliExpress Россия – узнаем на выступлении нашего спикера Руслана Гилемзянова (AliExpress Россия).
📋 https://clck.ru/aqnK8
На конференции Руслан расскажет, как используя гетерогенные источники данных внутри AliExpress Россия, они построили платформу на базе семейства продуктов Apache (Hadoop, Hive, Flink, Kafka, HBase и т.д.), позволяющую отсылать персонализированные уведомления пользователям.
Также в ходе доклада затронет следующие вопросы:
* как они пришли к созданию собственной платформы и почему не взяли что-то готовое на рынке;
* как платформа работает под капотом;
* и можно ли построить собственную платформу обработки данных на аудиторию в десятки миллионов пользователей, не имея в запасе внушительных вычислительных мощностей AliExpress Россия (спойлер: можно).
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/aqnL4
О том, как построили платформу для рассылок таргетированных уведомлений пользователям AliExpress Россия – узнаем на выступлении нашего спикера Руслана Гилемзянова (AliExpress Россия).
📋 https://clck.ru/aqnK8
На конференции Руслан расскажет, как используя гетерогенные источники данных внутри AliExpress Россия, они построили платформу на базе семейства продуктов Apache (Hadoop, Hive, Flink, Kafka, HBase и т.д.), позволяющую отсылать персонализированные уведомления пользователям.
Также в ходе доклада затронет следующие вопросы:
* как они пришли к созданию собственной платформы и почему не взяли что-то готовое на рынке;
* как платформа работает под капотом;
* и можно ли построить собственную платформу обработки данных на аудиторию в десятки миллионов пользователей, не имея в запасе внушительных вычислительных мощностей AliExpress Россия (спойлер: можно).
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/aqnL4
👍2
Привет, друзья!
💥 Одним из спикеров HighLoad++ Foundation будет Александр Елисеев.
Александр в данный момент системный архитектор в DINS, занимается архитектурой внутренних сервисов, инфраструктурой и автоматизацией.
📋 https://clck.ru/aqy6S
Инфраструктура телекоммуникационных сервисов, в разработке которых участвует DINS, включает десятки тысяч серверов в более чем 20 дата-центрах на 5 континентах, как в собственных дата-центрах, так и в публичных облаках.
Деплоймент, мониторинг, обеспечение безопасности и другие задачи эксплуатации таких больших и неоднородных информационных систем требуют наличия продвинутых систем управления конфигурацией — configuration management databases (CMDB), являющейся "единым источником правды" обо всём многообразии элементов инфраструктуры и их взаимосвязях.
В своем докладе Александр расскажет об их опыте построения универсальной системы управления конфигурациями на основе графовой базы данных Neo4J, покажет, какие преимущества дает использование Онтологии на основе языка OWL для описания информационной модели инфраструктуры и как на её основе предоставить универсальный API для доступа к инфраструктурным данным.
Помимо этого, рассмотрит реальные практические кейсы применения CMDB, такие как: организация "продвинутого" мониторинга бизнес-сервисов с возможностью агрегации событий и поиском первопричин; построение heat-map'ов работоспособности сервиса; безопасное планирование сервисных работ и другие.
✅ Встречаемся 17 и 18 марта в Москве в Крокус Экспо!
Расписание уже на сайте! Планируйте свое участие. Купить билет можно тут 👉 https://clck.ru/aqy73
💥 Одним из спикеров HighLoad++ Foundation будет Александр Елисеев.
Александр в данный момент системный архитектор в DINS, занимается архитектурой внутренних сервисов, инфраструктурой и автоматизацией.
📋 https://clck.ru/aqy6S
Инфраструктура телекоммуникационных сервисов, в разработке которых участвует DINS, включает десятки тысяч серверов в более чем 20 дата-центрах на 5 континентах, как в собственных дата-центрах, так и в публичных облаках.
Деплоймент, мониторинг, обеспечение безопасности и другие задачи эксплуатации таких больших и неоднородных информационных систем требуют наличия продвинутых систем управления конфигурацией — configuration management databases (CMDB), являющейся "единым источником правды" обо всём многообразии элементов инфраструктуры и их взаимосвязях.
В своем докладе Александр расскажет об их опыте построения универсальной системы управления конфигурациями на основе графовой базы данных Neo4J, покажет, какие преимущества дает использование Онтологии на основе языка OWL для описания информационной модели инфраструктуры и как на её основе предоставить универсальный API для доступа к инфраструктурным данным.
Помимо этого, рассмотрит реальные практические кейсы применения CMDB, такие как: организация "продвинутого" мониторинга бизнес-сервисов с возможностью агрегации событий и поиском первопричин; построение heat-map'ов работоспособности сервиса; безопасное планирование сервисных работ и другие.
✅ Встречаемся 17 и 18 марта в Москве в Крокус Экспо!
Расписание уже на сайте! Планируйте свое участие. Купить билет можно тут 👉 https://clck.ru/aqy73
Всем привет!
💥 В рамках Highload++ Foundation приглашаем вас в экосистему Яндекса!
Трек Яндекс - это 2 полных дня, объединенные разными темами.
🔹 17 марта мы погрузимся в надежность и отказоустойчивость (проблемы больших систем).
🔹 18 марта обсудим Machine learning в Highload.
В следующих публикациях будем знакомить вас со спикерами и программой Трек Яндекса более подробно.
⚡️Расписание зала Трантор уже опубликовано на сайте - https://clck.ru/arTWW
✅ Если вы еще не забронировали билет, то самое время это сделать - https://clck.ru/arRAU
💥 В рамках Highload++ Foundation приглашаем вас в экосистему Яндекса!
Трек Яндекс - это 2 полных дня, объединенные разными темами.
🔹 17 марта мы погрузимся в надежность и отказоустойчивость (проблемы больших систем).
🔹 18 марта обсудим Machine learning в Highload.
В следующих публикациях будем знакомить вас со спикерами и программой Трек Яндекса более подробно.
⚡️Расписание зала Трантор уже опубликовано на сайте - https://clck.ru/arTWW
✅ Если вы еще не забронировали билет, то самое время это сделать - https://clck.ru/arRAU
Привет, друзья!
💥 Приходите послушать выступление Евгения Россинского (ivi), который выступит в рамках Яндекс трека с докладом «Генерация хайлайтов».
📋 https://clck.ru/arKxU
Highlight — небольшое видео, показывающее наиболее яркие моменты из фильма. В ivi научились создавать highlight'ы автоматически, используя модели computer vision и pipeline подготовки видео к стримингу.
О том, каким образом это получается, Евгений расскажет в своем докладе.
Highlight очень похож на трейлер, однако трейлер, как правило, длиннее, в то время как длительность highlight’а обычно не превышает пары десятков секунд. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.
На выступлении Евгений раскроет аспекты алгоритмической и инженерной частей создания Highlight’ов. Особое внимание он планирует уделить эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов. А также расскажет о том, как они подключали внешние облака, когда ресурсов своего облака не хватило, затронет вопрос интеграции моделей требующих больших вычислительных ресурсов и времени в системы массового обслуживания.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/arKvS
💥 Приходите послушать выступление Евгения Россинского (ivi), который выступит в рамках Яндекс трека с докладом «Генерация хайлайтов».
📋 https://clck.ru/arKxU
Highlight — небольшое видео, показывающее наиболее яркие моменты из фильма. В ivi научились создавать highlight'ы автоматически, используя модели computer vision и pipeline подготовки видео к стримингу.
О том, каким образом это получается, Евгений расскажет в своем докладе.
Highlight очень похож на трейлер, однако трейлер, как правило, длиннее, в то время как длительность highlight’а обычно не превышает пары десятков секунд. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.
На выступлении Евгений раскроет аспекты алгоритмической и инженерной частей создания Highlight’ов. Особое внимание он планирует уделить эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов. А также расскажет о том, как они подключали внешние облака, когда ресурсов своего облака не хватило, затронет вопрос интеграции моделей требующих больших вычислительных ресурсов и времени в системы массового обслуживания.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/arKvS
Всем привет!
Как сделать рекомендации сообществ ВКонтакте, чтобы за них не было стыдно ни перед десятками миллионов пользователей, ни перед пацанами – расскажет Евгений Малютин (ВКонтакте).
📋 https://clck.ru/arMPu
Рекомендательная система может стать как черной дырой, пожирающей железо и время разработчиков и не приносящей результат, так и управляемой точкой роста для продукта. В случае b2c-продуктов: социальных сетей, e-commerce или контентных платформ ставки еще выше — от качества рекомендаций напрямую зависит Life time value пользователя и ключевые метрики компании.
В своем докладе Евгений разберет, как работают рекомендательные системы и какие возникают проблемы, когда нужно рекомендовать контент 97 млн пользователей и отдавать результат на скорости 10k RPS. Покажет, как логически и технически устроены подобные системы на примере рекомендаций сообществ ВКонтакте. Обсудит плюсы и минусы трех классов систем: офлайн, онлайн и асинхронные, чем стоит руководствоваться при выборе и как жить c последствиями.
Также Евгений поговорит о том, как устроены рекомендательные системы не с точки зрения архитектуры моделей, а с точки зрения архитектуры сервиса: где искать кандидатов для рекомендаций, как их ранжировать и зачем пост-процессить результат. Из доклада вы узнаете, как из понятных кубиков собрать свою рекомендательную систему, а с помощью грамотной работы с инфраструктурой легко экспериментировать и итеративно её улучшать.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте — https://clck.ru/arMNQ
Как сделать рекомендации сообществ ВКонтакте, чтобы за них не было стыдно ни перед десятками миллионов пользователей, ни перед пацанами – расскажет Евгений Малютин (ВКонтакте).
📋 https://clck.ru/arMPu
Рекомендательная система может стать как черной дырой, пожирающей железо и время разработчиков и не приносящей результат, так и управляемой точкой роста для продукта. В случае b2c-продуктов: социальных сетей, e-commerce или контентных платформ ставки еще выше — от качества рекомендаций напрямую зависит Life time value пользователя и ключевые метрики компании.
В своем докладе Евгений разберет, как работают рекомендательные системы и какие возникают проблемы, когда нужно рекомендовать контент 97 млн пользователей и отдавать результат на скорости 10k RPS. Покажет, как логически и технически устроены подобные системы на примере рекомендаций сообществ ВКонтакте. Обсудит плюсы и минусы трех классов систем: офлайн, онлайн и асинхронные, чем стоит руководствоваться при выборе и как жить c последствиями.
Также Евгений поговорит о том, как устроены рекомендательные системы не с точки зрения архитектуры моделей, а с точки зрения архитектуры сервиса: где искать кандидатов для рекомендаций, как их ранжировать и зачем пост-процессить результат. Из доклада вы узнаете, как из понятных кубиков собрать свою рекомендательную систему, а с помощью грамотной работы с инфраструктурой легко экспериментировать и итеративно её улучшать.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте — https://clck.ru/arMNQ
Привет, друзья!
💥Продолжаем знакомить вас со спикерами Яндекс трека в рамках Highload++ Foundation.
Про нейросетевые рекомендации сообществ поговорим с Любовью Пекша (ВКонтакте).
📋 https://clck.ru/arRDV
Главная проблема красивых нейросетевых подходов в рекомендациях — их только показывают.
На практике и тем более на масштабах сервиса с миллионами пользователей результаты обычно получаются совсем не такие, как в статьях. Даже опубликованные крупными продуктовыми компаниями сети для боевой реализации требуют много трюков — в том числе грязных.
На примере рекомендаций сообществ ВКонтакте, Любовь расскажет, как сделать нейросетевую архитектуру для рекома, которая действительно хорошо работает и даже (маленький спойлер) приносит приросты не только для команды Сообществ.
Главное преимущество нейросетевого подхода — гибкость архитектуры. Решение разработчиков «ВКонтакте» позволяет им инкорпорировать в рекомендательную систему различные требования. Например: дайверсити, бустинг маленьких сообществ, качественные эмбеддинги сообществ. Также гибкая архитектура позволяет использовать разные метаданные: от счетчиков взаимодействий пользователя с контентом до эмбеддингов текста и картинок. Но сделать так, чтобы эти метаданные действительно улучшали алгоритм, не так просто, как кажется, и Любовь расскажет, как они в ВКонтакте решили эту проблему.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/arRFv
💥Продолжаем знакомить вас со спикерами Яндекс трека в рамках Highload++ Foundation.
Про нейросетевые рекомендации сообществ поговорим с Любовью Пекша (ВКонтакте).
📋 https://clck.ru/arRDV
Главная проблема красивых нейросетевых подходов в рекомендациях — их только показывают.
На практике и тем более на масштабах сервиса с миллионами пользователей результаты обычно получаются совсем не такие, как в статьях. Даже опубликованные крупными продуктовыми компаниями сети для боевой реализации требуют много трюков — в том числе грязных.
На примере рекомендаций сообществ ВКонтакте, Любовь расскажет, как сделать нейросетевую архитектуру для рекома, которая действительно хорошо работает и даже (маленький спойлер) приносит приросты не только для команды Сообществ.
Главное преимущество нейросетевого подхода — гибкость архитектуры. Решение разработчиков «ВКонтакте» позволяет им инкорпорировать в рекомендательную систему различные требования. Например: дайверсити, бустинг маленьких сообществ, качественные эмбеддинги сообществ. Также гибкая архитектура позволяет использовать разные метаданные: от счетчиков взаимодействий пользователя с контентом до эмбеддингов текста и картинок. Но сделать так, чтобы эти метаданные действительно улучшали алгоритм, не так просто, как кажется, и Любовь расскажет, как они в ВКонтакте решили эту проблему.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/arRFv
Всем привет!
💥Одним из спикеров Яндекс трека будет Владислав Пятков.
Владислав более трёх лет работает в GridGain: начал с работы в поддержке, затем перешел в команду ядра. Занимается разработкой распределённых протоколов Apache Ignite. Также проводит много времени, изучая профили нагрузки клиентских решений.
📋 https://clck.ru/asgtu
При изменении количества узлов кластера распределенной системы важно правильно организовать перераспределение данных между узлами. Сдерживающим фактором процесса является скорость передачи данных внутри сетевого слоя, и здесь размер передаваемой информации играет решающую роль. Поэтому выделяются случаи, в которых принципиально возможно перемещение только части информации.
С другой стороны, для потребителя важно, чтобы обслуживание запросов к базе данных не прекращалось, более того, процесс ребалансирования должен оказывать минимальное влияние на другие процессы. Учитывая оба замечания, требуется процедура, которая переводит текущее состояние узла в соответствие с состоянием на кластере.
В докладе будет представлена концепция исторического ребаланса, реализованная в распределенной базе данных Apache Ignite:
* когда необходим ребаланс;
* метод восстановления согласованности данных между репликами;
* проблема обработки нагрузки;
* обработка удалённых записей;
* когда объём переносимых данных можно значительно уменьшить;
* компромисс и оптимизации;
* обработка сбоев.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/asgvD
💥Одним из спикеров Яндекс трека будет Владислав Пятков.
Владислав более трёх лет работает в GridGain: начал с работы в поддержке, затем перешел в команду ядра. Занимается разработкой распределённых протоколов Apache Ignite. Также проводит много времени, изучая профили нагрузки клиентских решений.
📋 https://clck.ru/asgtu
При изменении количества узлов кластера распределенной системы важно правильно организовать перераспределение данных между узлами. Сдерживающим фактором процесса является скорость передачи данных внутри сетевого слоя, и здесь размер передаваемой информации играет решающую роль. Поэтому выделяются случаи, в которых принципиально возможно перемещение только части информации.
С другой стороны, для потребителя важно, чтобы обслуживание запросов к базе данных не прекращалось, более того, процесс ребалансирования должен оказывать минимальное влияние на другие процессы. Учитывая оба замечания, требуется процедура, которая переводит текущее состояние узла в соответствие с состоянием на кластере.
В докладе будет представлена концепция исторического ребаланса, реализованная в распределенной базе данных Apache Ignite:
* когда необходим ребаланс;
* метод восстановления согласованности данных между репликами;
* проблема обработки нагрузки;
* обработка удалённых записей;
* когда объём переносимых данных можно значительно уменьшить;
* компромисс и оптимизации;
* обработка сбоев.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/asgvD
Привет, друзья!
В своём докладе Юрий Дзюбан из Авито расскажет о том, как они спроектировали, разработали и запустили в эксплуатацию root cause detector.
📋 https://clck.ru/atkYj
В Авито несколько дата-центров, несколько тысяч серверов и несколько тысяч микросервисов. В момент крупных аварий достаточно сложно выявить корневую причину её возникновения. Вместе с тем такие причины часто являются типичными.
Разработчики решили создать инструмент, который помог бы им быстро проанализировать большую часть сценариев отказа для конкретно взятого сервиса: состояние этого сервиса, состояние инфраструктуры и т.д., — и на основе результатов анализа определить причину сбоя.
Этот доклад будет полезен для тех, кто хочет начать применять практику root cause-анализа у себя в компании с целью уменьшения времени жизни инцидентов.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/atka7
В своём докладе Юрий Дзюбан из Авито расскажет о том, как они спроектировали, разработали и запустили в эксплуатацию root cause detector.
📋 https://clck.ru/atkYj
В Авито несколько дата-центров, несколько тысяч серверов и несколько тысяч микросервисов. В момент крупных аварий достаточно сложно выявить корневую причину её возникновения. Вместе с тем такие причины часто являются типичными.
Разработчики решили создать инструмент, который помог бы им быстро проанализировать большую часть сценариев отказа для конкретно взятого сервиса: состояние этого сервиса, состояние инфраструктуры и т.д., — и на основе результатов анализа определить причину сбоя.
Этот доклад будет полезен для тех, кто хочет начать применять практику root cause-анализа у себя в компании с целью уменьшения времени жизни инцидентов.
✅ До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/atka7
Всем привет!
Андрей Лескин обладает более чем десятилетним опытом коммерческой разработки, программирования и построения высокопроизводительных аппаратных и программных решений.
Работая в Qrator Labs с 2013 года, прошел путь от разработчика до технического директора компании.
📋 https://clck.ru/atu5z
Новый ботнет с чумовым названием не только поднял волну интереса со стороны широкой публики, но и доставил ряд проблем для целого ряда сайтов и ресурсов.
На примере данного ботнета можно показать, что ботнет ботнету — рознь, и зачастую между атаками на разных клиентов можно увидеть подозрительные совпадения. Более того, в некоторых случаях можно проследить за развитием мысли атакующего и его попытки тем или иным методом пробить защиту ресурса.
В дополнение, новый виток именованных ботнетов в очередной раз показал, что опасность хорошо организованной DDoS-атаки может быть не столько в самой атаке, сколько в “сопутствующем ущербе” от неё.
Обо всем этом Андрей расскажет на своем выступлении и покажет на конкретных примерах, что из себя представляет новый ботнет Mēris.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте - https://clck.ru/atu6E
Андрей Лескин обладает более чем десятилетним опытом коммерческой разработки, программирования и построения высокопроизводительных аппаратных и программных решений.
Работая в Qrator Labs с 2013 года, прошел путь от разработчика до технического директора компании.
📋 https://clck.ru/atu5z
Новый ботнет с чумовым названием не только поднял волну интереса со стороны широкой публики, но и доставил ряд проблем для целого ряда сайтов и ресурсов.
На примере данного ботнета можно показать, что ботнет ботнету — рознь, и зачастую между атаками на разных клиентов можно увидеть подозрительные совпадения. Более того, в некоторых случаях можно проследить за развитием мысли атакующего и его попытки тем или иным методом пробить защиту ресурса.
В дополнение, новый виток именованных ботнетов в очередной раз показал, что опасность хорошо организованной DDoS-атаки может быть не столько в самой атаке, сколько в “сопутствующем ущербе” от неё.
Обо всем этом Андрей расскажет на своем выступлении и покажет на конкретных примерах, что из себя представляет новый ботнет Mēris.
✅ Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Купить билет уже сейчас можно на сайте - https://clck.ru/atu6E