Всем привет!
До главной конференции этой весны осталось совсем немного! И мы продолжаем знакомить вас со спикерами HighLoad ++, которые выступят 13 и 14 мая в Москве.
Про Pluggable TOAST нам расскажут Олег Бартунов, Никита Глухов и Федор Сигаев из Postgres Professional.
📋 https://clck.ru/gjETQ
Одной из "родовых" проблем постгреса является технология TOAST (The Oversized-Attribute Storage Technique или методика хранения сверхбольших атрибутов) в ее применении к современным типам данных с внутренней структурой, наиболее ярким представителем которых является JSONB. Проблема состоит в том, что TOAST работает с JSONB, как с черным ящиком, и это приводит к очень большим оверхедам как в простом доступе по ключу, так и в обновлении JSONB.
Разработчики расскажут про свою работу по улучшению TOAST, которую они научили работать с типом данных так, как сам тип считает наиболее эффективно, то есть теперь большие колонки могут "нарезаться "и сжиматься не единым для всех способом, а с учетом особенностей конкретного типа данных, что в случае JSONB означает громадное улучшение производительности, про которое мы говорили весь прошлый год. Pluggable TOAST позволит реализовать все наши улучшения в виде расширений, и речь пойдет про несколько примеров его использования — стрим bytea в постгрес со скоростью диска и JSONB. Спикеры планируют закоммитить Pluggable TOAST в ядро PG15, чтобы иметь возможность впоследствии доработать эти примеры и отдать в сообщество как расширения.
✅ Спешите запланировать своё участие в HighLoad++. Расписание и билеты https://clck.ru/gjEUM
До главной конференции этой весны осталось совсем немного! И мы продолжаем знакомить вас со спикерами HighLoad ++, которые выступят 13 и 14 мая в Москве.
Про Pluggable TOAST нам расскажут Олег Бартунов, Никита Глухов и Федор Сигаев из Postgres Professional.
📋 https://clck.ru/gjETQ
Одной из "родовых" проблем постгреса является технология TOAST (The Oversized-Attribute Storage Technique или методика хранения сверхбольших атрибутов) в ее применении к современным типам данных с внутренней структурой, наиболее ярким представителем которых является JSONB. Проблема состоит в том, что TOAST работает с JSONB, как с черным ящиком, и это приводит к очень большим оверхедам как в простом доступе по ключу, так и в обновлении JSONB.
Разработчики расскажут про свою работу по улучшению TOAST, которую они научили работать с типом данных так, как сам тип считает наиболее эффективно, то есть теперь большие колонки могут "нарезаться "и сжиматься не единым для всех способом, а с учетом особенностей конкретного типа данных, что в случае JSONB означает громадное улучшение производительности, про которое мы говорили весь прошлый год. Pluggable TOAST позволит реализовать все наши улучшения в виде расширений, и речь пойдет про несколько примеров его использования — стрим bytea в постгрес со скоростью диска и JSONB. Спикеры планируют закоммитить Pluggable TOAST в ядро PG15, чтобы иметь возможность впоследствии доработать эти примеры и отдать в сообщество как расширения.
✅ Спешите запланировать своё участие в HighLoad++. Расписание и билеты https://clck.ru/gjEUM
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍3
Экспертные зоны - получите консультацию от экспертов!
HighLoad++ Foundation выходит за пределы традиционных конференций. Помимо 9 потоков докладов на 2 дня конференции, мы развернем 22 экспертные тематические зоны.
Вы можете углубить свои знания в конкретных прикладных темах, получить консультации от экспертов по волнующим вас вопросам и расширить свой кругозор.
Все экcперты прошли тщательный отбор, мы отобрали самых-самых, чтобы вы получили информацию самого высокого качества.
➡️ Подробнее: https://highload.ru/foundation/2022/experts
HighLoad++ Foundation выходит за пределы традиционных конференций. Помимо 9 потоков докладов на 2 дня конференции, мы развернем 22 экспертные тематические зоны.
Вы можете углубить свои знания в конкретных прикладных темах, получить консультации от экспертов по волнующим вас вопросам и расширить свой кругозор.
Все экcперты прошли тщательный отбор, мы отобрали самых-самых, чтобы вы получили информацию самого высокого качества.
➡️ Подробнее: https://highload.ru/foundation/2022/experts
Всем привет!
Работа с качеством данных актуальна не только для решающих задачи моделирования, но и в целом для тех, кто использует Data Driven-подход. Из доклада Дениса Занкова узнаем про поиск новых решений для Газпромбанка при работе с оттоком посредством ML-подходов и где был найден значительный бизнес-эффект.
📋 https://clck.ru/gjpzf
Такие модели характеризуют продуктовое поведение человека. Для их вывода в промышленную эксплуатацию необходимо поддерживать витрину с фичами по каждому клиенту. Это тысячи колонок с признаками миллионов клиентов по состоянию на каждый месяц за несколько лет.
Как поддерживать качество данных на приемлемом уровне при таком объеме и при вечном недостатке ресурсов? Ни один алгоритм поиска аномалий не справится с таким объемом данных, а отсматривать каждый признак на тысячах графиков проблематично и трудозатратно.
На выступлении также обсудим почему Isolation Forest не работает просто на статистиках и зачем требуется дополнительная ранжирующая функция аномальности и алгоритм интерпретации результата.
В финальной части доклада Денис расскажет, как они применяют данный алгоритм, о развитии фич их решения, об эффекте от его внедрения в прод и почему они выбрали эту тему для доклада на HighLoad++.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте –
https://clck.ru/gjq3o
Работа с качеством данных актуальна не только для решающих задачи моделирования, но и в целом для тех, кто использует Data Driven-подход. Из доклада Дениса Занкова узнаем про поиск новых решений для Газпромбанка при работе с оттоком посредством ML-подходов и где был найден значительный бизнес-эффект.
📋 https://clck.ru/gjpzf
Такие модели характеризуют продуктовое поведение человека. Для их вывода в промышленную эксплуатацию необходимо поддерживать витрину с фичами по каждому клиенту. Это тысячи колонок с признаками миллионов клиентов по состоянию на каждый месяц за несколько лет.
Как поддерживать качество данных на приемлемом уровне при таком объеме и при вечном недостатке ресурсов? Ни один алгоритм поиска аномалий не справится с таким объемом данных, а отсматривать каждый признак на тысячах графиков проблематично и трудозатратно.
На выступлении также обсудим почему Isolation Forest не работает просто на статистиках и зачем требуется дополнительная ранжирующая функция аномальности и алгоритм интерпретации результата.
В финальной части доклада Денис расскажет, как они применяют данный алгоритм, о развитии фич их решения, об эффекте от его внедрения в прод и почему они выбрали эту тему для доклада на HighLoad++.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте –
https://clck.ru/gjq3o
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍1😱1
Привет, друзья!
Про небинарный DevOps и высокоэффективный гуманный on-call поговорим на выступлении Яна Ашенкампф из Газпромбанка
📋 https://clck.ru/gjxaw
Чаще всего дежурства on-call / pagerduty-форматов делают в дополнение к рабочим часам. Это негуманно и не очень оптимально:
* люди выгорают,
* люди ошибаются,
* люди воспринимают это как burden.
Что особенно плохо работало бы в системе с клиентом, требующим моментального ответа и быстрейшей починки, да такой, в которой инженеры сами заинтересованы.
Внешние стимулы работают плохо.
Наказывать — тоже плохо.
Выделять отдельную линию поддержки удлиняет цепочку и делает починку ещё дольше.
В своем докладе Ян расскажет о том, как он подошёл к решению этой проблемы в команде, работающей с казначейством.
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте – https://clck.ru/gjxcq
Про небинарный DevOps и высокоэффективный гуманный on-call поговорим на выступлении Яна Ашенкампф из Газпромбанка
📋 https://clck.ru/gjxaw
Чаще всего дежурства on-call / pagerduty-форматов делают в дополнение к рабочим часам. Это негуманно и не очень оптимально:
* люди выгорают,
* люди ошибаются,
* люди воспринимают это как burden.
Что особенно плохо работало бы в системе с клиентом, требующим моментального ответа и быстрейшей починки, да такой, в которой инженеры сами заинтересованы.
Внешние стимулы работают плохо.
Наказывать — тоже плохо.
Выделять отдельную линию поддержки удлиняет цепочку и делает починку ещё дольше.
В своем докладе Ян расскажет о том, как он подошёл к решению этой проблемы в команде, работающей с казначейством.
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте – https://clck.ru/gjxcq
👍5
Привет друзья!
На конференции HighLoad++ Сергей Козлов из «Лаборатории Касперского» расскажет, как автоматизировать разбор проблем в дебаггере.
📋 https://clck.ru/gk4DH
Сергей покажет подходы к автоматизации разбора проблем на примере библиотечки скриптов. Она предназначена для использования c WinDBG и с GDB и помогает в автоматизации ряда рутинных задач, возникающих при анализе причин падения программ как при отладке вживую, так и при работе с дампами памяти.
Проведем лайвкодинг-демонстрацию нескольких скриптов в отладчике, в частности:
* поиск исключений, произошедших в потоке ранее (Win);
* вывод стеков 32-битного приложения для 64-битного kernel-mode дампа (Win);
* поиск потребителей большого количества памяти:
- анализ с AppVerifier'ом
- анализ без AppVerifier'а (GDB)
* что делать, если упали в boost::coroutine (GDB).
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте - https://clck.ru/gk4FZ
На конференции HighLoad++ Сергей Козлов из «Лаборатории Касперского» расскажет, как автоматизировать разбор проблем в дебаггере.
📋 https://clck.ru/gk4DH
Сергей покажет подходы к автоматизации разбора проблем на примере библиотечки скриптов. Она предназначена для использования c WinDBG и с GDB и помогает в автоматизации ряда рутинных задач, возникающих при анализе причин падения программ как при отладке вживую, так и при работе с дампами памяти.
Проведем лайвкодинг-демонстрацию нескольких скриптов в отладчике, в частности:
* поиск исключений, произошедших в потоке ранее (Win);
* вывод стеков 32-битного приложения для 64-битного kernel-mode дампа (Win);
* поиск потребителей большого количества памяти:
- анализ с AppVerifier'ом
- анализ без AppVerifier'а (GDB)
* что делать, если упали в boost::coroutine (GDB).
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте - https://clck.ru/gk4FZ
🔥2👍1
Привет, друзья!
Одним из спикеров HighLoad++ будет Артем Селезнев, он расскажет про свой опыт разработки платформы для экспериментов в компании Магнит.
📋 https://clck.ru/gmBeC
В Магните еженедельно запускаются эксперименты для улучшения клиентской активности. Каждый эксперимент создается определенным запросом на выделение клиентов, сегментацию по разным типам и способам коммуникации, разделение на контрольные и целевые группы. После запуска необходимо найти инсайды, построить аналитики и дать ответ об успехе или провале эксперимента. На каждый эксперимент создается огромное количество ad-hoc-запросов, и ваша команда начинает сгорать. Как это можно было решить?
Разработчики подумали сделать для себя сервис, который будет отвечать на поставленные вопросы, используя клиентские данные, а над самими клиентами проводить сегментирования и разные тестирования. Благодаря этому решению появилась Client as Service-платформа, предоставляющая покупателей для экспериментов, находящая инсайды в данных и тестирующая результаты.
Client As Service — это проект, который помогает подготовить миллионы пользователей к экспериментам. Проект, который использует статистику покупателей, чтобы найти бизнес-инсайды и помогает составить ответ на каждый запрос.
В своем докладе Артем рассмотрит:
* какие проблемы в себе скрывает стратификация пользователей, и какие инсайды можно получить уже в стратификации;
* возможно ли найти одинаковых покупателей для A/B-тестов в ритейле;
* как до эксперимента определить будущую выгоду;
* почему на каждом этапе они считают CLTV и почему это важно;
* как они встроили в систему оценку при помощи вейвлетов и получили лучшие результаты;
* что необходимо реализовать, чтобы ваши клиенты стали сервисом.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gmCje
Одним из спикеров HighLoad++ будет Артем Селезнев, он расскажет про свой опыт разработки платформы для экспериментов в компании Магнит.
📋 https://clck.ru/gmBeC
В Магните еженедельно запускаются эксперименты для улучшения клиентской активности. Каждый эксперимент создается определенным запросом на выделение клиентов, сегментацию по разным типам и способам коммуникации, разделение на контрольные и целевые группы. После запуска необходимо найти инсайды, построить аналитики и дать ответ об успехе или провале эксперимента. На каждый эксперимент создается огромное количество ad-hoc-запросов, и ваша команда начинает сгорать. Как это можно было решить?
Разработчики подумали сделать для себя сервис, который будет отвечать на поставленные вопросы, используя клиентские данные, а над самими клиентами проводить сегментирования и разные тестирования. Благодаря этому решению появилась Client as Service-платформа, предоставляющая покупателей для экспериментов, находящая инсайды в данных и тестирующая результаты.
Client As Service — это проект, который помогает подготовить миллионы пользователей к экспериментам. Проект, который использует статистику покупателей, чтобы найти бизнес-инсайды и помогает составить ответ на каждый запрос.
В своем докладе Артем рассмотрит:
* какие проблемы в себе скрывает стратификация пользователей, и какие инсайды можно получить уже в стратификации;
* возможно ли найти одинаковых покупателей для A/B-тестов в ритейле;
* как до эксперимента определить будущую выгоду;
* почему на каждом этапе они считают CLTV и почему это важно;
* как они встроили в систему оценку при помощи вейвлетов и получили лучшие результаты;
* что необходимо реализовать, чтобы ваши клиенты стали сервисом.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gmCje
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍4
Всем привет!
Из доклада Виталия Филиппова узнаем про архитектуру Vitastor и темную сторону распределенной СХД.
📋 https://clck.ru/gmLMW
Vitastor — это быстрый «Ceph-заменитель». Распределённая блочная программная система хранения данных (SDS), способная, в отличие от большинства других систем, нормально работать с быстрыми твердотельными накопителями, и при этом, в отличие от большинства других систем, имеющая симметричную распределённую архитектуру без единой точки отказа.
В этом докладе Виталий остановится на технической стороне. Тёмной, архитектурной технической стороне.
Что такое «симметричная распределённая архитектура»? Как конкретно обеспечивается консистентность? Как реализованы снапшоты и клоны? Зачем нужен io_uring? Как Vitastor использует RDMA? Что ещё за монитор на node.js и откуда там LP-солвер (утилита решения задач линейного программирования)?
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо! Подробное расписание и билеты на сайте – https://clck.ru/gmLUm
Из доклада Виталия Филиппова узнаем про архитектуру Vitastor и темную сторону распределенной СХД.
📋 https://clck.ru/gmLMW
Vitastor — это быстрый «Ceph-заменитель». Распределённая блочная программная система хранения данных (SDS), способная, в отличие от большинства других систем, нормально работать с быстрыми твердотельными накопителями, и при этом, в отличие от большинства других систем, имеющая симметричную распределённую архитектуру без единой точки отказа.
В этом докладе Виталий остановится на технической стороне. Тёмной, архитектурной технической стороне.
Что такое «симметричная распределённая архитектура»? Как конкретно обеспечивается консистентность? Как реализованы снапшоты и клоны? Зачем нужен io_uring? Как Vitastor использует RDMA? Что ещё за монитор на node.js и откуда там LP-солвер (утилита решения задач линейного программирования)?
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо! Подробное расписание и билеты на сайте – https://clck.ru/gmLUm
👍6👎1
Всем привет!
Нагрузочное тестирование — это долго и дорого, и это проблема. Почему так? Узнаем на выступлении Кирилла Юркова из компании Самокат.
📋 https://clck.ru/gojM3
Бизнесы растут, нагрузки растут, а вот подходы к нагрузочному тестированию почти не развиваются. И проблема не только в людях, но и в самих подходах.
Типичная ситуация: умеем в продуктовую разработку, пока что не очень умеем в нагрузочное тестирование, давайте тогда работу с нагрузкой строить по принципам продуктовой команды. Наймём в каждую команду по нагрузочнику (если сможем), вместе с разработчиками и тестировщиками они все будут T-shaped, в едином продуктовом контексте помогать друг другу.
Вот только такой подход имеет обратную сторону: если команд и продуктов несколько, то каждый нагрузочник будет “вариться в собственном соку”. С ростом числа команд во весь рост встанут проблемы шаринга знаний между юнитами и найма новых нагрузочников. А еще это дорого.
В своем докладе Кирилл расскажет об их опыте в Самокате — как они строят PerfOps-команду. Расскажет о концепции, подходе к её реализации, инструментарии и процессе внедрения сервисной модели для нагрузочного тестирования.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gojRX
Нагрузочное тестирование — это долго и дорого, и это проблема. Почему так? Узнаем на выступлении Кирилла Юркова из компании Самокат.
📋 https://clck.ru/gojM3
Бизнесы растут, нагрузки растут, а вот подходы к нагрузочному тестированию почти не развиваются. И проблема не только в людях, но и в самих подходах.
Типичная ситуация: умеем в продуктовую разработку, пока что не очень умеем в нагрузочное тестирование, давайте тогда работу с нагрузкой строить по принципам продуктовой команды. Наймём в каждую команду по нагрузочнику (если сможем), вместе с разработчиками и тестировщиками они все будут T-shaped, в едином продуктовом контексте помогать друг другу.
Вот только такой подход имеет обратную сторону: если команд и продуктов несколько, то каждый нагрузочник будет “вариться в собственном соку”. С ростом числа команд во весь рост встанут проблемы шаринга знаний между юнитами и найма новых нагрузочников. А еще это дорого.
В своем докладе Кирилл расскажет об их опыте в Самокате — как они строят PerfOps-команду. Расскажет о концепции, подходе к её реализации, инструментарии и процессе внедрения сервисной модели для нагрузочного тестирования.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gojRX
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍6
Всем привет!
Про видеоаналитику на взрывоопасном заводе площадью в 700 футбольных полей расскажет Вадим Щемелинин из СИБУР Диджитал
📋 https://clck.ru/gozT4
Три года назад перед командой разработчиков поставили цель: все видеокамеры в нефтехимическом холдинге СИБУР должны выводиться на экран операторам только тогда, когда в зоне их видимости "что-то идёт не так". За это время они не раз посетили заводы, изучили производственные процессы, разработали и внедрили систему, которая покрыла 70% камер.
В докладе Вадим расскажет про сложности, с которыми сталкивались Python-разработчики, внедряя машинное зрение в индустрии. Заводов в холдинге много, они большие, очень разные, и на них постоянно происходят различные изменения. Поэтому вызовов перед командой разработки стояло много.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gozXA
Про видеоаналитику на взрывоопасном заводе площадью в 700 футбольных полей расскажет Вадим Щемелинин из СИБУР Диджитал
📋 https://clck.ru/gozT4
Три года назад перед командой разработчиков поставили цель: все видеокамеры в нефтехимическом холдинге СИБУР должны выводиться на экран операторам только тогда, когда в зоне их видимости "что-то идёт не так". За это время они не раз посетили заводы, изучили производственные процессы, разработали и внедрили систему, которая покрыла 70% камер.
В докладе Вадим расскажет про сложности, с которыми сталкивались Python-разработчики, внедряя машинное зрение в индустрии. Заводов в холдинге много, они большие, очень разные, и на них постоянно происходят различные изменения. Поэтому вызовов перед командой разработки стояло много.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gozXA
Друзья! Напоминаем вам, что мы добавили в программу HighLoad++ Foundation целый набор новых антикризисных секций. Например, секция по Безопасности.
👉🏻Об информационной безопасности для небольших IT-компаний расскажет Алексей Бабенко (Мир Plat.Form) в докладе "От 0 до 90%. Повышаем безопасность за пару дней": https://highload.ru/foundation/2022/abstracts/9021.
Алексей расскажет о том, как буквально за несколько дней поднять уровень безопасности с «никогда не занимались» до «в целом неплохо». Никаких стандартов и огромных списков требований — только самое важное с практическими рекомендациями и примерами.
👉🏻О закладках в opensource расскажет Алексей Смирнов (profiscope.io) в докладе "Безопасность цепочки поставки Open Source-компонентов": https://highload.ru/foundation/2022/abstracts/9019.
Яркими примерами уязвимостей последних лет были уязвимости log4shell, spring4shell, node-ipc и другие. К этому добавляются атаки на Software Supply Chain Management, такие как Dependency Confusion и Typosquatting. Кроме того, :surprise:, не обходится и без человеческого фактора.
В докладе раскрывается роль композиционного анализа ПО (Software Composition Analysis, SCA) в практиках безопасной разработки с примерами проблем и их решениями.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://bit.ly/3slk9ob
👉🏻Об информационной безопасности для небольших IT-компаний расскажет Алексей Бабенко (Мир Plat.Form) в докладе "От 0 до 90%. Повышаем безопасность за пару дней": https://highload.ru/foundation/2022/abstracts/9021.
Алексей расскажет о том, как буквально за несколько дней поднять уровень безопасности с «никогда не занимались» до «в целом неплохо». Никаких стандартов и огромных списков требований — только самое важное с практическими рекомендациями и примерами.
👉🏻О закладках в opensource расскажет Алексей Смирнов (profiscope.io) в докладе "Безопасность цепочки поставки Open Source-компонентов": https://highload.ru/foundation/2022/abstracts/9019.
Яркими примерами уязвимостей последних лет были уязвимости log4shell, spring4shell, node-ipc и другие. К этому добавляются атаки на Software Supply Chain Management, такие как Dependency Confusion и Typosquatting. Кроме того, :surprise:, не обходится и без человеческого фактора.
В докладе раскрывается роль композиционного анализа ПО (Software Composition Analysis, SCA) в практиках безопасной разработки с примерами проблем и их решениями.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://bit.ly/3slk9ob
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
🔥5👍1
Всем привет!
Как и почему компания Timeweb перевела хостинг на ZFS и отказалась от LVM и DRBD расскажет Алексей Афошин из Timeweb
📋 https://clck.ru/gv3ZJ
Этот доклад может быть интересен тем, кто занимается построением серверной инфраструктуры, планирует делать бэкапы и заботится о бесперебойной работе систем.
* Как выглядела архитектура с LVM и DRBD.
* Что не устроило в существующей архитектуре.
* Как выглядит новая архитектура файловой системы хостинга.
* С какими сложностями столкнулись.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv3Zi
Как и почему компания Timeweb перевела хостинг на ZFS и отказалась от LVM и DRBD расскажет Алексей Афошин из Timeweb
📋 https://clck.ru/gv3ZJ
Этот доклад может быть интересен тем, кто занимается построением серверной инфраструктуры, планирует делать бэкапы и заботится о бесперебойной работе систем.
* Как выглядела архитектура с LVM и DRBD.
* Что не устроило в существующей архитектуре.
* Как выглядит новая архитектура файловой системы хостинга.
* С какими сложностями столкнулись.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv3Zi
👍4
Всем привет!
На выступлении Омара Ганиева узнаем про уязвимости и про DoS
📋 https://clck.ru/gv4qC
Казалось бы, какая связь? (D)DoS-атаки зачастую считаются "тупыми", чего в них интересного? Действительно, многие злодеи ничего в них не понимают и лишь запускают стандартные варианты атак.
Но...
1. Бывают и более хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
2. Можно не останавливаться на достигнутом отказе в обслуживании. Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям.
Омар приведет ряд примеров, как можно обойти защиту или взломать приложение, хитро повалив его.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv4nP
На выступлении Омара Ганиева узнаем про уязвимости и про DoS
📋 https://clck.ru/gv4qC
Казалось бы, какая связь? (D)DoS-атаки зачастую считаются "тупыми", чего в них интересного? Действительно, многие злодеи ничего в них не понимают и лишь запускают стандартные варианты атак.
Но...
1. Бывают и более хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
2. Можно не останавливаться на достигнутом отказе в обслуживании. Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям.
Омар приведет ряд примеров, как можно обойти защиту или взломать приложение, хитро повалив его.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv4nP
👍5
Всем привет!
Как регулярно строить все больше ML-пулов на MapReduce, а дежурить все меньше - узнаем на выступлении Сore-разработчиков Яндекса - Иларии Беловой и Никиты Путинцева
📋 https://clck.ru/gvCqk
Изначально их пулы строились набором python-скриптов, запускаемых по cron'у. Когда число таких скриптов перевалило за 100, ситуация вышла из-под контроля. Починка прода стала занимать всё рабочее время, а любая выкатка стала подвигом. Разработчики решили переписать систему, чтоб исправить это, и теперь поделятся опытом.
В докладе они расскажут:
* как организуют разработку новых MR-задач, чтобы не тратить много сил на ревью;
* как тестируют новые задачи, чтобы (почти) не бояться выкатывать их в production;
* как выстраивают дежурство, чтобы не чинить пайплайны все рабочее время.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCrg
Как регулярно строить все больше ML-пулов на MapReduce, а дежурить все меньше - узнаем на выступлении Сore-разработчиков Яндекса - Иларии Беловой и Никиты Путинцева
📋 https://clck.ru/gvCqk
Изначально их пулы строились набором python-скриптов, запускаемых по cron'у. Когда число таких скриптов перевалило за 100, ситуация вышла из-под контроля. Починка прода стала занимать всё рабочее время, а любая выкатка стала подвигом. Разработчики решили переписать систему, чтоб исправить это, и теперь поделятся опытом.
В докладе они расскажут:
* как организуют разработку новых MR-задач, чтобы не тратить много сил на ревью;
* как тестируют новые задачи, чтобы (почти) не бояться выкатывать их в production;
* как выстраивают дежурство, чтобы не чинить пайплайны все рабочее время.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCrg
👍3👎1
Всем привет!
Продолжаем знакомить вас с нашими спикерами. На конференции HighLoad++ выступит Вадим Щемелинин из СИБУР Диджитал. Вадим десять лет в IT. Три года занимается видеоаналитикой в нефтехимии, до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
📋 https://clck.ru/gvCxj
На выступлении он расскажет, что они понимают под Индустрией 4.0 в СИБУРе, где в ней свой написанный код, особенности разработки и внедрения интеллектуальных решений на заводах.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCy3
Продолжаем знакомить вас с нашими спикерами. На конференции HighLoad++ выступит Вадим Щемелинин из СИБУР Диджитал. Вадим десять лет в IT. Три года занимается видеоаналитикой в нефтехимии, до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
📋 https://clck.ru/gvCxj
На выступлении он расскажет, что они понимают под Индустрией 4.0 в СИБУРе, где в ней свой написанный код, особенности разработки и внедрения интеллектуальных решений на заводах.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCy3
Всем привет!
Как проектировать максимально безлюдное производство глазами ИТ – расскажут Егор Плечистов, и Федор Подъяблонский из СИБУР Диджитал.
📋 https://clck.ru/gvUtZ
Основные тезисы выступления:
* Целевой ландшафт ИТ-архитектуры.
* Производственный домен.
* Проектирование ИТ-систем производства.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvUtx
Как проектировать максимально безлюдное производство глазами ИТ – расскажут Егор Плечистов, и Федор Подъяблонский из СИБУР Диджитал.
📋 https://clck.ru/gvUtZ
Основные тезисы выступления:
* Целевой ландшафт ИТ-архитектуры.
* Производственный домен.
* Проектирование ИТ-систем производства.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvUtx
👍1