Тысяча и один бэкап: как мы ускорили создание резервных копий на OpenStack в 10 раз

В облаке может умереть гипервизор и потеряться состояние памяти. И когда дело дойдет до восстановления данных, то в памяти, скорее всего, ничего не останется. Поэтому самое главное в виртуальной машине — это диски и наличие консистентных резервных копий. Но чтобы эти копии создавались быстро, приходится поплясать с бубном.

Читайте в статье Артемия Капитулы, ведущего программиста в команде разработки Compute и Storage VK Cloud Solutions как можно модернизировать архитектуру бэкапов на базе OpenStack в публичном облаке, чтобы ускорить их создание в 10 раз.

Читать 📍 https://habr.com/ru/company/vk/blog/661553/

Всем привет!

На конференции HighLoad++ Ибрагим Бадертдинов и Александр Абрамов из SberDevices расскажут об ускорении и облегчение моделей для поддержания диалога виртуальных ассистентов Салют
📋 https://clck.ru/gcoZi

Команда SberDevices активно разрабатывает виртуальных ассистентов Салют. Они используют технологии AI для распознавания голоса и обработки естественного языка, чтобы их помощники умели вести беседу и приносили реальную пользу людям.

Для этого им постоянно приходится решать различные NLP-задачи. Они адаптируют и обучают большие языковые модели на базе трансформеров (BERT, GPT), которыми делятся с сообществом в open source.

В рамках доклада Ибрагим и Александр поделятся своими практиками, как эффективно обучать большие multitask-модели, быстро собирать необходимые данные и, самое главное, как оптимизировать использование ресурсов памяти и ускорять модели в продакшне.

✅ Встречаемся на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте - https://clck.ru/gcoZU

Всем привет!

На конференции Highload++ выступит Тимур Давыдов из Московской Биржи.
📋https://clck.ru/gdgcR

В своем докладе он рассмотрит архитектуру современной торгово-клиринговой системы (ТКС), а также более подробно познакомит с in-memory-базой данных, оптимизированной для работы с низкими и предсказуемыми задержками, предназначенной для хранения информации во время работы ТКС.

В связи с изменением поведения рынков со временем и требованием хранения большего количества информации, были сделаны оптимизации как в самом представлении данных, так и в организации базы данных. Но одна проблема все еще оставалась нерешенной — это выделение оптимального объема памяти для каждой таблицы БД с расчетом на худший случай. Поэтому в докладе также будут рассмотрены способы увеличения объема непрерывной области данных в памяти и предложена оптимальная реализация технологии динамического увеличения непрерывной области данных в памяти за константное время.

✅ Встречаемся на HighLoad++ 13 и 14 мая – https://clck.ru/gdgc9

⚡️ Готовьте вопросы! Кроме 9 потоков докладов, в Крокус Экспо будут экспертные тематические зоны, где вы сможете получить консультацию ведущих специалистов компаний.

В экспертной зоне Яндекса можно обсудить распределённые высоконагруженные системы хранения и обработки данных, CatBoost, машинное обучение в области рекомендательных систем и другие темы. Разработчики поделятся практическим опытом и посоветуют, как реализовать технологии в вашем проекте.

Если у вас уже сейчас есть вопрос по этим темам, отправьте его через форму на странице про экспертные зоны: https://clck.ru/geojk

Всем привет!

Продолжаем знакомить вас со спикерами HighLoad++. Одним из них станет руководитель разработки пилотных проектов компании Tarantool - Дмитрий Самиров.
📋 https://clck.ru/gf25x

В своем докладе он расскажет о том, как в прошлом году команде разработчиков необходимо было с нуля за 2 месяца создать систему хранения товаров и остатков для магазинов Магнита. А ведь эта задача была не из легких.

✔️Дмитрий расскажет о том:
* как написанный в короткие сроки пилотный проект внезапно для всех превратился в хайлоад-сервис, который должен держать нагрузку 200 000 запросов в секунду;
* какие ошибки были допущены при проектировании сервиса, и как они их исправляли;
* с какими проблемами они столкнулись при масштабировании своей системы.

✅ Встречаемся на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gf292

Привет, друзья!

О SLI/SLO/SLA в микросервисном приложении поговорим на выступлении Павла Лакосникова из Авито.
📋 https://clck.ru/gfFUW

Всё больше и больше приложений уходят из монолита в микросервисы. Микросервисов становится много, и зоны ответственности размываются. Становится сложно понять, как подсчитать надёжность приложения и как она коррелирует с микросервисами.

Доклад про понятия SLI/SLO/SLA и то, как разработчики трактуют их в Авито. На выступлении узнаем о подходах к измерению надёжности как микросервисов в частности, так и микросервисного приложения в общем.
Павел расскажет, для чего вообще стоит этим заниматься.

✅ Спешите запланировать свое участие в HighLoad++. Конференция уж совсем скоро! Расписание и билеты - https://clck.ru/gfFhZ

Как мы построили корпоративную шину данных на Kafka, которая обрабатывает до 3 млн сообщений в секунду

Среднее количество сообщений, которые обрабатывается в Почте России — от 500 тысяч до миллиона в секунду. В пики, когда big data прогоняет свои 25 петабайт данных — до 3 миллионов. При этом кластер Kafka состоит всего из 12 серверов в каждом из 3 дата-центров. И справляется с этим.

Как это возможно — рассказал в статье Иван Гаас, руководитель автоматизации процессов разработки в Почтатех. Читайте, как корпоративная шина на Kafka помогает теперь быстро масштабироваться и интегрировать каждый новый сервис всего за несколько дней.

Читать 📍 https://habr.com/ru/company/posttech/blog/663306/

Всем привет!

На конференции HighLoad++ Роман Митасов и Дмитрий Пичугин из Тинькофф расскажут, как они создавали Data Catalog
📋 https://clck.ru/gfpC9

Первым делом разработчики попытались найти решение на рынке, но не нашли для себя ничего подходящего. Поэтому решили вложиться и сделать свой продукт.

🔹Из доклада узнаем:
1. Как они искали решения на рынке и почему решили сделать свое.
2. Какой продукт они в итоге сделали и как применяют его в своей Data Platform.
3. Про архитектуру продукта и как им удалось вместить в него столь разношерстную информацию по всем своим данным.
4. О проблемах, с которым они столкнулись в процессе разработки, и о решениях, которые приняли.
5. Что они планируют делать дальше.

✅ Встречаемся на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gfpDp

Всем привет!

HighLoad++ уже скоро! Приходите послушать доклад Сергея Ситникова, который в разработке уже порядка 15 лет.
📋 https://clck.ru/gg82C

Сергей расскажет про биллинг, который они разрабатывают уже некоторое время. Компания растет стремительно, старые решения не удовлетворяют новым потребностям. Биллинг разработчики строят в условиях распределенной системы расположенной в нескольких дата-центрах в разных странах. При этом они должны обрабатывать платежные операции быстро, надежно и у них нет опции "потерять деньги клиента".

На выступлении Сергей обсудит ограничения и подходы в их варианте архитектуры. Почему и как они разделяют контексты обработки платежных операций. К какой модели организации потоков данных они пришли в результате. А также отдельное внимание уделит разбору механики движения средств в распределенном кластере.

Доклад секции "Финтех" при поддержке Мир Plat.Form.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gg83B

Привет, друзья!
Каждую неделю у нас выходит несколько статей в блоге на Хабре. Наши авторы — докладчики конференций Онтико — знают, кажется, обо всём. Они пишут о том, как проектировать IT-системы, пилить монолиты, выстраивать процессы разработки и найма. И даже рассказывают, что делать, если после всех подвигов пришло выгорание. Благодаря Хабру у нас есть возможность делиться с вами новыми знаниями и рассказывать о предстоящих событиях.

✅ Прямо сейчас в группе ВК Хабра проходит конкурс, где можно выиграть билеты на HighLoad++ Foundation. Все подробности здесь - https://vk.com/habr?w=wall-20629724_1445088

Всем привет!

О ClickHouse в Kubernetes узнаем у Александра Зайцева, сооснователя и СТО компании Altinity
📋 https://clck.ru/ggtAA

Kubernetes стремительно завоевывает популярность, в том числе и как платформа для кластеров баз данных. ClickHouse тоже не тормозит. Еще совсем недавно ClickHouse в Kubernetes казался экзотикой, но все поменялось благодаря разработанному Altinity оператору ClickHouse operator. Разработчики научились "готовить" ClickHouse для Kubernetes наилучшим образом и сделали это простым для всех остальных.

В докладе Александр расскажет об основных задачах, которые возникают при разворачивании и использовании ClickHouse в Kubernetes, как их решать средствами Kubernetes и ClickHouse operator, и почему даже в публичных облаках Kubernetes делает использование ClickHouse простым и удобным.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/ggtCW

Привет, друзья!
 
В своем докладе Алексей Лесовский из Coins.ph расскажет о поиске проблем в базе данных, если вы разработчик.
📋 https://clck.ru/ggwhx

Задача разработчика — написать рабочий код. Если этот код должен работать со стейтом, то, скорей всего, это будет какая-то база данных, из которой можно прочитать или записать данные. Писать идеальный код получается не всегда, и проблемы на стыке приложения и базы данных случаются и часто случаются внезапно. Хорошо, когда за эксплуатацией БД следит специальный человек — можно рассчитывать на него, что он поможет найти и устранить проблему. Если же такого человека нет, приходится рассчитывать на свои знания и умения.

На выступлении Алексей поставит себя на место backend-разработчика и постарается разобраться, что же необходимо делать, если возникли проблемы с  приложением и базой данных. Как собрать необходимую информацию которая поможет в поиске правильного решения. Расскажет, какие изменения нужны в приложении, чтобы в дальнейшем облегчить протекание подобных ситуаций и ускорить поиск решений.

В качестве примера он рассмотрит СУБД PostgreSQL, при этом полученные знания можно будет применять и с другими БД.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/ggwk7

Всем привет!

Что такое клиринг, как он работает и как реализован на примере платежной системы "Мир" – узнаем у Натальи Азисовой, Product Owner и Business Analyst в Мир Plat.Form. Наталья более 10 лет работает в ИТ от тестирования и установки релизов до PO.
📋 https://clck.ru/gj6fL

Покупки с помощью карты стали неотъемлемым атрибутом нашей жизни. За 2021 год жители нашей страны совершили более 21 миллиарда операций банковскими картами.

На примере работы клиринговой системы «Мир» Наталья расскажет, что они делают, чтобы справиться с регулярно возрастающей нагрузкой, какие используют технологии и архитектурные решения.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Если вы еще не купили билет, то самое время это сделать – https://clck.ru/gj6hc

Привет, друзья!

О построении самодиагностики и этапах эволюции мониторинга в живой высоконагруженной системе – узнаем у Глеба Тильтикова из МТС Digital.
📋 https://clck.ru/gj86K

В технических платформах телекома требуется высочайший уровень надежности, а минута простоя чревата большими бизнес- и репутационными потерями. Необходимо не только мониторить состояние серверов и программных компонентов, но и оперативно реагировать на изменения в их поведении.

В своем докладе Глеб расскажет, как они для смс-платформы построили систему самодиагностики на основании продуктовых метрик, про выбор этих метрик и эволюционный путь от простых алертов до самообучающейся системы по принятию решений.

✅ Встречаемся 13 и 14 мая в Москве! Забронировать билет можно здесь – https://clck.ru/gj87g

Всем привет!

До главной конференции этой весны осталось совсем немного! И мы продолжаем знакомить вас со спикерами HighLoad ++, которые выступят 13 и 14 мая в Москве.
Про Pluggable TOAST нам расскажут Олег Бартунов, Никита Глухов и Федор Сигаев из Postgres Professional.
📋 https://clck.ru/gjETQ

Одной из "родовых" проблем постгреса является технология TOAST (The Oversized-Attribute Storage Technique или методика хранения сверхбольших атрибутов) в ее применении к современным типам данных с внутренней структурой, наиболее ярким представителем которых является JSONB. Проблема состоит в том, что TOAST работает с JSONB, как с черным ящиком, и это приводит к очень большим оверхедам как в простом доступе по ключу, так и в обновлении JSONB.

Разработчики расскажут про свою работу по улучшению TOAST, которую они научили работать с типом данных так, как сам тип считает наиболее эффективно, то есть теперь большие колонки могут "нарезаться "и сжиматься не единым для всех способом, а с учетом особенностей конкретного типа данных, что в случае JSONB означает громадное улучшение производительности, про которое мы говорили весь прошлый год. Pluggable TOAST позволит реализовать все наши улучшения в виде расширений, и речь пойдет про несколько примеров его использования — стрим bytea в постгрес со скоростью диска и JSONB. Спикеры планируют закоммитить Pluggable TOAST в ядро PG15, чтобы иметь возможность впоследствии доработать эти примеры и отдать в сообщество как расширения.

✅ Спешите запланировать своё участие в HighLoad++. Расписание и билеты ​​https://clck.ru/gjEUM

Экспертные зоны - получите консультацию от экспертов!

HighLoad++ Foundation выходит за пределы традиционных конференций. Помимо 9 потоков докладов на 2 дня конференции, мы развернем 22 экспертные тематические зоны.

Вы можете углубить свои знания в конкретных прикладных темах, получить консультации от экспертов по волнующим вас вопросам и расширить свой кругозор.

Все экcперты прошли тщательный отбор, мы отобрали самых-самых, чтобы вы получили информацию самого высокого качества.

➡️ Подробнее: https://highload.ru/foundation/2022/experts

Всем привет!

Работа с качеством данных актуальна не только для решающих задачи моделирования, но и в целом для тех, кто использует Data Driven-подход. Из доклада Дениса Занкова узнаем про поиск новых решений для Газпромбанка при работе с оттоком посредством ML-подходов и где был найден значительный бизнес-эффект.
📋 https://clck.ru/gjpzf

Такие модели характеризуют продуктовое поведение человека. Для их вывода в промышленную эксплуатацию необходимо поддерживать витрину с фичами по каждому клиенту. Это тысячи колонок с признаками миллионов клиентов по состоянию на каждый месяц за несколько лет.

Как поддерживать качество данных на приемлемом уровне при таком объеме и при вечном недостатке ресурсов? Ни один алгоритм поиска аномалий не справится с таким объемом данных, а отсматривать каждый признак на тысячах графиков проблематично и трудозатратно.

На выступлении также обсудим почему Isolation Forest не работает просто на статистиках и зачем требуется дополнительная ранжирующая функция аномальности и алгоритм интерпретации результата.

В финальной части доклада Денис расскажет, как они применяют данный алгоритм, о развитии фич их решения, об эффекте от его внедрения в прод и почему они выбрали эту тему для доклада на HighLoad++.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте –
https://clck.ru/gjq3o