Всем привет!

На конференции HighLoad++ Роман Митасов и Дмитрий Пичугин из Тинькофф расскажут, как они создавали Data Catalog
📋 https://clck.ru/gfpC9

Первым делом разработчики попытались найти решение на рынке, но не нашли для себя ничего подходящего. Поэтому решили вложиться и сделать свой продукт.

🔹Из доклада узнаем:
1. Как они искали решения на рынке и почему решили сделать свое.
2. Какой продукт они в итоге сделали и как применяют его в своей Data Platform.
3. Про архитектуру продукта и как им удалось вместить в него столь разношерстную информацию по всем своим данным.
4. О проблемах, с которым они столкнулись в процессе разработки, и о решениях, которые приняли.
5. Что они планируют делать дальше.

✅ Встречаемся на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gfpDp

Всем привет!

HighLoad++ уже скоро! Приходите послушать доклад Сергея Ситникова, который в разработке уже порядка 15 лет.
📋 https://clck.ru/gg82C

Сергей расскажет про биллинг, который они разрабатывают уже некоторое время. Компания растет стремительно, старые решения не удовлетворяют новым потребностям. Биллинг разработчики строят в условиях распределенной системы расположенной в нескольких дата-центрах в разных странах. При этом они должны обрабатывать платежные операции быстро, надежно и у них нет опции "потерять деньги клиента".

На выступлении Сергей обсудит ограничения и подходы в их варианте архитектуры. Почему и как они разделяют контексты обработки платежных операций. К какой модели организации потоков данных они пришли в результате. А также отдельное внимание уделит разбору механики движения средств в распределенном кластере.

Доклад секции "Финтех" при поддержке Мир Plat.Form.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gg83B

Привет, друзья!
Каждую неделю у нас выходит несколько статей в блоге на Хабре. Наши авторы — докладчики конференций Онтико — знают, кажется, обо всём. Они пишут о том, как проектировать IT-системы, пилить монолиты, выстраивать процессы разработки и найма. И даже рассказывают, что делать, если после всех подвигов пришло выгорание. Благодаря Хабру у нас есть возможность делиться с вами новыми знаниями и рассказывать о предстоящих событиях.

✅ Прямо сейчас в группе ВК Хабра проходит конкурс, где можно выиграть билеты на HighLoad++ Foundation. Все подробности здесь - https://vk.com/habr?w=wall-20629724_1445088

Всем привет!

О ClickHouse в Kubernetes узнаем у Александра Зайцева, сооснователя и СТО компании Altinity
📋 https://clck.ru/ggtAA

Kubernetes стремительно завоевывает популярность, в том числе и как платформа для кластеров баз данных. ClickHouse тоже не тормозит. Еще совсем недавно ClickHouse в Kubernetes казался экзотикой, но все поменялось благодаря разработанному Altinity оператору ClickHouse operator. Разработчики научились "готовить" ClickHouse для Kubernetes наилучшим образом и сделали это простым для всех остальных.

В докладе Александр расскажет об основных задачах, которые возникают при разворачивании и использовании ClickHouse в Kubernetes, как их решать средствами Kubernetes и ClickHouse operator, и почему даже в публичных облаках Kubernetes делает использование ClickHouse простым и удобным.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/ggtCW

Привет, друзья!
 
В своем докладе Алексей Лесовский из Coins.ph расскажет о поиске проблем в базе данных, если вы разработчик.
📋 https://clck.ru/ggwhx

Задача разработчика — написать рабочий код. Если этот код должен работать со стейтом, то, скорей всего, это будет какая-то база данных, из которой можно прочитать или записать данные. Писать идеальный код получается не всегда, и проблемы на стыке приложения и базы данных случаются и часто случаются внезапно. Хорошо, когда за эксплуатацией БД следит специальный человек — можно рассчитывать на него, что он поможет найти и устранить проблему. Если же такого человека нет, приходится рассчитывать на свои знания и умения.

На выступлении Алексей поставит себя на место backend-разработчика и постарается разобраться, что же необходимо делать, если возникли проблемы с  приложением и базой данных. Как собрать необходимую информацию которая поможет в поиске правильного решения. Расскажет, какие изменения нужны в приложении, чтобы в дальнейшем облегчить протекание подобных ситуаций и ускорить поиск решений.

В качестве примера он рассмотрит СУБД PostgreSQL, при этом полученные знания можно будет применять и с другими БД.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/ggwk7

Всем привет!

Что такое клиринг, как он работает и как реализован на примере платежной системы "Мир" – узнаем у Натальи Азисовой, Product Owner и Business Analyst в Мир Plat.Form. Наталья более 10 лет работает в ИТ от тестирования и установки релизов до PO.
📋 https://clck.ru/gj6fL

Покупки с помощью карты стали неотъемлемым атрибутом нашей жизни. За 2021 год жители нашей страны совершили более 21 миллиарда операций банковскими картами.

На примере работы клиринговой системы «Мир» Наталья расскажет, что они делают, чтобы справиться с регулярно возрастающей нагрузкой, какие используют технологии и архитектурные решения.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Если вы еще не купили билет, то самое время это сделать – https://clck.ru/gj6hc

Привет, друзья!

О построении самодиагностики и этапах эволюции мониторинга в живой высоконагруженной системе – узнаем у Глеба Тильтикова из МТС Digital.
📋 https://clck.ru/gj86K

В технических платформах телекома требуется высочайший уровень надежности, а минута простоя чревата большими бизнес- и репутационными потерями. Необходимо не только мониторить состояние серверов и программных компонентов, но и оперативно реагировать на изменения в их поведении.

В своем докладе Глеб расскажет, как они для смс-платформы построили систему самодиагностики на основании продуктовых метрик, про выбор этих метрик и эволюционный путь от простых алертов до самообучающейся системы по принятию решений.

✅ Встречаемся 13 и 14 мая в Москве! Забронировать билет можно здесь – https://clck.ru/gj87g

Всем привет!

До главной конференции этой весны осталось совсем немного! И мы продолжаем знакомить вас со спикерами HighLoad ++, которые выступят 13 и 14 мая в Москве.
Про Pluggable TOAST нам расскажут Олег Бартунов, Никита Глухов и Федор Сигаев из Postgres Professional.
📋 https://clck.ru/gjETQ

Одной из "родовых" проблем постгреса является технология TOAST (The Oversized-Attribute Storage Technique или методика хранения сверхбольших атрибутов) в ее применении к современным типам данных с внутренней структурой, наиболее ярким представителем которых является JSONB. Проблема состоит в том, что TOAST работает с JSONB, как с черным ящиком, и это приводит к очень большим оверхедам как в простом доступе по ключу, так и в обновлении JSONB.

Разработчики расскажут про свою работу по улучшению TOAST, которую они научили работать с типом данных так, как сам тип считает наиболее эффективно, то есть теперь большие колонки могут "нарезаться "и сжиматься не единым для всех способом, а с учетом особенностей конкретного типа данных, что в случае JSONB означает громадное улучшение производительности, про которое мы говорили весь прошлый год. Pluggable TOAST позволит реализовать все наши улучшения в виде расширений, и речь пойдет про несколько примеров его использования — стрим bytea в постгрес со скоростью диска и JSONB. Спикеры планируют закоммитить Pluggable TOAST в ядро PG15, чтобы иметь возможность впоследствии доработать эти примеры и отдать в сообщество как расширения.

✅ Спешите запланировать своё участие в HighLoad++. Расписание и билеты ​​https://clck.ru/gjEUM

Экспертные зоны - получите консультацию от экспертов!

HighLoad++ Foundation выходит за пределы традиционных конференций. Помимо 9 потоков докладов на 2 дня конференции, мы развернем 22 экспертные тематические зоны.

Вы можете углубить свои знания в конкретных прикладных темах, получить консультации от экспертов по волнующим вас вопросам и расширить свой кругозор.

Все экcперты прошли тщательный отбор, мы отобрали самых-самых, чтобы вы получили информацию самого высокого качества.

➡️ Подробнее: https://highload.ru/foundation/2022/experts

Всем привет!

Работа с качеством данных актуальна не только для решающих задачи моделирования, но и в целом для тех, кто использует Data Driven-подход. Из доклада Дениса Занкова узнаем про поиск новых решений для Газпромбанка при работе с оттоком посредством ML-подходов и где был найден значительный бизнес-эффект.
📋 https://clck.ru/gjpzf

Такие модели характеризуют продуктовое поведение человека. Для их вывода в промышленную эксплуатацию необходимо поддерживать витрину с фичами по каждому клиенту. Это тысячи колонок с признаками миллионов клиентов по состоянию на каждый месяц за несколько лет.

Как поддерживать качество данных на приемлемом уровне при таком объеме и при вечном недостатке ресурсов? Ни один алгоритм поиска аномалий не справится с таким объемом данных, а отсматривать каждый признак на тысячах графиков проблематично и трудозатратно.

На выступлении также обсудим почему Isolation Forest не работает просто на статистиках и зачем требуется дополнительная ранжирующая функция аномальности и алгоритм интерпретации результата.

В финальной части доклада Денис расскажет, как они применяют данный алгоритм, о развитии фич их решения, об эффекте от его внедрения в прод и почему они выбрали эту тему для доклада на HighLoad++.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте –
https://clck.ru/gjq3o

Привет, друзья!

Про небинарный DevOps и высокоэффективный гуманный on-call поговорим на выступлении Яна Ашенкампф из Газпромбанка
📋 https://clck.ru/gjxaw

Чаще всего дежурства on-call / pagerduty-форматов делают в дополнение к рабочим часам. Это негуманно и не очень оптимально:
* люди выгорают,
* люди ошибаются,
* люди воспринимают это как burden.

Что особенно плохо работало бы в системе с клиентом, требующим моментального ответа и быстрейшей починки, да такой, в которой инженеры сами заинтересованы.

Внешние стимулы работают плохо.
Наказывать — тоже плохо.
Выделять отдельную линию поддержки удлиняет цепочку и делает починку ещё дольше.

В своем докладе Ян расскажет о том, как он подошёл к решению этой проблемы в команде, работающей с казначейством.

✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте – https://clck.ru/gjxcq

Привет друзья!

На конференции HighLoad++ Сергей Козлов из «Лаборатории Касперского» расскажет, как автоматизировать разбор проблем в дебаггере.
📋 https://clck.ru/gk4DH

Сергей покажет подходы к автоматизации разбора проблем на примере библиотечки скриптов. Она предназначена для использования c WinDBG и с GDB и помогает в автоматизации ряда рутинных задач, возникающих при анализе причин падения программ как при отладке вживую, так и при работе с дампами памяти.

Проведем лайвкодинг-демонстрацию нескольких скриптов в отладчике, в частности:
* поиск исключений, произошедших в потоке ранее (Win);
* вывод стеков 32-битного приложения для 64-битного kernel-mode дампа (Win);
* поиск потребителей большого количества памяти:
- анализ с AppVerifier'ом
- анализ без AppVerifier'а (GDB)
* что делать, если упали в boost::coroutine (GDB).

✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте - https://clck.ru/gk4FZ

Привет, друзья!

Одним из спикеров HighLoad++ будет Артем Селезнев, он расскажет про свой опыт разработки платформы для экспериментов в компании Магнит.
📋 https://clck.ru/gmBeC

В Магните еженедельно запускаются эксперименты для улучшения клиентской активности. Каждый эксперимент создается определенным запросом на выделение клиентов, сегментацию по разным типам и способам коммуникации, разделение на контрольные и целевые группы. После запуска необходимо найти инсайды, построить аналитики и дать ответ об успехе или провале эксперимента. На каждый эксперимент создается огромное количество ad-hoc-запросов, и ваша команда начинает сгорать. Как это можно было решить?

Разработчики подумали сделать для себя сервис, который будет отвечать на поставленные вопросы, используя клиентские данные, а над самими клиентами проводить сегментирования и разные тестирования. Благодаря этому решению появилась Client as Service-платформа, предоставляющая покупателей для экспериментов, находящая инсайды в данных и тестирующая результаты.

Client As Service — это проект, который помогает подготовить миллионы пользователей к экспериментам. Проект, который использует статистику покупателей, чтобы найти бизнес-инсайды и помогает составить ответ на каждый запрос.

В своем докладе Артем рассмотрит:
* какие проблемы в себе скрывает стратификация пользователей, и какие инсайды можно получить уже в стратификации;
* возможно ли найти одинаковых покупателей для A/B-тестов в ритейле;
* как до эксперимента определить будущую выгоду;
* почему на каждом этапе они считают CLTV и почему это важно;
* как они встроили в систему оценку при помощи вейвлетов и получили лучшие результаты;
* что необходимо реализовать, чтобы ваши клиенты стали сервисом.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gmCje

Всем привет!

Из доклада Виталия Филиппова узнаем про архитектуру Vitastor и темную сторону распределенной СХД.
📋 https://clck.ru/gmLMW

Vitastor — это быстрый «Ceph-заменитель». Распределённая блочная программная система хранения данных (SDS), способная, в отличие от большинства других систем, нормально работать с быстрыми твердотельными накопителями, и при этом, в отличие от большинства других систем, имеющая симметричную распределённую архитектуру без единой точки отказа.

В этом докладе Виталий остановится на технической стороне. Тёмной, архитектурной технической стороне.

Что такое «симметричная распределённая архитектура»? Как конкретно обеспечивается консистентность? Как реализованы снапшоты и клоны? Зачем нужен io_uring? Как Vitastor использует RDMA? Что ещё за монитор на node.js и откуда там LP-солвер (утилита решения задач линейного программирования)?

✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо! Подробное расписание и билеты на сайте – https://clck.ru/gmLUm

Всем привет!

Нагрузочное тестирование — это долго и дорого, и это проблема. Почему так? Узнаем на выступлении Кирилла Юркова из компании Самокат.
📋 https://clck.ru/gojM3

Бизнесы растут, нагрузки растут, а вот подходы к нагрузочному тестированию почти не развиваются. И проблема не только в людях, но и в самих подходах.

Типичная ситуация: умеем в продуктовую разработку, пока что не очень умеем в нагрузочное тестирование, давайте тогда работу с нагрузкой строить по принципам продуктовой команды. Наймём в каждую команду по нагрузочнику (если сможем), вместе с разработчиками и тестировщиками они все будут T-shaped, в едином продуктовом контексте помогать друг другу.

Вот только такой подход имеет обратную сторону: если команд и продуктов несколько, то каждый нагрузочник будет “вариться в собственном соку”. С ростом числа команд во весь рост встанут проблемы шаринга знаний между юнитами и найма новых нагрузочников. А еще это дорого.

В своем докладе Кирилл расскажет об их опыте в Самокате — как они строят PerfOps-команду. Расскажет о концепции, подходе к её реализации, инструментарии и процессе внедрения сервисной модели для нагрузочного тестирования.

✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gojRX