На Saint HighLoad++ 2023 Андрей Бородин расскажет доклад на тему "Эндогенные угрозы физической целостности СУБД"

Делаем Сбербанк Онлайн надежнее и надежнее: как они готовятся к пиковым нагрузкам расскажет Артем Арюткин в своем докладе в рамках трека "Архитектура. HighLoad & VK"
⠀
Отказоустойчивость финансового сервиса критически важна для их клиентов. Они строят свои процессы так, чтобы гарантировать клиентам уверенность. Высоконагруженный проект, регулярно меняющийся ландшафт и 1000 изменений, которые происходят вокруг? Это то, с чем им приходится регулярно работать.

В докладе на примере Сбербанк Онлайн — проекта с 79 млн. уникальных пользователей в месяц — рассмотрим принципы построения отказоустойчивой архитектуры, пройдя весь путь эволюции Сбербанк Онлайн.

А также:

1. Разберем, что делать, чтобы подготовить Сбербанк Онлайн к периоду высокой нагрузки.
2. Узнаем об особенностях нашей архитектуры.
3. Как и почему появился сервис: "Вход в СБОЛ по талонам".
4. Разберемся в том, почему построение отказоустойчивого финансового сервиса — это непростая задачка.


Полная программа трека "Архитектура. HighLoad & VK" - https://bit.ly/3NfnD6J

ORC и Parquet. О форматах и их использовании на базе HDFS поговорим с Александром Маркачевым

⠀
Современный мир наполнен данными, а количество производимых и хранимых каждой компанией данных непрерывно растет, вызывая множество проблем. Хранение и обработка этих данных является критически важной задачей для бизнеса.
⠀
Оптимизация обработки и хранения данных — это необходимая задача для компаний в настоящее время. Это помогает сокращать затраты на обработку данных, ускоряет выполнение запросов и повышает общую производительность — в том числе и для задач машинного обучения. Решение этой проблемы может иметь огромное значение для развития организации, которая на основе эффективного управления данными сможет укрепить свою позицию на рынке и обеспечить успешное развитие в будущем.
⠀
В докладе разберём:
⠀
- как устроены форматы ORC и Parquet;
- в чём секрет их эффективности;
- каких правил придерживаться при настройке таблиц на примере ORC;
- реальный пример оптимизации таблицы на 500 миллионов записей и ускорения ее обработки в 3 раза.

Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐

Друзья, напоминаем, что через 2 дня мы собираемся на традиционную встречу активистов, потенциальных докладчиков и участников ПК.

Когда: 8 июня (четверг)

Сбор участников с 19:00, официальная часть с 19:30

Где: Москва, культурный центр "Плюс Дача", в самом центре Парка Горького

Обсудим с вами новости и планы, поговорим о том, что болит и волнует, обменяемся идеями, чтобы следующий HighLoad стал еще мощнее!

Количество мест ограничено. Участие свободное, зарегистрироваться здесь

Ждем вас!

Успеть за 350 миллисекунд. Эволюцию архитектуры Антиспама Почты Mail. ru обсудим с Константином Хицко в рамках трека "Архитектура. HighLoad & VK"
⠀
Для того, чтобы защитить пользователей почты Mail. ru от вредоносных писем и сообщений Антиспам Почты Mail. ru проверяет более 400 млн писем ежедневно.
⠀
В своем докладе Константин расскажет, как и почему менялась архитектура Антиспама за более 15 лет развития.

Узнаем:

* что такое спам и зачем с ним бороться;
* какие этапы выполняются при проверке письма;
* какие технические трудности возникают при фильтрации спама, и как мы с ними боремся;
* как развивалась архитектура Антиспама, и какую роль в этом играют спамеры;
* что изменилось с началом применения технологий машинного обучения;
* какую роль играет ML в наших задачах;
* какие принципы разработки используются, чтобы достичь целевых показателей SLA под нагрузкой выше 300K RPS;
* в заключении Константин расскажет примеры случаев, когда что-то пошло не по плану, и какие выводы они из этого сделали.

До встречи на докладе!

Ждем вас 26 и 27 июня в Питере на Saint HighLoad++ 2023 🙌

Подробнее о конференции и билеты на сайте в описании канала @HighLoadChannel

На мастер-классе от Алексея Лосева разберем "Асинхронное взаимодействие в распределенных системах"

⠀
Разберем реальную задачу из жизни маркетплейсов по донесению товарных предложений от продавцов до покупателей. Обсудим возможные варианты реализации асинхронной передачи данных в распределенной системе, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
Saint HighLoad++ 2023 пройдет 26 и 27 июня в Питере 🙌
⠀
Программа конференции и билеты здесь @HighLoadChannel

Кто нам ChatGPT? Друг, враг или так? Узнаем из доклада Артема Бачевского 😎

⠀
✅ Ознакомиться с полной программой Saint HighLoad++ 2023 и купить билет можно на сайте, ссылка в описании канала @HighLoadChannel

С Георгием Меликовым поговорим о переизобретении файловой системы: OpenZFS

⠀
Хранение данных — это всегда боль, у которой может быть больше 50 оттенков: железо, кэш, гарантии, производительность, скорость восстановления при проблемах, удобство и так далее. Как бы решить большинство проблем, при этом получив что-то легко обслуживаемое, да ещё бесплатно?
⠀
Поcмотрим на проверенную боем OpenZFS, почему её хочется использовать (кто сказал "деградация данных"?) и когда её использовать не стоит (ммм, zero copy в Copy-on-Write).
⠀
Также не забудем о людях — обсудим комьюнити, как ФС может пережить родную ОС и жить вне ядра.
⠀
Взгляд со стороны контрибьютора.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

Ознакомиться с программой трека "Архитектура. HighLoad & VK" можно на сайте, ссылка здесь @HighLoadChannel

Лев Плинер в своем докладе расскажет про CPU-изоляцию по memory bandwidth

⠀
Системы с несколькими потребителями, как правило, следят за тем, как потребители расходуют вычислительные ресурсы. Следят разными способами: через квоты, привязанные к чеку, через жёсткие и мягкие лимиты. Учёт некоторых ресурсов превращается в продолжительный квест.
⠀
Один такой квест мы рассмотрим на примере приватного вычислительного облака Яндекса. Потребители облака, сервисы Яндекса, запускаются в миллионах контейнеров на более, чем 100 тысячах серверных ЭВМ. Через контейнер потребителям облака предоставляется гарантия на вычислительные ресурсы облака.
⠀
Наиболее важным ресурсом вычислительного облака является время, за которое треды в контейнере могут выполняться на ядрах центральных процессоров. Процессорное время напрямую влияет на количество обрабатываемых запросов. Закончилось выделенное процессорное время — пользователь начал получать пятисотки.
⠀
Лев с командой в очередной раз столкнулись с тем, что контейнеры с одной и той же начинкой под сходной нагрузкой имеют разный резерв свободного процессорного времени. Быстро стало ясно, что влияние оказывает скорость, с которой данные передаются между оперативной памятью и кэшем процессора. Придумать решение заняло больше времени, но они справились.
⠀
Saint HighLoad++ 2023 пройдет 26 и 27 июня 🙌
⠀
Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Алексей Шпагин в своем докладе в рамках трека "Архитектура. HighLoad & VK" расскажет про VK Звонки: как они оценивают качество видео объективно

⠀
Почему иногда во время звонка зависает видео от кого-то из участников? Почему видео может “пикселить” или напоминать слайд-шоу, и что из этого больше расстраивает пользователей видеоконференций? Как оценить качество видео и выразить эту оценку в виде одного числа?
⠀
Алексей постарается раскрыть эти вопросы в своем докладе на примере VK Звонков — высоконагруженного сервиса видеоконференций, при помощи которого ежедневно общаются миллионы людей. В докладе он расскажет, с какими вызовами они сталкиваются при передаче видео от участников звонка, как справляются с ними, а также как измеряют качество видео, чтобы быть уверенным, что действительно предоставляют своим пользователям сервис высокого уровня.
⠀
Встречаемся 26 и 27 июня в Санкт-Петербурге 😎
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel