HighLoad++
6.01K subscribers
2.3K photos
138 videos
15 files
2.14K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
🔥 В докладе Александра Скоробогатова (Vertica) рассмотрим практические подходы к построению высокоэффективной аналитической системы управления базой данных для обработки больших объемов информации:

🔹 на уровне архитектуры (shared nothing архитектура, надежность хранения данных и защита от сбоев);
🔹 на уровне развертывания — динамические кластеры в Kubernetes;
🔹 на уровне хранения данных (диски и формат хранения);
🔹 на уровне сетевого взаимодействия (оптимизация сетевого трафика);
🔹 на уровне планирования исполнения (распределение задач и сборка результата) — работа с блокировками;
🔹 перенос вычислений в БД (начиная от простых агрегаций до обучения и применения моделей машинного обучения).

И конечно, посмотрим, как это работает на практике в унифицированном аналитическом хранилище Vertica 👉 https://clck.ru/XQiDy.

Спешите запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XQiFB.
💥 Что вы знаете о безопасности DNS?

Вместе с Филиппом Кулиным (СПбЭК-Майнинг) рассмотрим современные теории и практики защиты DNS. Обсудим защиту от подделки DNS и вообще разберемся откуда ноги растут в этой истории. Отдельная тема в докладе Филиппа посвящена защите от прослушки: история DNSCrypt, DNS-over-TLS, DNS-over-HTTP Google API, DNS-over-HTTP/2, минимизация QNAME. Подробности https://clck.ru/XSR8P.

Спешите запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XSRBJ.
Есть исследование от Google, которое говорит, что если ваш сайт открывается больше трех секунд, то вы потеряете около 40% десктопных пользователей и более 50% — мобильных. Еще есть репорт от Amazon, который говорит, что для Amazon каждые 100 мс дополнительного latency стоит им 1% продаж. В объемах Amazon это миллионы долларов.

В зависимости от вашего бизнеса вам стоит тоже ответить на вопрос: Does the latency matter?

Юрий Мусский работает как системный инженер уже более 8 лет. В сегодняшней статье он поделился опытом, который получил в процессе решения задач в компании Big Data Technologies, где есть какой-никакой highload. В пике это 30 тысяч rps, и вопрос с latency всегда остро стоит перед бизнесом. https://habr.com/ru/company/oleg-bunin/blog/577158/
По долгу службы Дмитрий Самиров, руководитель разработки пилотных проектов Tarantool, с командой в среднем раз в месяц разрабатывает какой-то новый MVP. Часто между собой эти проекты имеют мало общего, кроме, одного: все они требуют нагрузочного тестирования. И хочется, чтобы процесс нагрузочного тестирования был максимально удобен и приятен.

В докладе Дмитрия узнаем:
🔹 на что они обращают внимание в нагрузочных тестированиях;
🔹 какой эволюционный путь прошли по налаживанию процессов нагрузочного тестирования;
🔹 обзор различных инструментов с плюсами и минусами;
🔹 что такое K6 и почему выбрали его основным инструментом.

Подробности доклада https://clck.ru/XSTqW.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSTu8.
Платформа 1С уже достаточно давно работает и с большим количеством операций, и с большим количеством пользователей, и с достаточно большими данными. Более того, Платформа 1С имеет отлично работающую и при этом очень просто настраиваемую систему отказоустойчивости и распределения нагрузки. Но несмотря на всё это, в мире HighLoad'а этот инструмент почему-то не замечают.

В своём выступлении Антон Дорошкевич (ИнфоСофт) покажет цифры с реальных внедрений и расскажет, есть ли ограничения в самой Платформе 1С:
1. Количество операций в секунду.
2. Количество одновременно работающих пользователей.
3. Объёмы баз.
4. Как настраивается отказоустойчивость кластера 1С.
5. Как настраивается распределение нагрузки в кластере 1С.

Возможно сообщество увидит и получит в свой арсенал ещё один инструмент для решения своих задач https://clck.ru/XSUiL.

Успейте запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XSUjX.
Блокчейн — это очень популярная и быстро развивающаяся технология в настоящий момент, и интерес к ней только растет. Все больше компаний из различных областей рынка смотрят в сторону этой технологии для решения своих задачи. На рынке существует большое количество DLT-фреймворков. Но как же выбрать, какая реализация подойдет для решения конкретной задачи в определенной сфере?

В своем докладе Марина Кудрявцева (руководит DLT-дивизионом Exactpro) расскажет о наиболее известных и популярных фреймворках — Hyperledger Fabric, Quorum, Ethereum, Bitcoin и Corda. Разберем их сходства и различия, особенно с точки зрения приватности данных, масштабируемости и простоты программирования. Также поговорим о том, на что ориентируются компании при выборе конкретной технологии, и рассмотрим примеры конкретных реализаций, которые известны на рынке https://clck.ru/XSV7U.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSV8X.
Хорошая интеграция — это не та, которая использует конкретную современную технологию, а та, которая устойчиво работает даже при ошибках и падениях интегрируемых систем, а службе сопровождения позволяет быстро и технологично разбирать инциденты.

Максим Цепков проектировал интеграцию в множестве проектов, как между системами и сервисами собственной разработки, так и со сторонними системами. В докладе он поделится наработанными за 25+ лет шаблонами проектирования взаимодействия систем и построения админки для работы с инцидентами. Что интересно, они практически не зависят от используемых технологических стеков https://clck.ru/XSWXs.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWVq.
🔥 Душещипательная история от Андрея Квапила о том, как выбирали кластерную файловую систему для виртуальных машин и контейнеров, с какими трудностями столкнулись и почему остановили свой выбор на LINSTOR.

Андрей поделится опытом использования LINSTOR в Kubernetes, Proxmox и OpenNebula:
• на наглядном примере посмотрим, как оно работает и чем отличается от того же Ceph и других решений;
• под какие цели стоит использовать LINSTOR, а когда его внедрение может быть нецелесообразным;
• разберёмся, как работает тонкая настройка и планирование ресурсов;
• проблемы DRBD и их решения https://clck.ru/XSXEF.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSXHv.
Существуют случаи, когда требуется использовать языки, компилируемые в машинный код или совместимые с C ABI. Например: разработка для встраиваемых систем, написание библиотек для других языков (Python, JS, Lua, C, C++) или разработка модулей, встраиваемых в другие приложения (Tarantool, Redis, Oracle).

Олег Уткин (Tarantool) расскажет как им удалось ускорить код на Lua в 20 раз, при этом написав кода в 5 раз меньше чем на С. А также как за час реализовали десериализатор данных из Kafka для Lua с помощью Rust https://clck.ru/XVTp8.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
FirstDEDIC — хостинг-провайдер с 11-ти летним стажем. Компания предлагает выделенные серверы, заточенные под решение любых задач — от небольших проектов до высоконагруженных и нестандартных. Серверы FirstDEDIC расположены в дата-центрах WEB DC и IXcellerate уровня Tier III и базируются на новейших процессорах Intel и AMD.

Будете на конференции, обязательно загляните на стенд к команде FirstDEDIC: ребята с удовольствием расскажут об опыте тестирования процессоров, лайфхаках при выборе сервера и возможностях «железного» апгрейда. Помимо разговоров о железе они обещали привезти настоящий Harley-Davidson и провести розыгрыш MacBook Air и других крутых призов.

Но и это ещё не всё! Команда FirstDEDIC приготовила ролевую игру с захватом территорий — сможете погрузиться в атмосферу «войны» байкерских банд прямо на конференции.

Подробнее обо всём этом расскажет 20 и 21 сентября команда FirstDEDIC.
🔥 Что в случае, когда техдир вырастает вместе с командой и ему нужно ее развивать на новые уровни, что, когда техдир приходит в уже сложившуюся команду и ему нужно ее прокачать, необходимо погрузиться практически во все аспекты продуктов, команды, процессов. Очень важно не забывать правильно делегировать! Иначе команда не будет расти. Но в какой-то момент времени делегирования становится недостаточно, а персональное участие техдира в процессах, где он раньше был, начинает мешать.

В своем докладе Артем Каличкин (ЦФТ) расскажет о трех этапах развития техдира и разберет ожидания вашей команды от вас на каждом из этапов, и почему их нужно менять, менять осознанным усилием, настойчиво, и не обижаться, когда ваш программист вам говорит — это же ваша обязанность, вы и делайте. И обсудим, что с этим делать, вместо того чтобы обижаться https://clck.ru/XVk3z.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVk4V.
В PostgreSQL очень много самой разной статистики, при помощи которой можно наблюдать за тем, как работает БД. Практически все инструменты и плагины для мониторинга PostgreSQL берут данные из этой статистики. Статистики действительно очень много, но даже несмотря на это, с каждым релизом появляется что-то новое.

В своем докладе Алексей Лесовский (Data Egret) расскажет про нововведения в средствах для мониторинга, появившиеся в последних двух релизах Postgres (13 и 14), которые выйдут осенью, но уже доступны для бета-тестирования. Я расскажу о том, какие конкретно добавлены улучшения, в каких случаях они могут быть полезны и как их применять, приведу практические примеры их использования. Доклад будет полезен системным администраторам и ДБА, которые интересуются мониторингом и занимаются их поддержкой https://clck.ru/XVrLP.

📌Полная программа, расписание и билеты на Saint HighLoad++ https://clck.ru/XAWum
💥 Доклад Ивана Комарова - рассказ о пути, о месте машинного обучения в большой финтех-компании https://clck.ru/XVnRv.

Что можно сказать про 5 лет работы в дата-сайенс на одном месте? Там, где подразделение выросло с 1 до 65 и продолжает расти?

Они попробовали все, что может быть интересно, и многое не зашло: отток, рекомендашки, супер-точные А/Б-тесты, клавиатурный почерк… Но что-то оказалось критически важным: EDA для проекта «Займы» — т.е. быстрые ответы на вопросы с учетом всех источников данных, CV — чтение доков и распознавание лиц, NLP — речевая аналитика.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVnT8.
🔥 Открытая трансляция главного зала Saint HighLoad++ благодаря поддержке ЦФТ!

2 дня и 14 докладов. Посмотреть расписание https://bit.ly/2XdFZNJ

Для доступа к трансляции необходима только регистрация https://bit.ly/3xKP0u6
В 2ГИС есть информация о 4.5 миллионах компаний в сотне городов, и для всех нужно отображать информацию о товарах и услугах, которые они представляют. Есть разные способы загрузить информацию о товарах и услугах: с помощью прайс-листа, поштучно через CRUD-интерфейс, настроить синхронизацию с 1С, получать данные от внешних партнеров (Booking, DeliveryClub, Yclients, СберЗдоровье). У каждого из этих источников своя периодичность обновления, объем данных и формат.

Игорь Яцевич расскажет как решали задачу спроектировать и реализовать систему, для обработки сотни миллионов товарных предложений на старте и готовую к кратному увеличению загружаемых данных, понятную в эксплуатации и развитии, а задержка между загрузкой данных и появлением их в конечных продуктах составляла бы минуты.
Поговорим про kafka, организацию потоков данных, выбор хранилищ данных и о микросервисах https://clck.ru/XVsv4.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVk
Тарантул долгое время поддерживал асинхронную мастер-мастер-репликацию.
Со временем поняли, что необходимо поддержать синхронную репликацию и выборы лидера в ядре Тарантула. Синхронная репликация поддерживается, начиная с версии 2.5, а выборы лидера появились в версии 2.6, выпущенной в сентябре 2020.

Изначально считали, что достаточно следовать простому рецепту — взять спецификацию алгоритма Raft и получить готовые выборы лидера. Однако в процессе работы над задачей мы встретились с несколькими архитектурными особенностями Тарантула, которые не давали следовать протоколу в точности. От протокола пришлось отклониться в нескольких местах. Отклонения казались безобидными, но привели к неожиданному багу, который было достаточно сложно починить.

Об этих отклонениях от протокола и багах, которые они породили, вы услышите в докладе Сергея Петренко https://clck.ru/XVxDx.

Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
🔥 Сети все время ускоряются, уже появился формат 5G, но этого все равно недостаточно и технологии доставки данных пользователям тоже не стоят на месте.

В докладе Александра Тоболя узнаем, как и зачем ускорили доставку контента ВКонтакте в 1,5 раза, и почему у решения, которое они выложили в OpenSource, нет альтернатив https://clck.ru/XYNMP.

Спойлер: ВКонтакте отказались от TCP, JSON"а, JPEG'а, gZIP'а, получили кратное ускорение передачи данных до пользователей, не остановились на достигнутом и нашли применение FPGA.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
⚡️Олег Смирнов и Алексей Никитин расскажут про существующие решения для использования UDP на мобильных клиентах и насколько они применимы в высоконагруженных проектах. На примере ВКонтакте разберем нюансы и трудности, которые возникают при внедрении новых сетевых протоколов в существующий проект с большой нагрузкой, сложной инфраструктурой и миллионами пользователей.

Обсудим платформенные отличия и доступные возможности для работы с сетью на iOS и Android. Кроме этого докладчики поделятся результатами от перехода на новый протокол: как изменилось поведение нашей аудитории и потребление ресурсов приложениями. А также ответим на вопрос: всегда ли UDP — хорош https://clck.ru/XYNs7.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Всем привет!
Меньше недели осталось до Saint HighLoad 2021! А сейчас, важная информация.
На конференции мы делаем зону, свободную от COVID-19. Что это значит?

Вход на мероприятие возможен при предъявлении одного из документов:
1) Отрицательный результат ПЦР-теста. (QR-код действует 72 часа);
2) Сертификат о перенесенном заболевании COVID-19. (QR-код действителен течение 6 месяцев с даты выздоровления);
3) Сертификат о вакцинации. Срок действия QR-кода после вакцинации - 1 год.
❗️QR-код должен обязательно вести на страницу Госуслуг.

Подробная информация https://conf.ontico.ru/stop-covid.html

P.S. Сдача экспресс ПЦР-тестов в Санкт-Петербурге:
- В Аэропорту Пулково
- На Московском вокзале пункт сдачи ПЦР-теста находится между 7 и 8 платформой. Время работы с 9:00 - до 21:30. Точную информацию о стоимости и времени изготовления, вы можете узнать на месте.
ГК ЦФТ — ведущий российский финтех-провайдер, входит в ТОП-5 разработчиков ПО в России. Обеспечивает доступ участников финансового рынка к передовым технологиям для успешного ведения бизнеса. Среди клиентов компании 50% финансовых организаций из ТОП-50 российских банков.

Сотрудники компании – профессионалы, которые умеют работать со сложными проектами, не понаслышке знают, что такое высоконагруженные сервисы, и всегда готовы поделиться опытом.

https://team.cft.ru/