HighLoad++
5.98K subscribers
2.27K photos
137 videos
15 files
2.11K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
Рассмотрим в деталях работу рекомендаций Яндекс.Музыки. Даниил Бурлаков расскажет нам:

🔸 как рекомендовать десяткам миллионам пользователей музыку из более чем 70 миллионов музыкальных композиций и при этом учитывать действия пользователя, произошедшие менее чем секунду назад;
🔸 про неочевидные сложности работы рекомендательного сервиса, когда каждый день появляется более полумиллиарда новых событий.

Все подробности 👉🏻 https://clck.ru/XFwEi

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XFwDm
Леонид Блохин и Дмитрий Евстюхин из Provectus утверждают, что мы на пороге очередной абстракции, нам предстоит пройти через отрицание, гнев, торг, депрессию и принятие.

Настала пора абстрагировать инжиниринг данных от ML-процесса. Следующий шаг или очередной слой бесполезных препятствий для ML-разработчика?

- Связываем данные и модели;
- данные для тренинга модели и данные для предсказаний согласуем между собой;
- поддерживаем согласованность между тестовыми и продакшн-данными;
- фичи с локальных рабочих станций, как же довести это до прода.

В своем докладе они затронут тему практического использования Feature Store в реальной жизни, разберут на примере Open Source-проекта Feast реализацию хранилища фич, а также расскажут про интеграцию с AWS DynamoDb https://clck.ru/XFwbs

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XFwcG
Современный подход к обработке и аналитике данных требует очень быстрой реакции. Для этого необходима минимальная задержка в данных. Во многих направлениях потоковая аналитика данных дает конкурентные преимущества и открывает новые просторы для реализации доп. функционала.

Потоковая обработка данных сильно отличается от пакетной обработки по параметрам доступной функциональности, консистентности, стабильности и сложности сопровождения. Поэтому особо остро стоит вопрос выбора платформы и инструментов для реализации подобных приложений.

В докладе Артема рассмотрим фреймворк Spark Streaming как инструмент для реализации стриминговых приложений, разберем доступную функциональность фреймворка, а также методы его оптимизации, плюсы и минусы, подходящие и неподходящие бизнес-задачи. Доклад основан на личном опыте использования Spark Streaming в приложениях, построенных на базе Hadoop или Kubernetes https://clck.ru/XFx9t.

Спешите запланировать своё участие в Saint HighLoad++ https://clck.ru/XFxB6
💥Как быстро повторить настройку "боевой" базы MySQL, MariaDB, Percona Server, Postgresql, MongoDB в "домашних" условиях?

Надо решить несколько проблем:
- разные версии СУБД и дистрибутивов Linux, Docker-контейнеры, Kubernetes;
- нужно много серверов, чтобы работала репликация и кластеры;
- доступно только слабое железо, например, только ваш ноутбук или старый PC;
- все сервера и кластеры должны легко создаваться заново и удаляться.

https://github.com/ihanick/anydbver спешит на помощь.

В докладе Николая Ихалайнена (Percona) вы узнаете, как запустить в одну shell-команду кластеры MySQL/MariaDB, репликацию в Postgresql и 13-узлового монстра MongoDB с шардированием и бэкапами https://clck.ru/XQeJJ.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XQeFP.
Стабильность нестабильна. Занимательный разговор с Павлом Павел Притчиным (CTO Dodo pizza) в 257 подкасте The Art Of Programming https://bit.ly/TAOP257share

Спешите запланировать своё участие в Saint HighLoad++ 20 и 21 сентября. И, если вы ещё не купили билет, то самое время это сделать 👉 https://clck.ru/XQhed.
Реальный сектор экономики — исторически зона коммерческой тайны и закрытых дверей. Однако с каждым годом растет понимание, что кооперация лучше конкуренции. И вот уже постепенно промышленные задачи появляются на хакатонах, а внутренние разработки становятся, страшно подумать, Open Source!

Теперь и в Евраз готовы рассказать о том, как машинное обучение находит применение в черной металлургии, какие задачи они решают и с какими проблемами сталкиваются https://clck.ru/XQext.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XQf29.
Единая биометрическая система — платформа для работы с биометрическими данными в масштабах страны. Система рассчитана на 150 миллионов человек, на высокие нагрузки в сотни транзакций в секунду, включая юридически значимую верификацию и проверку «liveness». Разрабатывает ее компания РТЛабс.

Сегодня в статье — рассказ о том, как на уровне архитектуры системы в РТЛабс реализовали независимость от вендоров биометрических решений, как реализована возможность работы с любыми модальностями биометрии (лицо, голос и другие). Как обеспечили высокую производительность и масштабируемость, а также избежали отсутствия потерь данных при отказах оборудования. Узнаете, причем здесь Openshift, Hadoop, HBase и Kafka https://habr.com/ru/company/oleg-bunin/blog/576906/
🔥 В докладе Александра Скоробогатова (Vertica) рассмотрим практические подходы к построению высокоэффективной аналитической системы управления базой данных для обработки больших объемов информации:

🔹 на уровне архитектуры (shared nothing архитектура, надежность хранения данных и защита от сбоев);
🔹 на уровне развертывания — динамические кластеры в Kubernetes;
🔹 на уровне хранения данных (диски и формат хранения);
🔹 на уровне сетевого взаимодействия (оптимизация сетевого трафика);
🔹 на уровне планирования исполнения (распределение задач и сборка результата) — работа с блокировками;
🔹 перенос вычислений в БД (начиная от простых агрегаций до обучения и применения моделей машинного обучения).

И конечно, посмотрим, как это работает на практике в унифицированном аналитическом хранилище Vertica 👉 https://clck.ru/XQiDy.

Спешите запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XQiFB.
💥 Что вы знаете о безопасности DNS?

Вместе с Филиппом Кулиным (СПбЭК-Майнинг) рассмотрим современные теории и практики защиты DNS. Обсудим защиту от подделки DNS и вообще разберемся откуда ноги растут в этой истории. Отдельная тема в докладе Филиппа посвящена защите от прослушки: история DNSCrypt, DNS-over-TLS, DNS-over-HTTP Google API, DNS-over-HTTP/2, минимизация QNAME. Подробности https://clck.ru/XSR8P.

Спешите запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XSRBJ.
Есть исследование от Google, которое говорит, что если ваш сайт открывается больше трех секунд, то вы потеряете около 40% десктопных пользователей и более 50% — мобильных. Еще есть репорт от Amazon, который говорит, что для Amazon каждые 100 мс дополнительного latency стоит им 1% продаж. В объемах Amazon это миллионы долларов.

В зависимости от вашего бизнеса вам стоит тоже ответить на вопрос: Does the latency matter?

Юрий Мусский работает как системный инженер уже более 8 лет. В сегодняшней статье он поделился опытом, который получил в процессе решения задач в компании Big Data Technologies, где есть какой-никакой highload. В пике это 30 тысяч rps, и вопрос с latency всегда остро стоит перед бизнесом. https://habr.com/ru/company/oleg-bunin/blog/577158/
По долгу службы Дмитрий Самиров, руководитель разработки пилотных проектов Tarantool, с командой в среднем раз в месяц разрабатывает какой-то новый MVP. Часто между собой эти проекты имеют мало общего, кроме, одного: все они требуют нагрузочного тестирования. И хочется, чтобы процесс нагрузочного тестирования был максимально удобен и приятен.

В докладе Дмитрия узнаем:
🔹 на что они обращают внимание в нагрузочных тестированиях;
🔹 какой эволюционный путь прошли по налаживанию процессов нагрузочного тестирования;
🔹 обзор различных инструментов с плюсами и минусами;
🔹 что такое K6 и почему выбрали его основным инструментом.

Подробности доклада https://clck.ru/XSTqW.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSTu8.
Платформа 1С уже достаточно давно работает и с большим количеством операций, и с большим количеством пользователей, и с достаточно большими данными. Более того, Платформа 1С имеет отлично работающую и при этом очень просто настраиваемую систему отказоустойчивости и распределения нагрузки. Но несмотря на всё это, в мире HighLoad'а этот инструмент почему-то не замечают.

В своём выступлении Антон Дорошкевич (ИнфоСофт) покажет цифры с реальных внедрений и расскажет, есть ли ограничения в самой Платформе 1С:
1. Количество операций в секунду.
2. Количество одновременно работающих пользователей.
3. Объёмы баз.
4. Как настраивается отказоустойчивость кластера 1С.
5. Как настраивается распределение нагрузки в кластере 1С.

Возможно сообщество увидит и получит в свой арсенал ещё один инструмент для решения своих задач https://clck.ru/XSUiL.

Успейте запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XSUjX.
Блокчейн — это очень популярная и быстро развивающаяся технология в настоящий момент, и интерес к ней только растет. Все больше компаний из различных областей рынка смотрят в сторону этой технологии для решения своих задачи. На рынке существует большое количество DLT-фреймворков. Но как же выбрать, какая реализация подойдет для решения конкретной задачи в определенной сфере?

В своем докладе Марина Кудрявцева (руководит DLT-дивизионом Exactpro) расскажет о наиболее известных и популярных фреймворках — Hyperledger Fabric, Quorum, Ethereum, Bitcoin и Corda. Разберем их сходства и различия, особенно с точки зрения приватности данных, масштабируемости и простоты программирования. Также поговорим о том, на что ориентируются компании при выборе конкретной технологии, и рассмотрим примеры конкретных реализаций, которые известны на рынке https://clck.ru/XSV7U.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSV8X.
Хорошая интеграция — это не та, которая использует конкретную современную технологию, а та, которая устойчиво работает даже при ошибках и падениях интегрируемых систем, а службе сопровождения позволяет быстро и технологично разбирать инциденты.

Максим Цепков проектировал интеграцию в множестве проектов, как между системами и сервисами собственной разработки, так и со сторонними системами. В докладе он поделится наработанными за 25+ лет шаблонами проектирования взаимодействия систем и построения админки для работы с инцидентами. Что интересно, они практически не зависят от используемых технологических стеков https://clck.ru/XSWXs.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWVq.
🔥 Душещипательная история от Андрея Квапила о том, как выбирали кластерную файловую систему для виртуальных машин и контейнеров, с какими трудностями столкнулись и почему остановили свой выбор на LINSTOR.

Андрей поделится опытом использования LINSTOR в Kubernetes, Proxmox и OpenNebula:
• на наглядном примере посмотрим, как оно работает и чем отличается от того же Ceph и других решений;
• под какие цели стоит использовать LINSTOR, а когда его внедрение может быть нецелесообразным;
• разберёмся, как работает тонкая настройка и планирование ресурсов;
• проблемы DRBD и их решения https://clck.ru/XSXEF.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSXHv.
Существуют случаи, когда требуется использовать языки, компилируемые в машинный код или совместимые с C ABI. Например: разработка для встраиваемых систем, написание библиотек для других языков (Python, JS, Lua, C, C++) или разработка модулей, встраиваемых в другие приложения (Tarantool, Redis, Oracle).

Олег Уткин (Tarantool) расскажет как им удалось ускорить код на Lua в 20 раз, при этом написав кода в 5 раз меньше чем на С. А также как за час реализовали десериализатор данных из Kafka для Lua с помощью Rust https://clck.ru/XVTp8.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
FirstDEDIC — хостинг-провайдер с 11-ти летним стажем. Компания предлагает выделенные серверы, заточенные под решение любых задач — от небольших проектов до высоконагруженных и нестандартных. Серверы FirstDEDIC расположены в дата-центрах WEB DC и IXcellerate уровня Tier III и базируются на новейших процессорах Intel и AMD.

Будете на конференции, обязательно загляните на стенд к команде FirstDEDIC: ребята с удовольствием расскажут об опыте тестирования процессоров, лайфхаках при выборе сервера и возможностях «железного» апгрейда. Помимо разговоров о железе они обещали привезти настоящий Harley-Davidson и провести розыгрыш MacBook Air и других крутых призов.

Но и это ещё не всё! Команда FirstDEDIC приготовила ролевую игру с захватом территорий — сможете погрузиться в атмосферу «войны» байкерских банд прямо на конференции.

Подробнее обо всём этом расскажет 20 и 21 сентября команда FirstDEDIC.
🔥 Что в случае, когда техдир вырастает вместе с командой и ему нужно ее развивать на новые уровни, что, когда техдир приходит в уже сложившуюся команду и ему нужно ее прокачать, необходимо погрузиться практически во все аспекты продуктов, команды, процессов. Очень важно не забывать правильно делегировать! Иначе команда не будет расти. Но в какой-то момент времени делегирования становится недостаточно, а персональное участие техдира в процессах, где он раньше был, начинает мешать.

В своем докладе Артем Каличкин (ЦФТ) расскажет о трех этапах развития техдира и разберет ожидания вашей команды от вас на каждом из этапов, и почему их нужно менять, менять осознанным усилием, настойчиво, и не обижаться, когда ваш программист вам говорит — это же ваша обязанность, вы и делайте. И обсудим, что с этим делать, вместо того чтобы обижаться https://clck.ru/XVk3z.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVk4V.
В PostgreSQL очень много самой разной статистики, при помощи которой можно наблюдать за тем, как работает БД. Практически все инструменты и плагины для мониторинга PostgreSQL берут данные из этой статистики. Статистики действительно очень много, но даже несмотря на это, с каждым релизом появляется что-то новое.

В своем докладе Алексей Лесовский (Data Egret) расскажет про нововведения в средствах для мониторинга, появившиеся в последних двух релизах Postgres (13 и 14), которые выйдут осенью, но уже доступны для бета-тестирования. Я расскажу о том, какие конкретно добавлены улучшения, в каких случаях они могут быть полезны и как их применять, приведу практические примеры их использования. Доклад будет полезен системным администраторам и ДБА, которые интересуются мониторингом и занимаются их поддержкой https://clck.ru/XVrLP.

📌Полная программа, расписание и билеты на Saint HighLoad++ https://clck.ru/XAWum
💥 Доклад Ивана Комарова - рассказ о пути, о месте машинного обучения в большой финтех-компании https://clck.ru/XVnRv.

Что можно сказать про 5 лет работы в дата-сайенс на одном месте? Там, где подразделение выросло с 1 до 65 и продолжает расти?

Они попробовали все, что может быть интересно, и многое не зашло: отток, рекомендашки, супер-точные А/Б-тесты, клавиатурный почерк… Но что-то оказалось критически важным: EDA для проекта «Займы» — т.е. быстрые ответы на вопросы с учетом всех источников данных, CV — чтение доков и распознавание лиц, NLP — речевая аналитика.

Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVnT8.
🔥 Открытая трансляция главного зала Saint HighLoad++ благодаря поддержке ЦФТ!

2 дня и 14 докладов. Посмотреть расписание https://bit.ly/2XdFZNJ

Для доступа к трансляции необходима только регистрация https://bit.ly/3xKP0u6