Как добиться высокой пропускной способности и надежности в обработке аудио/видео данных? Как эффективно устранить перекос данных при джоинах Spark с геоданными в Apache Sedona?

Ответы на эти вопросах ждут вас в докладах из секции «Data Engineering» ⤵️

1) Платформа для создания субтитров на весь UGC в RUTUBE. Дмитрий Лукьянов (RUTUBE)

Чтобы обеспечить автоматическими субтитрами миллионы часов UGC-контента, нужно не просто точно распознавать речь — требуется промышленная платформа, способная к экстремальному масштабированию. В RUTUBE прошли путь от ограниченного MVP на Whisper до высокопроизводительной системы на собственных моделях, которая сейчас обрабатывает новые пользовательские видео почти без задержки. Дмитрий раскроет архитектурные решения, позволившие добиться такой пропускной способности при качестве, близком к ручной расшифровке.

2) Как быстро Join-ить датафреймы с геоданными на Apache Sedona. При чем здесь DataSkew, деревья и RDD. Павел Молчанов (MWS (МТС Web Services))

Боремся с длительными джоинами Spark датафреймов, с геоданными в Apache Sedona (с условием в виде пространственного предиката типа ST_Contains) и побеждаем! Выясняем, почему здесь часто возникает перекос данных (Data Skew) и как его ликвидировать. Пишем инструмент для быстрых Spatial Joins.

🖐️ Приглашаем вас на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве.

✅ Посмотреть, какие доклады уже приняты в программу, можно на сайте

Golang продолжает эволюционировать! Что изменилось, почему это важно и какие преимущества дает новая структура данных?

Об обновленной реализации хеш-таблиц в Go 1. 24, основанной на принципах Swiss Tables технологии, которая уже применяется в Rust и C++, рассказал в новой статье ведущий разработчик в Ви.Tech Кирилл Кузин.

Это изменение улучшает структуру данных и влияет на производительность, создавая основу для дальнейшей оптимизации и развития Go.

Сегодня рассказываем о докладах из трех секций программы: Архитектура и масштабируемость, Базы данных и системы хранения, Интернет вещей (IoT).

Выбирайте актуальную для вас тему и сохраняйте в свое личное расписание на HighLoad++ 2025 😉

1️⃣ Риал-тайм аналитика в распределенной системе. Вадим Зотеев (Яндекс)

Как обрабатывать аналитические запросы за сотни миллисекунд, когда данные распределены по десяткам сервисов, а объемы измеряются миллионами/миллиардами записей? В докладе Вадима — практический опыт построения системы real-time аналитики в большом B2B продукте.

2️⃣ Как мы внедрили WebAssembly в SQL-движок динамических таблиц YTsaurus. Дмитрий Торилов (Яндекс)

В своем докладе Дмитрий расскажет: как они внедрили WebAssembly во взрослый SQL-движок, работающий в продакшене; почему WebAssembly выполняется и безопасно, и быстро; что требуется от хорошего WebAssembly рантайма, и как им пришлось допиливать существующий; как кросс-компилировать под WebAssembly код произвольной сложности, а не только игрушечные примеры; почему это лучший способ поддержать UDF на настоящий момент.

3️⃣ DIY подход к цифровизации предприятий с помощью готовых решений: как мы реализовали гибкую IoT и МТОИР платформу для сбора, реакции и анализа событий. Василий Ежов (Систем ИКС)

Из этого доклада вы узнаете: про готовое решение «из коробки», DIY-построение сценариев цифровизации для пользователей любого уровня ИТ-подготовки; про унификацию сбора данных: как реализовали подключение IoT-устройств на разных протоколах; DSL-скрипты и No-code workflow для настройки пользовательских сценариев. Объединение всех объектов платформы и создание бизнес-процессов; кросс-платформенные интерфейсы: web, IOS, Android.


Узнайте одними из первых, как меняется индустрия сейчас, — присоединяйтесь к нам на самой масштабной встрече highload-разработчиков в стране 🙌

➡️ На сайте можно подробнее узнать о программе и успеть забронировать билет до следующего повышения цены

Пятничная подборка записей докладов для разработчиков различных направлений с конференции HighLoad++ 2024. Выбирайте интересную для вас тему, смотрите видео и делитесь с коллегами, которым это будет тоже актуально 🖐️

1️⃣ Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин.
Доклад о переходе VK Видео на новую архитектуру сбора технической статистики.

2️⃣ От 45 до 450 Gbit/s, или 10 лет эволюции архитектуры сетевых stateful-приложений. Павел Иващенко.
На примере архитектуры своего решения спикер рассказал, как использовать возможности железа по максимуму с учетом неочевидных особенностей сетевых карт.

3️⃣ Цифровая подпись, эволюция. Сергей Прилуцкий.
Вы узнаете, как выбирать оптимальные решения для конкретных задач и правильно задавать вопросы криптографам.

4️⃣ Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов.
Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти.

5️⃣ Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев.
Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать все это, когда у тебя в системе одновременно идет тысяча экспериментов? Ответы в докладе.

6️⃣ Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз. Сергей Игнатов.
Прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

7️⃣ Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин.
Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. В докладе такой опыт на примере архитектуры очень большого проекта.

8️⃣ Жизнь после Greenplum: выбор Open Source-решения для аналитики. Петр Гуринов.
Опыт перехода с Greenplum на альтернативные решения для аналитической платформы. Причины поиска новых решений, критерии их выбора, а также практический опыт внедрения Iceberg, Trino и S3.

9️⃣ Valkey 8 — релиз форка Redis про performance. Евгений Дюков.
Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

1️⃣0️⃣ API Gateway в Авито. Александр Данковцев.
Как устроен роутинг между бесчисленным количеством микросервисов в Авито. Как он развивался, какие проблемы были и как сделать удобно и полезно.

Продуктивного просмотра и отличных выходных 🙌

P.S. Оставайтесь с нами, продолжение следует…

Друзья, хотим сообщить, что наш чат — это не только чат конференции HighLoad++, а сообщество профессионалов и единомышленников, которые делают технологии!

Здесь вы можете открыто общаться на темы высоких нагрузок, делиться опытом, рассказывать о своих успехах и даже о фейлах — ведь без них никуда. Не стесняйтесь задавать вопросы, обсуждать интересные технологии и находить решения для своих профессиональных задач.

Давайте объединяться и вместе создавать уютное highload-сообщество, где каждый сможет внести свой вклад 🙌

🖐️ Мы начнем с вопроса: какой самый интересный или неожиданный вызов вам приходилось решать в работе?

Планируете завести огромные ML-модели в проде? А может вы заинтересованы во внедрении или усовершенствовании подходов к модельному выбору каналов коммуникации с клиентами?

Если на эти вопросы вы ответили положительно, тогда следующие доклады из секции «Data Engineering» — для вас 🖐️

1) MLops в супертяжелом весе: приседания с большими моделями в k8s. Максим Мараков (Т-Банк)

В Т-Банке запустили внутреннюю продакшн-платформу для синтеза визуального контента. В докладе Максим расскажет, как поднимали «супертяжелые» ML-модели в Kubernetes: как справлялись с огромными образами и весами, строили архитектуру вокруг особенностей инференса и выжимали максимум подручными средствами.

2) Next Best Action: от просроченной задолженности к прибыли через персонализацию коммуникаций. Ольга Кравченко (Газпромбанк.Тех)

В современном банковском секторе критически важно эффективно управлять просроченной задолженностью. Ольга расскажет, как они разработали систему, которая уже на первом месяце применения увеличила объем возврата средств на 25%. Как создавалась архитектура комплексного пилота и промышленного решения. Внедренный подход позволил полностью автоматизировать и персонализировать выбор канала взаимодействия с клиентом.

Встречаемся 6 и 7 ноября на HighLoad++ 2025 в Москве, присоединяйтесь к нам 🙌

✅ Забронировать билет до повышения цены можно на сайте

Команда NGINX анонсировала предварительный релиз поддержки протокола ACME, который упрощает управление SSL/TLS сертификатами.

Новый модуль ngx_http_acme_module позволяет запрашивать, устанавливать и обновлять сертификаты непосредственно из конфигурации NGINX, что уменьшает количество ошибок и зависимость от внешних инструментов, таких как Certbot. В итоге более безопасный и эффективный процесс.

Поддержка доступна для пользователей NGINX Open Source и NGINX Plus.

Признавайтесь, друзья, какое из этих противоречий было?

👍 — первое
💯 — второе
❤️ — третье
😎 — у меня все ровно, никаких противоречий!

Если у вас свои варианты, расскажите ⤵️

Как достигать и поддерживать SLA 99.99%: от проектирования отказоустойчивых архитектур до автоматизации incident response? Обсудим это на HighLoad++ 2025 в рамках секции «SRE и эксплуатация систем».

Вас ждут истории о том, как спать спокойно, когда твой сервис используют миллионы. В докладах — реальный опыт: построение систем мониторинга и алертинга, организация on-call ротаций, post-mortem анализ. Спикеры поделятся практиками chaos engineering, capacity planning и того, как превратить каждый инцидент в улучшение системы.

Встречайте первые доклады и мастер-класс секции ⤵️

1) Когда облако дало сбой: реальный кейс борьбы за отказоустойчивость. Константин Крамлих (Yandex Cloud)

Любая крупная инфраструктура не застрахована от серого лебедя: критические инциденты случались и будут случаться, поэтому важно уметь вовремя понимать, не стоит ли все на пороге кризиса, а если он случился, то как из него выходить и извлекать уроки. В своем докладе Константин расскажет: как можно распознать приближающиеся проблемы; что делать, если они уже случились; что помогало и что мешало принимать технические решения в условиях неопределенности. И бонус-трек: как поддержать себя и команду в условиях кризиса.

2) Практики SRE на примере большого инцидента. Сергей Киселев MWS (МТС Web Services)

В условиях высокой нагрузки на сервисы и сложных технических проблем важно иметь эффективные практики для быстрого устранения инцидентов. Сергей поделится опытом решения кризисных ситуаций на примере одного из своих инцидентов, связанного с DNS, облачной инфраструктурой и человеческим фактором.

3) Мастер-класс: Что нужно знать про Java инженеру. Алексей Цыкунов (Hilbert Team)

На этом мастер-классе участники разберут полезные опции и важные нюансы для дебага и траблшутинга Java-приложений, запущенных в Kubernetes. Версии и инструменты JDK, что делать с JRE, как читать логи ошибок и логи GC, влияние реквестов и лимитов — все это будет разобрано на примере оператора elasticsearch и самописного чарта для запуска SpringBoot приложения.

Присоединяйтесь к нам, чтобы получить практические инструменты для работы 🙌

📍6-7 ноября, Москва, Технопарк «Сколково»

✅ Посмотреть, какие доклады уже приняты в программу и успеть забронировать билет до повышения цены можно на сайте

Начинаем неделю с полезного контента 🙌

Ловите вторую подборку записей докладов для разработчиков различных направлений с HighLoad++ 2024. Первая была здесь, если пропустили 👌

1️⃣ WASM: цель, устройство, перспективы. Владимир Хомутов

Доклад для разработчиков модульных систем, разработчиков расширений (в частности, nginx/angie).

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны еще вчера. Владимир рассказал о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

VK Видео
RUTUBE

2️⃣ Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли

Доклад для разработчиков систем хранения и баз данных.

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. Из доклада вы узнаете про дерево Меркла и его эффективное применение совместно с CDC. 

VK Видео
RUTUBE

3️⃣ Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов

Для разработчиков, кому интересен путь данных от пользователя до железа и какие проблемы скрываются на этом пути

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит вас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

VK Видео
RUTUBE

4️⃣ Как отлаживать асинхронный Odyssey, не привлекая внимания санитаров. Роман Хапов

Для разработчиков на С/С++, разработчиков асинхронных движков.

Глубоко технический доклад о том, как GDB расширяли для отладки Odyssey: асинхронного connection pool для PostgreSQL. Движок написан на C в асинхронной парадигме на корутинах, и в докладе Роман рассказал, как подобную задачу пытались решить в Go, но на самом деле не решили. А они — решили.

VK Видео
RUTUBE

5️⃣ Путь к стабильным и быстрым дискам в Yandex Cloud. Даниил Татьянин

Системным разработчикам

Как не терять производительность при эмуляции устройств, не уходя в крайности? Даниил рассказал про вариант эффективной реализации виртуальных дисков и новый опенсорсный проект, позволяющий решать подобные задачи.

VK Видео
RUTUBE

6️⃣ Особенности современной аппаратуры: как на x86-64 изолированные ВМ могут чувствовать друг друга. Максим Давыдов

Разработчикам облаков

Захватывающая история расследования проблемы с производительностью ВМ, вызванной конкуренцией за кэш L3 и шину к RAM. Спикер показал, как инженеры Yandex Cloud смогли найти взаимное влияние ВМ и оптимизировать их работу.

VK Видео
RUTUBE

Продуктивного просмотра! Не забывайте делиться с коллегами, кому данные записи могут быть полезны 😉

Продолжаем рассказывать вам о программе HighLoad++ 2025. На этот раз доклады из секций: DevOps-практики и культура, Базы данных и системы хранения, Архитектура и масштабируемость.

Выбирайте актуальную для вас тему и сохраняйте в свое личное расписание на конференции ✅

1) ICQ мёртв. Да здравствует ICQ! Олег Вознесенский (VK Tech)

15 ноября 1996 миру был представлен ICQ – пионер сервисов мгновенного обмена сообщениями и некогда самый популярный IM. 26 июня 2024 года компания VK, на тот момент владеющая проектом, прекратила работу мессенджера. Конец. На самом деле все гораздо интереснее. В 2019 году был представлен корпоративный мессенджер VK Teams, который фактически является... коробочной версией ICQ. Давайте заглянем под капот аськи, оценим архитектуру, окунемся в историю, сформулируем проблемы и вызовы и поговорим о путях развития. Для этого приходите на доклад Олега.

2) Снапшоты своей файловой системы через LSM: с RocksDB легко, но есть нюансы. Александр Черепанов (YADRO)

Александр поделится опытом интеграции преимуществ RocksDB, сфокусировавшись на реализации снапшотов файловой системы. Вы узнаете, как воспользоваться преимуществами LSM-дерева для реализации снапшотов и при этом не раздуть их метаданные из-за особенностей RocksDB. Как стреляют в ногу нюансы дедуплицирующей файловой системы и POSIX. И как делать поверх всего этого очистку более неиспользуемых данных.

3) Как мы в Яндекс Еде построили свой рекламный движок с нуля за 3 месяца. Денис Токарев (Яндекс Еда)

История создания собственного рекламного движка в Яндекс Еде: от бизнес-требований до production-решения, обрабатывающего >600 запросов в секунду с откликом <200ms. Выбор между R-tree и H3 для геопоиска до ML-предсказаний в real-time. Разберем аукцион второй цены, CPA-модель и архитектуру.

Присоединяйтесь к нам на HighLoad++ 2025 🙌

Успейте забронировать билет до повышения цены ⚡