HighLoad++
5.99K subscribers
2.29K photos
138 videos
15 files
2.13K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
Максим Кита, разработчик ClickHouse, расскажет про оптимизацию производительности запросов в ClickHouse

📋 https://bx.vc/chtwmy

Из доклада узнаем про их инфраструктуру для тестирования производительности, как они находят места, которые стоит оптимизировать в первую очередь, различные практики оптимизации производительности высоконагруженных приложений.

Встречаемся на Saint HighLoad++ 22 и 23 сентября в Петербурге 🙌

Подробная информация о конференции и билеты здесь - https://bx.vc/h27eea
👍1
➡️ Наверное, вы легко перечислите 10 или более web-акселераторов, и список их постоянно растет. Кроме разных функциональных возможностей, web-акселераторы значительно отличаются архитектурно, тем, как они взаимодействуют с операционной системой и реализуют те или иные HTTP-стандарты.

Понимание архитектурных различий и внутренностей конкретных прокси может помочь в выборе решения, наиболее подходящего к конкретному проекту, и разобраться со сложными задачами производительности и аномалиями обслуживания.

В статье Александр Крижановский (СЕО в Tempesta Technologies) расскажет о принципах и механизмах работы HTTP протоколов и серверов и критериях выбора Web Accelerator для вашего проекта.

https://bx.vc/rmztjd
Алексей Ефимов, системный архитектор, руководитель отдела Cloud Core, расскажет про Service Mesh на стероидах (часть 2): Zero Deployment Downtime в корпоративных приложениях

📋 https://bx.vc/b5j01k

В первой части Алексей рассказал об основных принципах построения управляемого многоуровневого Service Mesh и дал основные паттерны его использования для обеспечения версионирования и структурирования приложений. Запись части 1 - https://bx.vc/byngqy

Часть 2 посвящена техникам ВlueGreen и Canary деплоймента для обеспечения Zero Deployment Downtime, а также одновременного тестирования нескольких независимых фич.

Из доклада узнаем:

- что из себя представляет версия контракта на тех. уровне и как система ее узнает
- принципы мульти-версионности в REST, Messaging, DB
- как воедино связывается работа с версиями в разных "средах" (REST, Messaging, DB)
- унифицированный жизненный цикл версий (deploy, promote, rollback)
и другое

Подробная информация о Saint HighLoad++ и билеты здесь – https://bx.vc/6ilq5a
Филипп Мальковский расскажет, как они адаптировали существующий пайплайн по распознаванию речи для работы в инфраструктуре VK Видео, внедряли новые компоненты и оптимизировали получившееся решение

📋 https://bx.vc/3l28jl

Узнаем:

- как инкапсуляция и переиспользование компонентов на C++ помогли найти компромисс между максимальным переиспользованием существующего решения и минимизацией трафика между серверами
- как реализация в виде нативного процесса позволила гибко и независимо масштабировать пайплайн в инфраструктуре обработки видео и распространить распознавание речи на все популярные и загружаемые ролики
- как выбирали формат субтитров и способ их отображения на клиентах
- с какими неожиданностями при доставке контента через CDN столкнулись после запуска и как смогли все быстро поправить.

А также, какие возможности для развития продукта открывает распознавание речи, встроенное в пайплайн обработки видео.

Подробная информация о конференции и билеты здесь – https://bx.vc/l2uzej

До встречи 🙌
👍1
🔥 Вчера у нас состоялась встреча Программного комитета московской HighLoad++ с активистами и докладчиками в Москве. Фото здесь - https://bx.vc/pqfmxy

Обсудили, куда движется HighLoad++ сейчас. Устроили мозгоштурм. Наметили, что сейчас важнее всего раскрыть в рамках HighLoad++ 2022. Обсудили идеи, запитчили доклады и просто душевно пообщались.

Спасибо Авито за теплый прием 🙌
Спасибо гостям за отличные и продуктивные посиделки
2
Друзья, выбирайте свободное время, устраивайтесь поудобнее, потому что мы подготовили для вас следующую подборку полезных видео: 7 популярных докладов Saint HighLoad++ и HighLoad++ 2021 года.

▪️Что нового в плане мониторинга в PostgreSQL. Алексей Лесовский (Data Egret) https://bx.vc/i9qrtm

▪️Как мы перевели десятки миллионов пользователей на новый сетевой протокол. Олег Смирнов, Алексей Никитин (ВКонтакте) https://bx.vc/lm8a6f

▪️ML в промышленности: задачи и проблемы. Андрей Зубков (Евраз) https://bx.vc/szxk6h

▪️SQL_JSON в PostgreSQL: настоящее и будущее. Олег Бартунов (Postgres Professional) https://bx.vc/yk447k

▪️Как прикрутить SQL к чему угодно при помощи Apache Calcite. Роман Кондаков (Querify Labs) https://bx.vc/vjxfuf

▪️Зачем и как мы разработали свою серверную материнскую плату. Максим Лапшин (Erlyvideo) https://bx.vc/5t0a6j

▪️Инциденты и коммуникация: что, как и зачем говорить, когда все сломалось. Виктор Попов (X5 Retail Group) https://bx.vc/3jfpii

Приятного просмотра 🙌
👍5
🔺 Внимание🔺

➡️ 12 августа - окончание приема докладов на конференцию HighLoad++ 2022, которая пройдёт в Москве 24 и 25 ноября. Решение по каждому докладу примем 9 сентября.

Тематика конференции охватывает все, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов:

▫️Архитектуры, масштабируемость
▫️Базы данных и системы хранения
▫️BigData и машинное обучение
▫️Нейронные сети, искусственный интеллект

и другие направления, связанные с высоконагруженными системами.

Всем нашим спикерам мы помогаем с подготовкой презентации и самого выступления, дарим билет на конференцию и (если нужно) оплачиваем проживание и дорогу.

Подавайте заявку - https://bx.vc/3pxhlk

Все подробности по ссылке - https://bx.vc/emzvxr
📍 Про автоматический подбор параметров для Spark-приложений: как запускать больше на ограниченном кластере и не тратить время инженеров расскажет Валерия Дымбицкая - техлид команды ML Data в OneFactor

📋 https://bx.vc/lh2b8t

Валерия с командой научились каждой модели автоматически выдавать оптимальные ресурсы в Hadoop-кластере без участия человека. В их кластере запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов, все очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, а в результате увеличили пропускную способность кластера в четыре раза.

Валерия расскажет, как устроен подбор параметров и что позволяет ему работать автономно, а также поделится проблемами, с которыми они столкнулись в процессе внедрения и эксплуатации.

Встречаемся 22 и 23 сентября 🙌

Подробная информация о конференции и билеты по ссылке - https://bx.vc/t2uu1r
🔥1
👉 Ван Хачатрян расскажет про "ML свадьбу" между миллионами товаров, и как выдержать нагрузку в потоке

📋 https://bx.vc/qihqek

Узнаем, как удалось построить крутой real-time алгоритм матчинга для товаров на огромной e-commerce площадке. Задача была не из простых и заслуживает целый доклад.

Раньше их алгоритмом могли пользоваться только они, а теперь — любой разработчик компании.

Команде удалось сохранить высокие нагрузки, отказавшись от batch-подхода при онбординге большого количества новых товаров, которые у них представлены в виде длинных векторов. Речь пойдет об используемых технологиях, а также ML/DL подходах, которые они используем при сопоставлении и ранжировании товаров.

Из доклада узнаем:

1. Про задачу и цель
2. Стэк и технологии
3. Метрики и мониторинг на всех уровнях
4. Про ML и используемые SOTA подходы
5. Как они борются с деградацией своих моделей
6. Нагрузки и поток данных, с которым приходится работать

Информация о конференции и билеты здесь - https://bx.vc/9lkrft

Приходите 🙌
4👍2
💥 Как выжить под нагрузкой, имея 100ТБ в нешардированной MongoDB? Обсудим с Андреем Комягиным, CTO компании STM Labs

📋 https://bx.vc/h60lmd

Очень часто, особенно на начальном этапе развития системы/проекта, в погоне за функциональными возможностями, у нас банально не хватает времени подумать о том, что будет в долгосрочной перспективе с жизнеспособностью созданного решения под нагрузкой. К тому моменту (когда возникают проблемы) накопленные объемы данных могут исчисляться десятками и даже сотнями терабайт.

Взяв за основу реальный проект очень большой track & trace системы, Андрей покажет, что именно происходит с системой класса big data, в которой по разным причинам откладывали переход на использование шардированной архитектуры хранилища под нагрузкой. И самое главное, как выжить в этих условиях, меняя архитектуру решения на лету без downtime (DT).

Встречаемся 22 и 23 сентября на Saint HighLoad++

Информация о конференции и билеты по ссылке - https://bx.vc/wx4y1t
👍10🔥2
📍"Канал. Продукт. Платформа" или эволюция подходов к развитию мобильного банка Тинькофф – тема доклада Александра Поломодова, руководителя управления разработки цифровых экосистем в Тинькофф

📋 https://bx.vc/135u09

Александр расскажет историю развития большого проекта, а именно: как менялись требования бизнеса, схема управления командами и архитектура приложения. Как они прошли путь от одной общей мобильной команды к ~ 50 отдельным командам, среди которых 5 являются чисто платформенными командами.

Узнаем, как они дошли до формулирования принципов и правил платформы МБ, без которых дальнейшее развитие было бы невозможно. Отдельно расскажет про две текущие задачи, которые приводят к очередному организационному редизайну и изменениям в архитектуре:

1) выделение сквозных кросс-функциональных команд, условно, МБ <-> API <-> backends;
2) улучшения архитектурных подходов в интеграции МБ и API

Встречаемся на Saint HighLoad++ 22 и 23 сентября

Подробно о конференции и билеты здесь - https://bx.vc/x4r9uw
👉 Про надежность высоконагруженных С++ приложений в Яндекс.Маркете поговорим с Кириллом Гореловым

📋 https://bx.vc/3fbroq

В этом докладе Кирилл прольет свет на основные проблемы надежности высоконагруженных приложений, написанных на C++, с которыми им пришлось столкнуться в Яндекс.Маркете, и мы поговорим о методах их решения. Речь пойдёт и о поиске, который отвечает на запросы пользователей, и о пайплайнах подготовки данных, которые строят поисковые индексы.

Кирилл расскажет, как они измеряют надёжность сервиса, с какими причинами падений они сталкивались и какие инструменты и автоматику реализовали для предотвращения инцидентов и их быстрого устранения.
Также затронет тему инцидент-менеджмента в Яндекс.Маркете и расскажет про их практики быстрого тушения "пожаров".

🔺Внимание, с 1 сентября цена на билеты вырастет, успевайте забронировать по текущей стоимости

Информация о конференции и билеты по ссылке – https://bx.vc/zp56d9

До встречи!
➡️ Блокчейн в корпоративной архитектуре - дань моде или необходимость? Узнаем из доклада Дениса Васина, CTO в компании Waves Enterprise

📋 https://bx.vc/pf74me

Блокчейн — пожалуй, одна из самых противоречивых технологий современности. Модная игрушка или ценный инструмент?

Пока вы ищете ответ на этот вопрос, одно из самых цифровых ведомств в РФ — Федеральная Налоговая Служба — уже внедрило блокчейн и развернуло крупнейшую в России блокчейн-сеть.

На этом докладе мы узнаем, как построить блокчейн-сеть федерального масштаба, справиться с нагрузкой, разработать собственный алгоритм консенсуса и подключить к блокчейн-сети более 100 организаций.

Подробно о Saint HighLoad++ и билеты по ссылке - https://bx.vc/e2d4jq

До встречи 22 и 23 сентября 🙌
⚡️ Прокачайте свои hard- и soft-skills и сэкономьте до 30%

🔥 Отличная возможность выгодно купить билеты на две конференции в сентябре:

✔️ для разработчиков высоконагруженных систем Saint HighLoad++
✔️ для тимлидов, руководителей и топ-менеджеров Saint TeamLead Conf.

При покупке мультибилета сразу на обе конференции, вы получаете скидку:

▪️30% при покупке онлайн-билета
▫️20% при покупке офлайн-билета

Вас ждут уникальные программы каждой конференции, решения конкретных задач, обмен опытом с лидерами отрасли, общение с единомышленниками, вдохновение, позитив и энергия. Не упустите шанс первыми узнать о новейших технологических решениях IT-индустрии и полезный опыт в управлении.


➡️ Купить билет и подробно узнать программы конференций можно по ссылке - https://bx.vc/3vwpx3

🙌 Встречаемся в Санкт-Петербурге:

22 и 23 сентября на Saint HighLoad++
26 и 27 сентября на Saint TeamLead Conf
🗓 Друзья, у нас готово финальное расписание конференции Saint HighLoad++ ➡️ https://bx.vc/73ask0

Изучайте и планируйте свое участие. Встречаемся 22 и 23 сентября в Санкт-Петербурге 🙌
🔥3👍1
💥 Анастасия Некрашевич последние 8 лет разрабатывает бэкенд на Java для интернет-банков в ЦФТ. На Saint HighLoad++ она расскажет про граф компонентов: как отобразить 100 компонентов и 500 связей

📋 https://bx.vc/t3bnuo

Все мечтают распилить свой монолит на микросервисы или пишут микросервисную архитектуру с самого начала, если им повезло. С ростом микросервисов растет и количество связей между ними, а если и с самого начала проект подразумевает много интеграций, то вскоре для схемы взаимодействия не хватит не то, что монитора, но и ватмана.

В своем докладе Анастасия расскажет, с какими проблемами они столкнулись при визуализации интеграций продукта при его активном росте и развитии и каким инструментом решили задачу отображения более 500 связей для более 100 компонентов.

Встречаемся 22 и 23 сентября в Санкт-Петербурге 🙌

Прочитать подробно о конференции и купить билеты здесь - https://bx.vc/9y10s6
6🔥4
➡️ Про Technical governance IDP (Internal Developer Platform) для 7000 разработчиков узнаем из доклада Дмитрия Гаевского

📋 https://bx.vc/05jy11

Дмитрий расскажет:

- Как приняли решение делать IDP и почему.
- Какие главные вызовы были перед новой командой.
- С чего начали делать платформу, какие были приняты ключевые архитектурные решения.
- Как справлялись с ростом вовлеченных в разработку людей на порядок.
- Использование практик API Managment для контроля за целостностью платформы.
- Как обеспечивается качество и доступность системы, разрабатываемой также и не напрямую подчиненными командами.

В конце ретроспективно взглянем на то, что у них получилось сделать всего за 2 года.

🔺Внимание, с 1 сентября цена на билет вырастет. Успевайте забронировать по текущей стоимости.

🙌 Встречаемся на Saint HighLoad++ 22 и 23 сентября - https://bx.vc/0wkrgw
Мне нужна твоя поддержка: как запустить чат-бот на пяти языках, быстро без разметки и смс – тема доклада Алексея Принькова

📋 https://bx.vc/wfqhq7

Узнаем, как они решили проблему увеличения нагрузки на клиентские сервисы продукта, а именно — на агентов поддержки в чатах. Им не подошло проприетарное решение из-за специфики мультиязычности — это сложно; тарификации каждого решенного чата — это дорого, а переход на новую систему поддержки из-за выстроенных процессов оценивался как трудоемкий и долгий. Алексей с командой разработали собственный чат-бот, способный общаться с клиентами на нескольких языках и самостоятельно закрывать чаты, решая вопросы клиентов.

Перед имплементацией решения за короткое время им удалось проверить гипотезу о том, что чаты, в принципе, могут быть закрыты ботом, оценить, с какой эффективностью это может происходить и как можно выделить направления для автоматизации сценариев.

🙌 Встречаемся 22 и 23 сентября

Подробно о конференции и билеты здесь - https://bx.vc/hetmv9
➡️ Про свой распределенный S3 на базе MinIO - практический опыт наступания на грабли расскажет Алексей Плетнев

📋 https://bx.vc/uo1ujj

Любому проекту требуется где-то хранить свои данные. Если это не тестовая среда, хранилище должно быть надёжным, отказоустойчивым и достаточно быстрым для решения стоящих задач. При планировании такого проекта на ум любого архитектора сразу приходят S3-совместимые хранилища вроде Amazon AWS, Google Cloud Storage и т.п. Однако при действительно больших объёмах данных даже приблизительно ожидаемые цифры, выдаваемые калькулятором стоимости, способны повергнуть в шок любого финансового директора.

Алексей поделится своим опытом внедрения, совершёнными ошибками. В выводах резюмирует — стоит ли игра свеч, пошёл бы он снова по этому пути и сколько на самом деле стоят бесплатные решения. И главное — с конкретным цифровым выражением материальных, моральных и физических затрат.

Подробно о Saint HighLoad++ и билеты по ссылке – https://bx.vc/g3zj8e

До встречи!
🔥 Для тех, кому надоели рассказы про классную автоматизацию — история становления PerfOps подхода в Самокате от SRE-тимлида Кирилла Юркова. Он приведет примеры, как они у себя решили проблемы нагрузочного тестирования и производительности на проде. Расскажет какие грабли им попались на этом непростом пути и какие трудности в итоге удалось преодолеть.

https://bx.vc/f3x573