HighLoad++
5.99K subscribers
2.29K photos
138 videos
15 files
2.13K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
💥А мы уже приступили к подготовке HighLoad++ 2022 в Москве (24 и 25 ноября)!

Чтобы сделать по-настоящему крутую конференцию, Программный комитет московского HighLoad++ приглашает вас на встречи с активистами и докладчиками. После долгого перерыва мы снова проводим такие встречи офлайн!

4 августа в 19:00 встречаемся в Петербурге, в офисе Selectel, ул. Цветочная, д. 19. Зарегистрироваться на встречу: https://bx.vc/wr3wh8

9 августа в 19:00 ждём вас в Москве, в офисе Авито, ул. Лесная, д.7 (15 эт.). Регистрация здесь: https://bx.vc/sb2g94

👉🏻 Что будем делать:

— Расскажем, куда движется HighLoad++ сейчас. Вспомним, что было: краткий обзор топовых докладов и тем, посещаемость, интересы аудитории.
— Вместе с вами устроим мозгоштурм. Наметим что сейчас важнее всего раскрыть в рамках HighLoad++ 2022 — темы, технологии, проблемы.
— Пообщаемся на сопряженные темы: обсудим идеи, запитчим доклады, подумаем «друг об друга».
— А ещё напитки, закуски и общение — все благодаря нашим добрым друзьям-хостам.
Media is too big
VIEW IN TELEGRAM
➡️ Короткое интервью с Александром Тоболем – техническим директором ВКонтакте, VK Видео и VK Звонков. Он ответит на вопросы:

- Что для Вас значит конференция HighLoad?
- Что сейчас заботит разработчиков? Какие вызовы и перспективы?
- Какую пользу от конференции Вы видите? Для чего ходить?
👍3
💥 Если вопрос темы для выступления у вас еще не решен, то предлагаем вам последнюю часть квадралогии от Романа Поборчего, независимого эксперта. С 2015 он консультирует докладчиков наших конференций, как выступать на технические темы.

В первой мы искали темы в задачах разработчиков, во второй — в инструментах разработки, а в третьих изучали процессы. Сегодня мы поговорим не про циклические, повторяющиеся регулярно дела, а про поступательное движение и как вообще выглядит развитие людей. Вы же хотите на работе развиваться? 🙌

https://bx.vc/6h5fx0
➡️ На Saint HighLoad++ Алексей Кузнецов и Михаил Лепешкин из X5 group расскажут, как они засунули 200+ датасаентистов в кластер k8s и перестали волноваться.

📋 https://bx.vc/nr7j2o

Они создали удобное рабочее окружение для 200+ датасаентистов для работы co spark при помощи jupyterhub и k8s.
А еще она легко масштабируется, управляется и тарифицируется в мультитенант среде.
Алексей и Михаил расскажут, как они это сделали и какие проблемы решили.

Встречаемся 22 и 23 сентября в Санкт-Петербурге 🙌

Подробная информация о конференции и билеты здесь - https://bx.vc/9da88f
👍4
👉 Широкое распространение машинного обучения помогло стимулировать инновации, которые всё труднее предсказать и создавать на их основе интеллектуальный опыт для продуктов и услуг бизнеса. Чтобы решить эту задачу, важно применять передовые методы.

Сергей Десяк, ведущий эксперт центра компетенций DevOps компании Neoflex, поделился опытом использования Seldon Core для машинного обучения, в частности, для «выкатки» моделей.

https://bx.vc/24u604
Друзья, напоминаем, мы приступили к подготовке HighLoad++ 2022 в Москве (24 и 25 ноября)!

Чтобы сделать по-настоящему крутую конференцию, Программный комитет московского HighLoad++ приглашает вас на встречи с активистами и докладчиками. После долгого перерыва мы снова проводим такие встречи оффлайн!

4 августа в 19:00 встречаемся в Петербурге: офис Selectel, ул. Цветочная, д. 19. Регистрация на встречу: https://bx.vc/wr3wh8

9 августа в 19:00 ждём вас в Москве: офис Авито на ул. Лесной, д. 7 (15 этаж). Регистрация: https://bx.vc/sb2g94

👉🏻 Что будем делать:

— Расскажем, куда движется HighLoad++ сейчас. Вспомним, что было: краткий обзор топовых докладов и тем, посещаемость, интересы аудитории.
— Вместе с вами устроим мозгоштурм. Наметим то, что сейчас важнее всего раскрыть в рамках HighLoad++ 2022 — темы, технологии, проблемы.
— Пообщаемся на сопряженные темы: обсудим идеи, запитчим доклады, подумаем «друг об друга».
— А ещё напитки, закуски и общение — все благодаря нашим добрым друзьям-хостам.
🔥 Филипп Дельгядо за свою карьеру чем только не занимался — от двухзвенок на Visual Basic до хардкорного SQL. А в последние годы делает разные платежные системы и рассказывает про это. На Saint HighLoad++ Филипп расскажет про микросервисы через боль и превозмогание.

📋 https://bx.vc/dyworq

Микросервисы стали настолько хайповыми, что их тащат в свои проекты даже начинающие разработчики. Но какую цену приходится платить?

Из доклада Филиппа узнаем:

- о разных проблемах в микросервисных архитектурах,
- о реальных причинах использования микросервисов (нет, дело не в масштабируемости)
- о разных стратегиях обеспечения целостности данных в распределенной среде (нет, использование саг не помогает)

Прочитать всю информацию о конференции и купить билеты по ссылке – https://bx.vc/rqgp6w

До встречи 22 и 23 сентября
⚡️Друзья, уже в следующем месяце мы встретимся с вами на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ в Санкт-Петербурге. Вся команда очень активно готовится к этой встрече, в том числе информационно. В связи с чем, предлагаем вам задать вопросы, которые вас интересуют про конференцию 🙌

Пишите в комментариях, и мы обязательно на них ответим в ближайшее время.
💥 Вчера у нас состоялась встреча Программного комитета московской HighLoad++, (которая пройдет 24 и 25 ноября) с активистами и докладчиками в Петербурге.

Мы обсудили почему растут оценки за доклады. Определили самые горячие темы, параллельно презентуя собственные наброски докладов. Перекусили пиццей и легким алкогольным.

Фотографии со встречи в альбоме ВКонтакте – https://bx.vc/ctsh7k

Спасибо Selectel за теплый прием 🙌
Спасибо гостям за душевные посиделки

Следующая офлайн встреча:

- 9 августа в 19:00 в Москве, в офисе Авито на ул. Лесной, д.7 (15 этаж)
Зарегистрироваться на встречу – https://bx.vc/0csy9z

Приходите!
👍6
➡️ Как собрать облачную платформу для NLU-powered голосовых роботов и не облажаться? Узнаем из доклада Артема Бондаря на Saint HighLoad++

📋 https://bx.vc/o67slv

Сегодня коммуникационными роботами на базе NLU никого не удивишь: есть и коробочные решения вроде DialogFlow от Google, и опенсорс фреймворки вроде Rasa. Артему с командой в Voximplant захотелось собрать лучший опыт и дать возможность использовать state-of-the-art модели и подходы людям далеким от машинного обучения - и все не покидая браузера в рамках облачной платформы. Это оказалось не так-то и просто.

Артем - Head of AI компании расскажет о тонкостях создания облачного AutoML решения, какими трюками они добивались низкой стоимости, сохранив возможность использовать тяжелые нейросети, кастомизированные под каждого клиента, как они работали с разными языками и как подошли к задаче few-shot-learning, пряча от клиента под ковер всю игру с гиперпараметрами.

Подробная информация о конференции и билеты по ссылке – https://bx.vc/8wbmdf
Максим Кита, разработчик ClickHouse, расскажет про оптимизацию производительности запросов в ClickHouse

📋 https://bx.vc/chtwmy

Из доклада узнаем про их инфраструктуру для тестирования производительности, как они находят места, которые стоит оптимизировать в первую очередь, различные практики оптимизации производительности высоконагруженных приложений.

Встречаемся на Saint HighLoad++ 22 и 23 сентября в Петербурге 🙌

Подробная информация о конференции и билеты здесь - https://bx.vc/h27eea
👍1
➡️ Наверное, вы легко перечислите 10 или более web-акселераторов, и список их постоянно растет. Кроме разных функциональных возможностей, web-акселераторы значительно отличаются архитектурно, тем, как они взаимодействуют с операционной системой и реализуют те или иные HTTP-стандарты.

Понимание архитектурных различий и внутренностей конкретных прокси может помочь в выборе решения, наиболее подходящего к конкретному проекту, и разобраться со сложными задачами производительности и аномалиями обслуживания.

В статье Александр Крижановский (СЕО в Tempesta Technologies) расскажет о принципах и механизмах работы HTTP протоколов и серверов и критериях выбора Web Accelerator для вашего проекта.

https://bx.vc/rmztjd
Алексей Ефимов, системный архитектор, руководитель отдела Cloud Core, расскажет про Service Mesh на стероидах (часть 2): Zero Deployment Downtime в корпоративных приложениях

📋 https://bx.vc/b5j01k

В первой части Алексей рассказал об основных принципах построения управляемого многоуровневого Service Mesh и дал основные паттерны его использования для обеспечения версионирования и структурирования приложений. Запись части 1 - https://bx.vc/byngqy

Часть 2 посвящена техникам ВlueGreen и Canary деплоймента для обеспечения Zero Deployment Downtime, а также одновременного тестирования нескольких независимых фич.

Из доклада узнаем:

- что из себя представляет версия контракта на тех. уровне и как система ее узнает
- принципы мульти-версионности в REST, Messaging, DB
- как воедино связывается работа с версиями в разных "средах" (REST, Messaging, DB)
- унифицированный жизненный цикл версий (deploy, promote, rollback)
и другое

Подробная информация о Saint HighLoad++ и билеты здесь – https://bx.vc/6ilq5a
Филипп Мальковский расскажет, как они адаптировали существующий пайплайн по распознаванию речи для работы в инфраструктуре VK Видео, внедряли новые компоненты и оптимизировали получившееся решение

📋 https://bx.vc/3l28jl

Узнаем:

- как инкапсуляция и переиспользование компонентов на C++ помогли найти компромисс между максимальным переиспользованием существующего решения и минимизацией трафика между серверами
- как реализация в виде нативного процесса позволила гибко и независимо масштабировать пайплайн в инфраструктуре обработки видео и распространить распознавание речи на все популярные и загружаемые ролики
- как выбирали формат субтитров и способ их отображения на клиентах
- с какими неожиданностями при доставке контента через CDN столкнулись после запуска и как смогли все быстро поправить.

А также, какие возможности для развития продукта открывает распознавание речи, встроенное в пайплайн обработки видео.

Подробная информация о конференции и билеты здесь – https://bx.vc/l2uzej

До встречи 🙌
👍1
🔥 Вчера у нас состоялась встреча Программного комитета московской HighLoad++ с активистами и докладчиками в Москве. Фото здесь - https://bx.vc/pqfmxy

Обсудили, куда движется HighLoad++ сейчас. Устроили мозгоштурм. Наметили, что сейчас важнее всего раскрыть в рамках HighLoad++ 2022. Обсудили идеи, запитчили доклады и просто душевно пообщались.

Спасибо Авито за теплый прием 🙌
Спасибо гостям за отличные и продуктивные посиделки
2
Друзья, выбирайте свободное время, устраивайтесь поудобнее, потому что мы подготовили для вас следующую подборку полезных видео: 7 популярных докладов Saint HighLoad++ и HighLoad++ 2021 года.

▪️Что нового в плане мониторинга в PostgreSQL. Алексей Лесовский (Data Egret) https://bx.vc/i9qrtm

▪️Как мы перевели десятки миллионов пользователей на новый сетевой протокол. Олег Смирнов, Алексей Никитин (ВКонтакте) https://bx.vc/lm8a6f

▪️ML в промышленности: задачи и проблемы. Андрей Зубков (Евраз) https://bx.vc/szxk6h

▪️SQL_JSON в PostgreSQL: настоящее и будущее. Олег Бартунов (Postgres Professional) https://bx.vc/yk447k

▪️Как прикрутить SQL к чему угодно при помощи Apache Calcite. Роман Кондаков (Querify Labs) https://bx.vc/vjxfuf

▪️Зачем и как мы разработали свою серверную материнскую плату. Максим Лапшин (Erlyvideo) https://bx.vc/5t0a6j

▪️Инциденты и коммуникация: что, как и зачем говорить, когда все сломалось. Виктор Попов (X5 Retail Group) https://bx.vc/3jfpii

Приятного просмотра 🙌
👍5
🔺 Внимание🔺

➡️ 12 августа - окончание приема докладов на конференцию HighLoad++ 2022, которая пройдёт в Москве 24 и 25 ноября. Решение по каждому докладу примем 9 сентября.

Тематика конференции охватывает все, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов:

▫️Архитектуры, масштабируемость
▫️Базы данных и системы хранения
▫️BigData и машинное обучение
▫️Нейронные сети, искусственный интеллект

и другие направления, связанные с высоконагруженными системами.

Всем нашим спикерам мы помогаем с подготовкой презентации и самого выступления, дарим билет на конференцию и (если нужно) оплачиваем проживание и дорогу.

Подавайте заявку - https://bx.vc/3pxhlk

Все подробности по ссылке - https://bx.vc/emzvxr
📍 Про автоматический подбор параметров для Spark-приложений: как запускать больше на ограниченном кластере и не тратить время инженеров расскажет Валерия Дымбицкая - техлид команды ML Data в OneFactor

📋 https://bx.vc/lh2b8t

Валерия с командой научились каждой модели автоматически выдавать оптимальные ресурсы в Hadoop-кластере без участия человека. В их кластере запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов, все очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, а в результате увеличили пропускную способность кластера в четыре раза.

Валерия расскажет, как устроен подбор параметров и что позволяет ему работать автономно, а также поделится проблемами, с которыми они столкнулись в процессе внедрения и эксплуатации.

Встречаемся 22 и 23 сентября 🙌

Подробная информация о конференции и билеты по ссылке - https://bx.vc/t2uu1r
🔥1
👉 Ван Хачатрян расскажет про "ML свадьбу" между миллионами товаров, и как выдержать нагрузку в потоке

📋 https://bx.vc/qihqek

Узнаем, как удалось построить крутой real-time алгоритм матчинга для товаров на огромной e-commerce площадке. Задача была не из простых и заслуживает целый доклад.

Раньше их алгоритмом могли пользоваться только они, а теперь — любой разработчик компании.

Команде удалось сохранить высокие нагрузки, отказавшись от batch-подхода при онбординге большого количества новых товаров, которые у них представлены в виде длинных векторов. Речь пойдет об используемых технологиях, а также ML/DL подходах, которые они используем при сопоставлении и ранжировании товаров.

Из доклада узнаем:

1. Про задачу и цель
2. Стэк и технологии
3. Метрики и мониторинг на всех уровнях
4. Про ML и используемые SOTA подходы
5. Как они борются с деградацией своих моделей
6. Нагрузки и поток данных, с которым приходится работать

Информация о конференции и билеты здесь - https://bx.vc/9lkrft

Приходите 🙌
4👍2
💥 Как выжить под нагрузкой, имея 100ТБ в нешардированной MongoDB? Обсудим с Андреем Комягиным, CTO компании STM Labs

📋 https://bx.vc/h60lmd

Очень часто, особенно на начальном этапе развития системы/проекта, в погоне за функциональными возможностями, у нас банально не хватает времени подумать о том, что будет в долгосрочной перспективе с жизнеспособностью созданного решения под нагрузкой. К тому моменту (когда возникают проблемы) накопленные объемы данных могут исчисляться десятками и даже сотнями терабайт.

Взяв за основу реальный проект очень большой track & trace системы, Андрей покажет, что именно происходит с системой класса big data, в которой по разным причинам откладывали переход на использование шардированной архитектуры хранилища под нагрузкой. И самое главное, как выжить в этих условиях, меняя архитектуру решения на лету без downtime (DT).

Встречаемся 22 и 23 сентября на Saint HighLoad++

Информация о конференции и билеты по ссылке - https://bx.vc/wx4y1t
👍10🔥2