Архитектура: история и будущее на примере ВКонтакте обсудим с Александром Тоболем, техническим директором ВКонтакте, VK Видео и VK Звонков

📋 https://bx.vc/bq0iv6

В докладе рассмотрим, как эволюционировали архитектуры нагруженных проектов: от общих принципов до подходов к реализации отдельных паттернов и выбора инструментов. Разберём, как это отражалось на архитектуре ВКонтакте, и посмотрим, как развивался проект с 15-летней историей, кодовой базой в восемь миллионов строк и ежемесячной аудиторией в 100 млн пользователей:

- эволюция архитектур
- как устроена архитектура ВКонтакте
- как они эксплуатируют систему с более чем 20 000 серверов
- где и как они хранят данные пользователей
- как доставляют данные
- зачем им свой компилятор
- баланс uptime и time-to-market
и много другое.

Также Александр затронет проблемы, которые можно более эффективно решать не на уровне архитектуры.
⠀
Присоединяйтесь к нам на Saint HighLoad++ 22 и 23 сентября ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/3bz8q3

💥 Реализовать вау-фичи и задрайвить рост проекта? Задействуем Machine Learning (ML).
Сделать удобнее базовые элементы сервисов? Тоже ML.

Технологии машинного обучения — это ответ на все вопросы и must have для тех, кто смотрит в будущее.

При поддержке VK на Saint HighLoad++ представлен целый трек докладов на эту тему. Поговорим о том, как на базе ML создавать практичные решения, готовые к большим нагрузкам. Расскажем, как встраивать их в существующие пайплайны и эксплуатировать в продакшене.

✅ Программа ML-трека - https://bx.vc/eirp33

🖐️ Встречаемся на Saint HighLoad++ 22 и 23 сентября.

Присоединяйтесь, будет полезно!

Про 10 мс на ответ с транзакциями, большими данными, гибкой логикой и OpenSource узнаем из доклада Владимира Богдановского
⠀
📋 https://bx.vc/iio7ix
⠀
Связываем два OpenSource-хранилища через очереди внутри сервисной платформы и получаем надежную строго-согласованную систему с очень быстрым доступом и безграничной адаптацией к нагрузке в операциях поиска, обновления, получения и слияния объектов и их состояний.
⠀
Добавив высокие требования к качеству и безопасности данных, имеем отличное решение для работы с банковскими данными. 5000 RPS при 10 мс на ответ на 40 Тб данных и это не предел — это сделано у них в банке и Владимир хочет поделиться этим опытом.
⠀
✋ Ждем вас на 22 и 23 сентября Saint HighLoad++
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/yzo1lu

📱 Историю онлайн-видео узнаем от Максима Лапшина, он давно занимается потоковой передачей видео
⠀
📋 https://bx.vc/0kfzqa
⠀
Основное использование онлайн-видео в интернете — это развлечения, которые съедают до 4 часов в день у горожанина. Звонки между людьми и видеонаблюдение живут довольно обособленно и сильно меньше по трафику.
⠀
Как так получилось, что развлекательное видео смигрировало почти 13 лет назад с кодеков mpeg2 и mpeg4 на H264 и на этом остановилось фактическое развитие, несмотря на наличие альтернатив типа AV1 и H265?
⠀
При этом транспорты видео совершили миграцию с UDP к TCP, а сегодня переезжают обратно на UDP?
⠀
Как мы оказались в такой ситуации, какие явления в индустрии развлекательного видео способствовали этому?
⠀
🔥 Уже совсем скоро встречаемся на Saint HighLoad++
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/8cg3nv

Всем привет! Начинаем знакомить вас с докладами ML-трека на Saint HighLoad++, который пройдет при поддержке VK.

Любовь Рожкова из S7 TechLab расскажет об аналитике по самолетам S7: pets vs cattle.
⠀
📋 https://bx.vc/xzxnub
⠀
Для нас полеты это поиск билетов и "пристегните ремни". Для программистов в авиакомпании это полное т/о самолетов раз в два года, проверки раз в два дня, штрафы в сотни тысяч долларов за задержку в десять минут. Бизнес хочет, чтобы программисты как можно точнее предсказывали время обслуживания самолета по совсем скромному количеству исторических данных.
⠀
Узнаем, как специфика авиации и небольшое количество, по меркам HighLoad, данных заставляет их искать необычные подходы. Пока все обучают AI на океанах размеченных данных, они используют "немодные" решающие деревья, которые можно обучить на выборке в сотни строк. Создают системы, которые объясняют инженерам оценки и позволяют им самим делать "очистку" данных.
⠀
✅ Программа ML-трека - https://bx.vc/b3dkve
⠀
До скорой встречи в Питере 🙌

Всем привет!
⠀
На конференциях в основном принято говорить о своих победах и крутых результатах, а вот об ошибках рассказывают гораздо меньше. В этот раз на Saint HighLoad++ мы собрали фейл-секцию, которая состоит только из ошибок, чтобы вы их не повторяли.
⠀
👉 Fail митап: This is fine или все делают это
📋 https://bx.vc/tkb0p5
⠀
Это серия коротких выступлений про самые тривиальные, неочевидные или болезненные фейлы из живого опыта.
⠀
Расскажем, что случилось и как случилось, ответим на вопросы. Если останется свободное время, участники смогут поделиться своими историями.
⠀
Без камер, записи и трансляции.
⠀
До скорой встречи в Питере 🙌
⠀
✅ Подробная информация о конференции, расписание и билеты здесь - https://bx.vc/31h0ny

Как понять, что проекту плохо, если вы инженер? Узнаем из доклада Юлии Белозеровой
⠀
📋 https://bx.vc/evpn2b
⠀
На примере проекта про миграцию в облако Юлия расскажет, на что инженеру обращать внимание, чтобы вовремя поднять флажок и проект не зафейлился.
⠀
В командах часто есть проблема: инженеры работают работу, а все происходящее между менеджером и заказчиками остается загадкой. Поговорим, какие вопросы задать менеджеру, чтобы понять общую картину проекта.
⠀
Узнаем, как понять, что проект провалится до того, как это заметит менеджер. Покажет, на чем фокусироваться, чтобы исправить курс проекта и увеличить шансы на успех, даже когда все уже плохо.
⠀
Ждем вас на Saint HighLoad++ 22 и 23 сентября в Петербурге или онлайн по всему миру ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/057pgc

➡️ Про векторный поиск в ClickHouse узнаем от Артура Филатенкова
⠀
📋 https://bx.vc/6guezw
⠀
ClickHouse быстро выполняет все виды запросов, но его можно ускорить. Это касается работы с многомерными данными, которые могут возникать, например, при работе с текстами или картинками. Такие задачи часто встречаются в аналитике, и для них есть готовые решения. Особенно интересными являются индексы, такие как Faiss, HNSW и Annoy.
⠀
Из доклада Артура узнаем о новом виде индексов для ускорения запросов поиска похожих многомерных объектов. Он расскажет об их устройстве, тонкостях использования и о различиях между индексами на основе разных алгоритмов.
⠀
Ждем вас 22 и 23 сентября в Санкт-Петербурге и онлайн по всему миру 🙌
⠀
✅ Подробно о конференции, программа и билеты здесь - https://bx.vc/xxj6rc

Об эксплуатации голоса в Марусе. С какими проблемами столкнулись разработчики и при чем тут GPU узнаем из доклада Павла Алексеева
⠀
📋 https://bx.vc/v4yei4
⠀
GPU — вещь капризная: видеокарты горят, вылетают из системы, отвечают с ошибками. Что делать с ними, когда ответ "переустанови драйвер" перестает работать? А если они просто исчезают? А если их еще при этом сотни?

За три года эксплуатации Маруси они разрослись до порядка двухсот серверов, внутри которых более тысячи видеокарт. В докладе Алексей расскажет, как они применяют GPU, какие проблемы они получили и как их решали. Рассмотрим типичные ошибки и не очень типичные действия по устранению этих ошибок.
⠀
✅ Программа ML-трека - https://bx.vc/ijgfsk

До скорой встречи на Saint HighLoad++ 22-23 сентября в Санкт-Петербурге 🙌

Про испытание полной нагрузки на цепь в AliExpress Россия расскажет Hu Junyuan
⠀
📋 https://bx.vc/w71c46
⠀
AliExpress Russia - крупнейшая в России и странах СНГ онлайн-площадка для продажи потребительских товаров из России, Китая, Турции, Италии и многих других стран. Каждый день более 8,8 миллионов пользователей посещают их сайт и приложение и выбирают лучшее среди более чем 2 миллиардов товаров. В команде AliExpress Россия 600 разработчиков, а внутри - новейшие инструменты и мощь китайских систем, несколько тысяч серверов, современная микросервисная архитектура и передовые процессы разработки.
⠀
🔺 Друзья, внимание. Доклад будет на английском языке, но с текстовым переводом.
⠀
Встречаемся 22 и 23 сентября на Saint HighLoad++ в Петербурге 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/40uyrj

Олег Блохин из Dodo Engineering расскажет, как они базу в облако увозили
⠀
📋 https://bx.vc/0zowsx
⠀
В сентябре 2019 г., на выходных, они культурно отдыхали всем Dodo Engineering на турбазе под Владимиром. В это время облачный провайдер обновил минорную версию MySQL.
⠀
История о последствиях и инженерных решениях, сдобренная анекдотами из жизни в облаке.
⠀
Если вы мечтаете об облаках, но никогда там не жили — приходите послушать как бывает. В рамках одной продолжительной истории переезда базы на managed-решение мы разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще.
⠀
✋ Ждем вас на Saint HighLoad++ 22 и 23 сентября.
⠀
✅ Программа конференции и билеты по ссылке - https://bx.vc/xwj38j

🚩 Под красным флагом: как инженер может понять, что в проекте происходит что-то не то? Узнаем из доклада Даниила Подольского
⠀
📋 https://bx.vc/tsagam
⠀
Иногда в проекте происходит "что-то не то". Иногда это "не то" связано с ошибочными техническими решениями, принятыми руководством или даже коллегиально.
⠀
Иногда такое "не то" способно завести проект в тупик, а если и не весь проект, то карьеру инженера в этом конкретном проекте.
⠀
Как выглядит такое "не то", как его можно распознать, и как эти риски можно митигировать?
⠀
На примере нескольких сугубо типичных эпичных фейлов рассмотрим разные "не то" и, возможно, придумаем, что с этим делать.
⠀
✅ Подробно о конференции, расписание и билеты здесь – https://bx.vc/m2xjh1
⠀
До скорой встречи в Петербурге или онлайн по всему миру 🙌

AI maturity index — как и зачем оценивают индекс ИИ-зрелости? Обсудим с Андреем Анисимовым. В Газпромбанке Андрей занимается монетизацией не только банковских данных, но и поступающих из экосистемы, в первую очередь из ГазпромбанкМобайла
⠀
📋 https://bx.vc/c2d1dz
⠀
AI maturity index — не еще один индекс в ИТ-отрасли, а международный опыт систематизации внедрения Data Science-подходов в бизнес-процессы.
⠀
В докладе рассмотрим, что это такое, почему вычисляют ИИ-зрелость, какие есть стадии внедрения и направления исследования для его формирования, а также какие возникают риски при его контроле.
⠀
Ждем вас 22 и 23 сентября 🙌
⠀
✅ Подробно о конференции, расписание и билеты здесь - https://bx.vc/6gmucs

Про Dashboard as a code, или путь от правок в UI до grafonnet узнаем из доклада Антона Быстрова
⠀
📋 https://bx.vc/33avlj
⠀
Антон хочет поделиться, каким образом можно создавать и сопровождать дашборды, чтобы не погрязнуть в рутинных операциях.
⠀
Проведет краткий обзор инструментов, которые в разы могут облегчить процесс чтения кода и его проверки. Расскажет про их путь с командой — почему они выбрали grafonnet, и что из этого получилось.
⠀
✅ Программа конференции и билеты по ссылке – https://bx.vc/7dvs4c
⠀
До скорой встречи в Питере 🙌

Про нагрузочное тестирование синтеза и распознавания речи в SberDevices расскажет Андрей Чернопятов.
⠀
📋 https://bx.vc/afx74v
⠀
Все уже привыкли что техника вокруг слышит нас и отвечает в ответ. В сети есть много информации о том, как собрать какой-нибудь движок для экспериментов, но что, если вам нужно бесперебойно обрабатывать миллиарды секунд звука с гарантированной скоростью? В этом докладе Андрей расскажет, как устроено нагрузочное тестирование синтеза и распознавания речи в SberDevices.
⠀
Узнаем:

- Проблемы метрик: что такое "быстрый, но качественный ASR/TTS"
- Как подружить скорость и стабильность
- Что может влиять на результат, если шаг вашей шкалы — десятки миллисекунд
- Какие сложности в нагрузочном тестировании встречаются в сервисах работы со звуком
⠀
Встречаемся 22 и 23 сентября на Saint HighLoad++ 🙌
⠀
✅ Программа ML-трека - https://bx.vc/678yjd

Как и для чего делать свой переводчик в эпоху облачных решений? Узнаем из доклада Андрея Соколова.
⠀
📋 https://bx.vc/fmw231
⠀
Если пользователи вашего сервиса говорят на разных языках и при этом у вас много обновляющихся текстов — в каталоге товаров, новостях или, как ВКонтакте, в уникальных постах пользователей соцсети — то вам нужен автоматический перевод.
⠀
В докладе Андрей расскажет, как они ВКонтакте подошли к этой задаче и почему в результате разработали своё решение. С собственной системой перевода им больше не нужно никому за него платить, а производительность модели находится полностью под их контролем. Модель учитывает особенности языка пользователей и на основе оценки асессоров выигрывает в качестве. Андрей поделится лайфхаками и инструментами, которые позволили этого добиться и расскажет, на что в первую очередь обратить внимание, создавая свой машинный перевод или другие ML-решения.
⠀
✅ Программа ML-трека - https://bx.vc/nwiel7

До встречи 22 и 23 сентября в Санкт-Петербурге 🙌

Как выкатить в highload production сервис рекомендаций с BERT-like-моделью? Расскажет Марк Паненко, TeamLead в Работа.ру.
⠀
📋 https://bx.vc/8f7kai
⠀
В Работа.ру они занимаются разработкой сервисов на основе машинного обучения для улучшения пользовательского опыта при поиске работы. Недавно они внедрили сервис рекомендаций, один из центральных сервисов их платформы.
⠀
Марк расскажет об опыте обучения и дистилляции мультиязычной, легковесной модели на основе архитектуры Transformer, адаптированной для HR-домена. О вариантах сервисов на базе этой модели и об их опыте развития архитектурных решений в зависимости от нагрузки.
⠀
После доклада у слушателя появится представление:
⠀
▪️о процессе обучения и дистилляции BERT-like-модели,
▪️о нескольких вариантах архитектуры сервисов на её основе,
▪️о производительности, которую можно ожидать от этих вариантов.
⠀
✅ Программа ML-трека – https://bx.vc/ap57ll
⠀
Встречаемся уже 22 и 23 сентября в Питере 🙌

Face Pay — сервис полностью бесконтактной оплаты проезда с помощью распознавания лиц в Московском метрополитене. Подробно о сервисе расскажут Михаил Волков и Гусейн Римиханов
⠀
📋 https://bx.vc/wd6y9b
⠀
Технологическим партнером проекта выступила компания VisionLabs, один из лидеров в области компьютерного зрения и машинного обучения.
⠀
Face Pay — первый в России и в мире сервис по оплате проезда с помощью биометрии, запущенный в таком масштабе. Сервис доступен на всех 250 станциях метро, а с 16 марта 2022 года — на станции «Кутузовская» Московского центрального кольца.
⠀
Из доклада узнаем, как происходила разработка уникального сервиса, какие особенности в тестировании подобных решений, в чем заключалась адаптация технологий компьютерного зрения для сложных условий работы, а также о перспективах внедрения Face Pay на других видах транспорта.
⠀
✋ Присоединяйтесь к нам 22 и 23 сентября на Saint HighLoad++
⠀
✅ Подробная программа конференции и билеты на сайте - https://bx.vc/oa9kcy

Из доклада Виталия Шутова узнаем про распознавание речи для субтитров в VK Видео.
⠀
📋 https://bx.vc/y1qd1g
⠀
Виталий расскажет, как внутри устроена технология распознавания речи ВКонтакте. Чем распознавание коротких аудиосообщений отличается от распознавания длинных видео. Что такое речевой домен и почему модель может работать сильно хуже, чем должна, без видимых причин.
⠀
Покажет, какие модели пробовали, с какими трудностями столкнулись, как решали и что используют в итоге. Как они борятся с плохими расшифровками и что пришлось применить для матчинга текста с временной шкалой. И в целом — как можно использовать их опыт, чтобы собрать технологию ASR под свои задачи.
⠀
✅ Программа ML-трека – https://bx.vc/sz35q0

Ждем вас в Питере 22 и 23 сентября 🙌

Какие архитектурные решения помогут сделать любую контентную платформу лучше для пользователей? Разбираемся в новой статье на Хабре: https://bx.vc/5ayu5r
⠀
В ней Александр Тоболь, технический директор ВКонтакте и VK Видео, обстоятельно проводит параллели между архитектурой и пользовательским опытом. Разбирает каждый этап пайплайна — от загрузки на платформу до показа пользователю — и объясняет, на какие метрики ориентироваться.

➡️ Читайте статью, и узнаете, как выбрать между HTTP/1, 2 или 3 для быстрого upload, как балансировать нагрузку на отдачу, как организовать CDN и где прикрутить ML (спойлер: везде).