Сергей Скородумов поделится опытом масштабирования пропускной способности поиска Яндекса в 4 раза.
⠀
Мир постоянно меняется, Яндекс потерял кластер в Мантсале, поставки железа усложнены. Поэтому они озаботились подготовкой к растущим нагрузкам при меньшем объеме железа.
⠀
Сергей расскажет:
⠀
- как они увеличили пропускную способность Яндекс Поиска в 4 раза, огромного продукта с десятками внутренних сервисов;
- как добились этого почти без использования дополнительного железа;
- как наладили процесс поиска узких мест;
- как оптимизировали кучу железа;
- какие проблемы они нашли и решили в процессе масштабирования;
- какие механизмы деградации они внедрили в процессе масштабирования.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как CV помогает пользователю найти товар мечты по визуальному образу? Узнаем из доклада Дмитрия Малахова.
⠀
Дмитрий расскажет, как они вдохновились игрой «Акинатор», которая угадывает загаданного вами персонажа с помощью наводящих вопросов, а они взяли за основу похожий подход и создали продукт, который помогает их пользователям находить товар мечты.
⠀
«Хочу новую футболку, но не знаю какую...»
⠀
Как же это работает на практике, когда в голове пользователя запрос звучит не слишком конкретно? За всем этим стоит применение машинного обучения и Computer Vision, которые позволяют определять атрибуты товаров и искать похожие на них.
⠀
Заглянем под капот Laкинатора (да-да, именно так они его и назвали) и узнаем, как путем проб и ошибок они выстраивали логику обучения, какие бизнес-результаты принесли.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Внутренняя платежная система Яндекса: что под капотом? Расскажет об этом в своем докладе Антон Куранда.
⠀
Узнаем, как устроена платежная система Яндекса, которая обрабатывает платежи от всех сервисов компании. А также о том, что FinOps — это:
⠀
- не бывшие Яндекс.Деньги, а отдельная система;
- высоконагруженная платежная система, обрабатывающая до 1,2 тыс. платежей в секунду;
- повышенные требования к надежности и отказоустойчивости (они должны быть ещё более надежными, чем самый надежный сервис Яндекса). Минуты простоя — это убытки в миллионы денег;
- широкая география приема платежей — от Перу до Эмиратов;
- event sourcing-система, написанная на Golang, работающая в 3 ДЦ, использующая YDB.
⠀
И ещё много чего полезного.
⠀
Встречаемся на юбилейной, 20-й и самой масштабной из всех прошедших конференций HighLoad++ 💥
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Деревья на собеседованиях: на мастер-классе от Максима Фатина разберемся, как подготовиться к алгоритмическому интервью (в одну большую компанию).
⠀
Как попасть в Big Tech? Этим вопросом задается большое число разработчиков, поэтому Максим решил рассказать о бинарных деревьях, которые встречаются на собеседованиях топовых Big Tech-компаний в России.
⠀
Мы начнем с базовой терминологии, чтобы всем было комфортно, а закончим разбором задач с собеседований, и за время доклада вы:
⠀
- узнаете о 5 разных обходах деревьев;
- решите 3 задачи с собеседования;
- разберётесь в решении 9 задач.
⠀
✋ Чтобы получить максимум пользы от мастер-класса нужны:
⠀
- с собой ноутбук,
- регистрация на leetcode.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Павел Капля в своём докладе рассмотрит эволюцию Алисы от начала до наших дней и детально разберет текущую итерацию редизайна системы.
⠀
Алисе исполнилось 6 лет. Это надежный высоконагруженный сервис с десятками миллионов пользователей в месяц, который каждые несколько лет приходится переписывать, чтобы двигаться дальше.
⠀
Павел расскажет о том, как развивалась Алиса, какие нестандартные архитектурные решения в ней применены и почему именно такие, покажет, как устроен современный персональный ассистент, его разработка и масштабирование.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Семён Барышников расскажет о высоконагруженной VDI из Open Source для платформы киберучений «CyberCamp» в облачном Kubernetes.
⠀
Для проведения Cybercamp (это созданная ими платформа киберучений, где участники выполняют задания в формате CTF) необходимо было предоставить доступ к платформе (создать рабочие места, изолировать команды друг от друга, выдать необходимые сетевые доступы) 500 участникам. Эти рабочие места содержат в себе целый арсенал инструментов для отработки навыков Red и Blue Team.
⠀
Для экономии ресурсов и улучшения управляемости они упаковали эти рабочие места в контейнеры и расположили их в Managed Kubernetes от Яндекс.Облако, а доступ из браузера организовали с помощью Guacamole. Семён расскажет, как они обеспечивали безопасность, что ещё расположили в Kubernetes и почему была выбрана именно контейнеризация с использованием оркестратора, а не виртуализация.
⠀
В результате им удалось 2 года подряд проводить киберучения без инцидентов ИБ и каких-либо простоев, затрачивая минимум усилий на поддержку мероприятия во время его проведения.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

О расширении возможностей отладчика GDB при помощи Python узнаем из доклада Михаила Ельхимова.
⠀
Довольно часто при разборе проблем с проектами в контурах заказчика они сталкиваются с необходимостью использовать отладчик. Одним из типичных сценариев является, например, падение, при котором генерится coredump, и в дальнейшем они используют его, чтобы разобраться с причиной падения. При этом у них нет возможности использовать код самого Tarantool, а некоторые типовые для Тарантула действия просто неудобно делать, если использовать только базовый функционал отладчика.
⠀
К счастью, в отладчике предусмотрен механизм, с помощью которого можно расширить его возможности и упростить отладку. К тому же, зачастую по соображениям безопасности они не имеют прямого доступа, собственно, к «корке» и вынуждены работать с ней удаленно, что также требует максимального упрощения взаимодействия с отладчиком для минимизации ошибок.
⠀
В частности, им нужен удобный способ для:
⠀
- работы с файберами: список, стек вызовов произвольного (не текущего) файбера;
- работы с различными списками: итерирование, просмотр/поиск элементов;
- просмотра msgpack с тарантульными расширениями;
- просмотра тапла и его формата;
- различных манипуляций с виртуальной машиной LuaJIT.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Дмитрий Варенов и Владимир Павлов поделятся опытом изучения передовых китайских СПО-решений для построения сложных IТ-инфраструктур на базе единой программной платформы OpenScaler/openEuler.
⠀
В данном докладе мы рассмотрим опыт их сообщества в изучении передовых китайских СПО-решений, которые отсутствуют в составе широко известных Linux-дистрибутивов. Дмитрий с Владимиром также представят обзор этих решений и описание их функционально-технических возможностей.
⠀
В рамках доклада мы сфокусируемся на их опыте и увидим примеры следующих технологий:
⠀
1. Сравнительное тестирование фирменного решения контейнерной виртуализации iSula с решениями Docker/Podman. Они провели тестирование, включающее измерение временных затрат на ключевые операции при запуске 10, 100 и 1000 контейнеров как последовательно, так и параллельно.
⠀
2. Их опыт использования единой кодовой базы OpenScaler/openEuler для создания специализированных дистрибутивов для Edge-устройств архитектур X86/ARM/RISC-V.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Hazelcast, который смог: Прохор Крылов расскажет, как получить молниеносный ответ на сотни запросов в секунду с использованием бесплатной библиотеки. От первых восторгов до хладнокровия.
⠀
Дано: распределённая сервисно-ориентированная система с сотнями пользовательских запросов в секунду.
⠀
Цель: получать молниеносный ответ на пользовательские запросы без исполнения задач в IT-инфраструктуре.
⠀
Прохор расскажет, как решали задачу с помощью бесплатной версии библиотеки Hazelcast. Почему выбор пал именно на неё, о первых восторгах, борьбе со скудной документацией, набитых шишках и выстраданных рецептах.
⠀
Внутри доклада:
⠀
- Подходы к работе с обработкой запросов в микросервисной архитектуре.
- Варианты доступных на рынке решений (Redis, Hazelcast, Apache Ignite, Memcached).
- Опции Hazelcast: критерии выбора Open Source vs Enterprise.
- Опыт использования: примеры проблем и рекомендации.
- Границы применимости бесплатной библиотеки Hazelcast.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про качество и контроль в большом Open Source-проекте поговорим с Александром Макаровым.
⠀
Проект вырос, окреп, популярен. Планы были амбициозные. Они это сделали. А вот поддерживать и развивать... как?
⠀
Про то, как эффективно управляться с популярным проектом при недостатке ресурсов. Что заменить автоматикой, где нужны регламенты, где лучше работает доверие.
⠀
Всё на примере популярного PHP-фреймворка Yii.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

О масштабировании OpenAPI в API-first-компании узнаем из доклада Максима Лапшина.
⠀
Они в Flussonic два года назад резко перешли на API-first-подход к построению систем, и это было необходимо для возможности расти и развиваться. Они внедрили OpenAPI 3.1 для коммуникации сложных систем на Erlang, Golang, Python, Rust, Rails, C, Node.js. Репозиторий со схемами стал местом, где бизнес может договариваться с разработкой на простом и формальном языке. В нём сейчас 56 тыс. строк кода в YML-файлах и 140 тыс. строк кода в результирующих json-файлах.
⠀
Поддержание его читаемым, понятным, лаконичным инструментом, позволяющим согласовывать сущности между различными командами, потребовало собственных доработок кодогенераторов, валидаторов и прочего инструментария для работы с OpenAPI.
⠀
В докладе будет рассказано про доработки инструментов вокруг такого репозитория с OpenAPI-схемами, который становится главным местом сборки целой компании.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как эффективно ранжировать весь товарный Рунет? Узнаем из доклада Айдара Гилажева.
⠀
Айдар расскажет о рантайм- и ML-части их поиска.
⠀
Поиск по товарам Яндекса — это сервис, работающий над базой из более, чем миллиарда документов под нагрузкой свыше десяти тысяч RPS. Казалось бы, разработка архитектуры поиска такого масштаба — понятная и решенная задача, но появление приставки ecom добавляет к общей схеме несколько существенных доработок.
⠀
В этом докладе будет разобрана общая архитектура поиска и показано, что начинает меняться, как только они начинают думать о бизнес-специфике области: учёте региональности, группировке офферов в модели, таргетах для ML-моделей и других особенностях.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Open Source AppSec Review: как сделать приемку, внедрение и харденинг Open Source-решения? Расскажут в своём докладе Лев Хакимов и Алексей Федулаев.
⠀
Open Source-продукты с каждым годом всё сильнее входят в нашу жизнь и активно двигают индустрию вперёд. Без ряда решений уже сложно представить современную индустрию — Kubernetes, OpenStack, Prometheus, Grafana и ещё множество подобных продуктов различного масштаба и выполняемых задач. Вокруг многих из них существуют комьюнити.
⠀
Однако далеко не весь код, хранящийся в Open Source на различных git-платформах, хорошо изучен и активно разрабатывается. Очень важно не только добавить новый компонент в свою систему, но и убедиться в том, что он не принесёт в неё новых бэкдоров и уязвимостей.
⠀
Лев с Алексеем расскажут:
⠀
- как сделать ревью и приемку Open Source-решения;
- как сделать его харденинг;
- какие решения можно использовать для сканирования на уязвимости;
- дадут чек-лист по приёмке Open Source-компонента на «боевое дежурство».
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Алексей Хить поделится опытом разработки open source-приложения для real-time-стриминга IP-камер в разных форматах.
⠀
Алексей расскажет, с какими особенностями языка Go он столкнулся при разработке open source-приложения для стриминга видео в реальном времени — go2rtc.
⠀
В частности:
⠀
- оптимизации при работе с []byte,
- упрощение кода с помощью io.Reader / io.Writer,
- снижение CPU при работе с сетью с помощью bufio.NewReader / bufio.NewWriter / io.Copy,
- использование http.ResponseWriter для потоковой передачи данных,
- тонкости применения reflection для JSON, YAML и при написании своего Marshaler,
- архитектурные решения проекта go2rtc.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Антона Губарева узнаем про межсервисную авторизацию в Авито PaaS.
⠀
Антон расскажет, как они внедрили межсервисную авторизацию на базе Open Policy Agent для более чем 2000 сервисов, работающих на PaaS, и при этом не сломали прод и сознание разработчиков от написания авторизационных политик на языке rego.
⠀
Они обеспечивают стабильность работы описываемого решения в своём service mesh в продакшне, дают возможность управлять доступами вплоть до каждого endpoint'а и избегают поломок из-за случайного некорректного закрытия доступов.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
➡️ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Считаете, что знаете, как сделать распределённую транзакцию между разными системами? На интерактивном мастер-классе от Алексея Лосева у вас будет возможность поделиться своим опытом с участниками.
⠀
На мастер-классе разберем реальную задачу из жизни маркетплейсов по превращению корзины в заказ. Обсудим возможные варианты реализации распределенной транзакции, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

В рамках своего доклада Евгений Харченко покажет, как с помощью одного пайплайна можно заниматься шарингом экспертизы, ускорять команды, а также внедрять DevOps-практики в команды.
⠀
Доклад решает проблему переиспользования наработок в организации и выстраивание внутреннего inner source-процесса. Но и это не все, когда мы говорим о коллективных решениях, то большая сложность заключается в том, как построить общее решение, которое бы подошло большому количеству команд — Евгений ответит на этот вопрос.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Вячеслав Адамов в своём докладе приоткроет завесу IТ-тайны над Цифровым Рублем.
⠀
Появление негосударственных цифровых валют (криптовалют) вызвало опасение у центральных банков мира, особенно в части:
⠀
- снижения курса национальной валюты,
- востребованности платёжных систем,
- отсутствия законов, защищающих население при использовании криптовалют.
⠀
Многие ЦБ создали новую форму внутренней валюты — цифровую и приступили к тестированию. Газпромбанк является одним из первых участником пилота ЦР.
⠀
Вячеслав расскажет, как они внедряли ЦР, а именно:
⠀
- что такое Цифровой Рубль;
- правила обмена с Платформой ЦР. Этапы подключения к Платформе ЦР и проведение пилота;
- трудности реализации ЦР;
- особенности реализации бизнес-процессов ЦР. Отличия цифровых рублей от безнала;
- текущая архитектура ЦР в экосистеме Банка. Система взаимодействия с платформой ЦР, её интеграции, реализация требований ЦБ;
- встраивание SDK ЦБ в их мобильный банк;
- Vertical Slice в реализации проекта;
- планы на будущее развитие ЦР.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel