Как эффективно ранжировать весь товарный Рунет? Узнаем из доклада Айдара Гилажева.
⠀
Айдар расскажет о рантайм- и ML-части их поиска.
⠀
Поиск по товарам Яндекса — это сервис, работающий над базой из более, чем миллиарда документов под нагрузкой свыше десяти тысяч RPS. Казалось бы, разработка архитектуры поиска такого масштаба — понятная и решенная задача, но появление приставки ecom добавляет к общей схеме несколько существенных доработок.
⠀
В этом докладе будет разобрана общая архитектура поиска и показано, что начинает меняться, как только они начинают думать о бизнес-специфике области: учёте региональности, группировке офферов в модели, таргетах для ML-моделей и других особенностях.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Open Source AppSec Review: как сделать приемку, внедрение и харденинг Open Source-решения? Расскажут в своём докладе Лев Хакимов и Алексей Федулаев.
⠀
Open Source-продукты с каждым годом всё сильнее входят в нашу жизнь и активно двигают индустрию вперёд. Без ряда решений уже сложно представить современную индустрию — Kubernetes, OpenStack, Prometheus, Grafana и ещё множество подобных продуктов различного масштаба и выполняемых задач. Вокруг многих из них существуют комьюнити.
⠀
Однако далеко не весь код, хранящийся в Open Source на различных git-платформах, хорошо изучен и активно разрабатывается. Очень важно не только добавить новый компонент в свою систему, но и убедиться в том, что он не принесёт в неё новых бэкдоров и уязвимостей.
⠀
Лев с Алексеем расскажут:
⠀
- как сделать ревью и приемку Open Source-решения;
- как сделать его харденинг;
- какие решения можно использовать для сканирования на уязвимости;
- дадут чек-лист по приёмке Open Source-компонента на «боевое дежурство».
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Алексей Хить поделится опытом разработки open source-приложения для real-time-стриминга IP-камер в разных форматах.
⠀
Алексей расскажет, с какими особенностями языка Go он столкнулся при разработке open source-приложения для стриминга видео в реальном времени — go2rtc.
⠀
В частности:
⠀
- оптимизации при работе с []byte,
- упрощение кода с помощью io.Reader / io.Writer,
- снижение CPU при работе с сетью с помощью bufio.NewReader / bufio.NewWriter / io.Copy,
- использование http.ResponseWriter для потоковой передачи данных,
- тонкости применения reflection для JSON, YAML и при написании своего Marshaler,
- архитектурные решения проекта go2rtc.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Антона Губарева узнаем про межсервисную авторизацию в Авито PaaS.
⠀
Антон расскажет, как они внедрили межсервисную авторизацию на базе Open Policy Agent для более чем 2000 сервисов, работающих на PaaS, и при этом не сломали прод и сознание разработчиков от написания авторизационных политик на языке rego.
⠀
Они обеспечивают стабильность работы описываемого решения в своём service mesh в продакшне, дают возможность управлять доступами вплоть до каждого endpoint'а и избегают поломок из-за случайного некорректного закрытия доступов.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
➡️ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Считаете, что знаете, как сделать распределённую транзакцию между разными системами? На интерактивном мастер-классе от Алексея Лосева у вас будет возможность поделиться своим опытом с участниками.
⠀
На мастер-классе разберем реальную задачу из жизни маркетплейсов по превращению корзины в заказ. Обсудим возможные варианты реализации распределенной транзакции, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

В рамках своего доклада Евгений Харченко покажет, как с помощью одного пайплайна можно заниматься шарингом экспертизы, ускорять команды, а также внедрять DevOps-практики в команды.
⠀
Доклад решает проблему переиспользования наработок в организации и выстраивание внутреннего inner source-процесса. Но и это не все, когда мы говорим о коллективных решениях, то большая сложность заключается в том, как построить общее решение, которое бы подошло большому количеству команд — Евгений ответит на этот вопрос.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Вячеслав Адамов в своём докладе приоткроет завесу IТ-тайны над Цифровым Рублем.
⠀
Появление негосударственных цифровых валют (криптовалют) вызвало опасение у центральных банков мира, особенно в части:
⠀
- снижения курса национальной валюты,
- востребованности платёжных систем,
- отсутствия законов, защищающих население при использовании криптовалют.
⠀
Многие ЦБ создали новую форму внутренней валюты — цифровую и приступили к тестированию. Газпромбанк является одним из первых участником пилота ЦР.
⠀
Вячеслав расскажет, как они внедряли ЦР, а именно:
⠀
- что такое Цифровой Рубль;
- правила обмена с Платформой ЦР. Этапы подключения к Платформе ЦР и проведение пилота;
- трудности реализации ЦР;
- особенности реализации бизнес-процессов ЦР. Отличия цифровых рублей от безнала;
- текущая архитектура ЦР в экосистеме Банка. Система взаимодействия с платформой ЦР, её интеграции, реализация требований ЦБ;
- встраивание SDK ЦБ в их мобильный банк;
- Vertical Slice в реализации проекта;
- планы на будущее развитие ЦР.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Андрей Серебрянский расскажет 5 новых способов использовать данные в вашей Kafka.
⠀
Хотите получить крутой дашборд, который меняется каждую секунду? А может, вам интересно в реальном времени определять, является ли операция мошенничеством? Или вы просто хотите быстро и надежно отобразить клиенту ленту его операций? Все это можно легко сделать, если ваши данные есть в Kafka.
⠀
В своем докладе Андрей расскажет, как можно данные в Kafka поставить, как их можно между собой джоинить и как потом визуализировать.
⠀
На правах product owner'а стриминговой платформы в Райффайзен Банке Андрей также покажет, как для всех этих целей они используют свою платформу, поделится реальными примерами кода и расскажет про грабли, на которые им самим пришлось наступить.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сообщества вокруг технологии: почему быть бесплатным недостаточно? Расскажет в своем докладе Ксения Романова.
⠀
Важные составляющие успеха опенсорс‑проекта — это сообщество пользователей и сотворчество контрибьюторов. Ксения расскажет, как с помощью инструментов DevRel и маркетинга развивать сообщество, поддерживать совместное творчество и наращивать популярность проекта. А еще поделится списком метрик здоровья опенсорс-сообщества, который она составила и проверила на практике за время работы с Apache Ignite.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Александр Лукьянченко расскажет, как сделать платформу удобной, или Авито PaaS спустя 5 лет.
⠀
В последние годы многие компании и команды внедрили DevOps-подход, который позволяет владеть полным жизненным циклом разработки без необходимости что-то дополнительно запрашивать у платформенных/инфраструктурных команд. В то же время уровень сервиса, удобство и возможности, которые предоставляются в продуктовые команды, очень сильно варьируется.
⠀
Мы поговорим о парадигмах и подходах, которые позволяют построить удобную и эффективную платформу, решающую потребности бизнеса. Посмотрим, какие ключевые идеи лежат в основе Авито PaaS и с помощью каких технологий их получается реализовывать.
⠀
Пройдем по самым востребованным направлениям и проблемам в рамках SDLC, посмотрим, какой уровень сервиса можно предоставлять на каждом этапе жизненного цикла. Какая архитектура и подходы позволяют масштабировать платформу по функциональности.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

А знаете ли вы, что вы насчитали? Про автоматическую проверку точности численных расчётов расскажет Игорь Нетай.
⠀
Существуют проблемы, возникающие при вычислениях со значениями с плавающей точкой: все операции имеют погрешности, которые накапливаются. При достаточно большом накоплении ошибок под сомнением могут оказаться все результаты вычислений, особенно в случаях, связанных с обработкой больших данных, с численным дифференцированием, с моделированием длительных процессов и машинным обучением, в частности, при обучении нейросетей. Особую важность оценка точности имеет в приложениях с большой ценой ошибки, таких как вычисления в медицине и биометрических системах безопасности.
⠀
Игорь расскажет, как сделать наличие проблем с точностью видимым, на примере реализации их раcширения XNumPy библиотеки NumPy на Rust и Cython, автоматически вычисляющего точность расчётов. Это почти не требует изменений в коде и снабжает те же результаты математической оценкой их точности. Расскажет, какие математические и программистские приёмы позволили сделать расширение производительным.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Эволюцию сервисов и средств разработки рассмотрим на докладе Сергея Бережного.
⠀
В 1997 году в интернете сидели около 400 тысяч россиян, а сейчас среднемесячная аудитория рунета составляет более 100 миллионов пользователей. Вместе с количеством пользователей за 25+ лет выросло количество интернет-сервисов, объемы обрабатываемых и хранимых данных, сложность используемых технологий.
⠀
В докладе Сергея мы рассмотрим технологии, которые использовались для создания сервисов раньше, сравним их с технологиями, пришедшими им на замену при росте нагрузок, а также узнаем, какую роль в этом прогрессе сыграл опенсорс.
⠀
Мы вспомним, как менялись технологии разработки — от Apache и PHP на отдельных железных серверах, до текущего многообразия способов написать веб-сервис и облачных технологий. Проследим путь от проприетарных универсальных СУБД до появления специализированных опенсорсных систем обработки и хранения, от ручной проверки и выкладки по FTP до масштабных систем CI/CD и многое другое.
⠀
Также в докладе вас ждет большая новость о новой инициативе от Yandex Open Source.
⠀
Присоединяйтесь к нам на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Антон Барабанов в своём докладе расскажет про петабайт в YDB over HDD в процессингах Яндекс.Метрики.
⠀
Вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.
⠀
- Антон кратко расскажет про процессинги аналитических продуктов и как устроен в них стейт.
- Нагрузки и требования.
- Как они пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
- Как они на этом сэкономили.
- Какие были варианты.
- Какие были трудности при записи и при чтении.
- Ложка дегтя в смысле загрузки ресурсов.
- Как они выбирают, куда поместить данные, и как именно это делают.
- Как управляют этим стейтом.
- Как справляются с нагрузкой (12 gbit/sec).
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Open Source для компаний и разработчиков на примере Boost, C++, userver обсудим с Антоном Полухиным.
⠀
Движение Open Source имеет огромные масштабы, оно разношёрстное и даже выгоду от него получают по-разному!
⠀
Про выгоду и будет рассказ! Представим себя начинающим разработчиком, погрузимся в дивный мир «бесплатной работы» и поймём, зачем оно нам. Дорастём до разработчика в большой компании, приятно удивимся и осознаем, что всё базируется на Open Source. Ну, а напоследок — уже выложим корпоративный проект в Open Source и осознаем плюсы от такого шага.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Про 200 интеграций на 5 разработчиков расскажет Денис Божок.
⠀
Среди компаний можно выделить такие, где ценностью является большое количество поставщиков, закрытое одним интерфейсом. Примерами таких компаний могут быть платёжные системы, сервис заправок или продажи отелей. Ostrovok оперирует больше, чем 200 поставщиками для предоставления лучших цен нашим клиентам. Такое количество накладывает ограничения на то, как должны быть выстроены процессы работы с ними: подключение, мониторинг, организация кода.
⠀
В своём докладе Денис расскажет о том, к каким практикам они пришли на своём объёме и почему типовые решения «1 сервис — 1 поставщик» не так хороши, как кажется.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Высокая нагрузка или/и низкая задержка — на докладе Максима Юнусова удастся заглянуть за кулисы работы Госуслуг и узнать про работу СМЭВ4 (и что это, вообще, такое).
⠀
Поставлена задача на переработку реальной системы: требуется на имеющемся железе кратно увеличить пропускную способность и при этом уменьшить время отклика.
⠀
Метод — архитектурный редизайн.
⠀
Результат — успех.
⠀
В докладе представлено пошаговое решение с обоснованиями и демонстрацией модели производительности.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Когда нужно делать свою базу данных? Александр Бирюков в своём докладе прольёт свет на сложный выбор между использованием готовых решений и созданием собственного в условиях рынка, на котором уже присутствует множество конкурентов.
⠀
Все программисты любят велосипеды, но любой сеньор скажет вам, что их следует избегать. Как же тогда на свет появляются новые продукты? С какими проблемами должна столкнуться компания, чтобы стало понятно — пора?
⠀
В докладе поговорим про текущие и перспективные решения хранения логов, обсудим архитектуру, положительные стороны и недостатки, почему все делают одно и то же, но немного по-разному и почему R&D-разработка — это сложно.
⠀
В конце мы рассмотрим некоторые интересные особенности эффективного хранения и поиска в их базе данных SageDB, которые позволяют экономить терабайты памяти и трафика.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel