MinIO - что изменилось за год? Узнаем из доклада Алексея Плетнёва

⠀
На прошлогоднем HighLoad++ Алексей рассказывал про свой опыт разворачивания геораспределённого отказоустойчивого S3-совместимого хранилища на базе MinIO. После этого ему на почту (что приятно) пришло множество вопросов касательно различных нюансов.
⠀
В этом году он бы хотел систематизировать ответы на них и представить в виде доклада широкой публике. Кроме того, Алексей планирует рассказать о том, как развивался MinIO в течение прошедшего года, от каких минусов разработчикам удалось избавиться, а что до сих пор остаётся в виде подводных камней, на которые можно легко наступить и порезаться.
⠀
Также хочется рассказать об очень интересном опыте масштабирования MinIO - как они расширили своё присутствие с 3 до 4 дата-центров, какой реальный прирост производительности дал переход от обычных дисков к дисковым массивам. С какими сложностями можно столкнуться при работе с этими массивами.
⠀
Доклад ориентирован не на мастодонтов, создающих свои облака, таких как ребята из Яндекса или VK, а на архитекторов из компаний, представляющих малый и средний бизнес, у которых, однако, есть серьёзный потенциал роста и потребность в хранении данных в собственном периметре.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте в описании канала @HighLoadChannel

Из доклада Дмитрия Липина вы узнаете основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения

⠀
Посмотреть полную программу Saint HighLoad++ 2023 и купить билет можно на сайте в описании канала @HighLoadChannel

Уроки из проекта с коммитом 2001 года расскажет Василий Романов

⠀
Поговорим про очевидные вещи, которые особенно ценятся на дистанции в 10 лет.

Василий постарается разбить сердце романтикам микросервисов и мифического хайлоада. Расскажет про то, что существует в больших проектах как данность, но необходимость затрат на что не всегда очевидна в моменте. Поговорим про то, почему и когда надо писать монолиты. Обсудим, как писать CRUD'ы и быть счастливым.
⠀
Saint HighLoad++ 2023 - 26 и 27 июня в Питере 🙌

В рамках трека "Архитектура. HighLoad & VK" Андрей Тимофеев расскажет про групповые чаты в Одноклассниках

⠀
Мессенджер — один из критических и самых нагруженных сервисов Одноклассников, который вы также можете знать и под именем ТамТам. В цифрах это 50М МAU и более 10 миллиардов событий в день. На таких нагрузках даже простая фича — быстро и надежно доставить сообщение — становится нетривиальной задачей.
⠀
Андрей расскажет об основных проблемах, возникающих на таких нагрузках и их решениях; как и почему они сделали свой протокол с постоянным соединением на клиентах; какие трюки они делают на уровне хранилищ и, наконец, как с постоянной скоростью обрабатывать групповые чаты с тысячами участников и безлимитные каналы.

⠀
Подробнее о конференции @HighLoadChannel

Третья часть статьи про путь от монолита до независимых микрофронтендов с использованием Webpack Module Federation.
⠀
В первой и второй части истории было о подготовке к распилу и соответственно самом распиле на микрофронтенды. Особое внимание было уделено динамическим загрузкам.
⠀
Пришло время рассказать про фолбэки. В общем, опять достаём нашу пилу, чтобы делать модули отдельными приложениями.
⠀
Максим Смирнов из команды Тинькофф расскажет про проблемы, с которыми они столкнулись, и о том, что накрутили сверху Webpack Module Federation для реальной независимости команд и приложений.
⠀
Об этом в статье в нашем блоге на Habr: https://habr.com/ru/companies/tinkoff/articles/741722/

Use actors, Luke – тема доклада Андрея Парамонова

⠀
В докладе пойдет речь о модели виртуальных акторов и ее применении при создании распределенной системы для проведения онлайн-платежей по всему миру.
⠀
Погрузимся в плюсы и минусы подобного подхода, оценим надежность, сложность и масштабируемость в реальных проектах.
⠀
Встречаемся 26 и 27 июня в Санкт-Петербурге 😎
⠀
Программа конференции, расписание и билеты на сайте, ссылка здесь @HighLoadChannel

Платформа OpenAPI: что за "зверь" и с чем его "едят"? Узнаем из доклада Ильи Волынкина

⠀
Илья расскажет, как строится и что находится "под капотом" у OpenAPI-платформы (на примере TelecomAPI-платформы Exolve), а также как можно на ее базе строить конкретные приложения в парадигмах low(no)code и/или serverless и зачем. Разберем узкие места, технические находки и границы применения, а также порассуждаем о перспективах распространения таких подходов.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка в описании канала @HighLoadChannel

В чем существенные отличия графовых СУБД, какие преимущества и новые методы они предлагают для аналитики, и почему будущее аналитики на Больших Данных может оказаться именно за графовыми СУБД? Ответы в докладе Павла Велихова 🙌

⠀
✅ Полная программа Saint HighLoad++ 2023 на сайте в описании канала @HighLoadChannel

О внедрении YDB CDC на примере Yandex Monitoring расскажет Егор Литвиненко

⠀
Yandex Monitoring используется всеми сервисами Яндекса внутри, а также доступен в Яндекс.Облако для внешних пользователей. Они обрабатывают 700 миллионов метрик на запись ежесекундно.
⠀
У каждого клиента есть конфигурация процесса загрузки метрик. Конфигурация — это Control-Plane-объекты, которые:
⠀
- хранятся как таблицы в базе данных;
- меняются на лету;
- связаны между собой.
⠀
Чем быстрее Monitoring получает обновления объектов, тем выше доступность для пользователей.
⠀
Для хранения они используют YDB — распределенную open-source-базу данных Яндекса.
⠀
Команды YDB и Yandex Monitoring проработали сценарий загрузки изменений с помощью YDB CDC. В результате получили архитектуру, в которой изменения объектов доставляются в тысячи компонентов менее чем за 800 миллисекунд.
⠀
Из доклада Егора узнаем:
⠀
- Сложности до перехода на Change Data Capture.
- Подходы к доставке изменений, их особенности.
- Чем YDB CDC отличается от других решений.
- Рекомендации, как правильно готовить YDB CDC, грабли и их решения.
- Какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями.
- Мониторинг и поддержка решения.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel

Компиляторы это неотъемлемая часть инфраструктуры для создания программного обеспечения, поэтому от их корректности зависит очень многое. Поэтому они тщательно тестируются при разработке.
⠀
Если вас интересует тестирование компиляторов, заходите посмотреть статью о фаззинге. Сергей Бронников, разработчик из Tarantool, расскажет об этой сложной теме простым языком и с примерами на Lua.
⠀
Будут затронуты проблемы генерирования случайных программ и выбора тестовых оракулов для определения правильного поведения компилятора. Поговорим о том, как эффективно выполнять тесты компилятора и эффективных методах тестирования компиляторов на LuaJIT.
⠀
📍Читать статью в нашем блоге на Habr: https://habr.com/ru/companies/oleg-bunin/articles/742122/

Про архитектуру ленты и рекомендаций ВКонтакте узнаем из доклада Андрея Якушева в рамках трека "Архитектура. HighLoad & VK"

⠀
Лента — первый экран и главная точка взаимодействия пользователя с контентом социальной сети. Она должна быстро отображать релевантный контент для всех 100 млн пользователей ВКонтакте, и желательно, независимо от устройств и качества сети.
⠀
В докладе рассмотрим архитектуру Ленты ВКонтакте и проследим путь пользователя по всем компонентам системы: от первого запроса к приложению, до лайка под постом. Андрей расскажет, как и что они шардируют, реплицируют, кешируют, параллелят. Затронет особенности ранжирования записей и устройство рекомендательной системы, которую они научились переиспользовать так, чтобы с нуля за пару недель запускать рекомендации в новой вертикали.
⠀
Доклад позволит составить представление о том, как внедрять и использовать машинное обучение в максимально высоконагруженных проектах.

⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel

Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Потому что стыдно и потому что дорого. Но только не на нашем fail-митапе!

⠀
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
⠀
Модератор: Екатерина Фирсова.
А делиться ошибками будут Алексей Мерсон, Григорий Богданов и многие другие.

⠀
Полная программа Saint HighLoad++ 2023, расписание и билеты здесь @HighLoadChannel

Сергей Прийменко в своем докладе расскажет о продуктовой платформе исполнителей в Яндекс Go

⠀
Яндекс Pro — это суперапп для исполнителей, выполняющих заказы клиентов разных online-to-offline-сервисов Яндекса: Такси, Самокатов, Доставки, Еды, Лавки, Маркета. Но так было не всегда, раньше Яндекс Pro был только водительским приложением Такси. Сергей расскажет о том, какие архитектурные принципы позволили пройти этот путь, тем самым это поможет командам разработки множества бизнесов развивать общее высоконагруженное приложение, сохраняя и его стабильность и скорость разработки.
⠀
Мы обсудим технические проблемы, которые создаёт суперапп: общий домен отказа у разных бизнесов и протекание абстракций, как следствие — ухудшение отказоустойчивости, замедление разработки и усложнение поддержки приложения.
⠀
Эти проблемы им удалось решить, выделив продуктовую платформу — слой между инфраструктурой и продуктом, представляющий собой скелет приложения и набор готовых компонентов, из которых разные бизнесы могут собирать сценарии для своих профессий, не влияя при этом друг на друга. Узнаем, какие архитектурные принципы позволили построить такую продуктовую платформу, а также про паттерны распределённых систем, позволяющих эти принципы воплощать в жизнь.
⠀
Встречаемся уже через неделю в Питере на Saint HighLoad++ 2023 🙌

Генеративные диффузионные модели. Про разработку, обучение и релиз модели Kandinsky 2.1 в подробностях расскажет Андрей Кузнецов

⠀
В докладе сначала будет рассказано про диффузионный подход для задачи генерации изображений по тексту: что такое диффузионный процесс, какие бывают диффузии и как это всё связано с генерацией изображений.
⠀
После этого детально рассмотрим архитектуру модели Kandinsky 2.1, а также возможные режимы её использования: генерация, совмещение изображений, изменение изображений по тексту, генерация похожих на заданное изображений и inpainting/outpainting. Далее приводятся результаты сравнительных экспериментов с другими моделями как на примере самих генераций, так и на уровне метрики FID.
⠀
После этого Андрей расскажет про официальный запуск проекта, достигнутые показатели по уникальным пользователям и числу запросов, кратко опишет структуру бэкенда для такой нагрузки по инференсу модели и приведет статистические данные за первые недели запуска с точки зрения highload-нагрузки.
⠀
🖐 Ждем вас 26 и 27 июня на Saint HighLoad++ 2023
⠀
Программа конференции, расписание и билеты - @HighLoadChannel

Как профилировать, когда perf видит не всё? Об этом расскажет в своем докладе Максим Кокряшкин 🙌

⠀
✅ Программа, расписание и билеты на Saint HighLoad++ 2023 здесь