Со Львом Хакимовым поговорим про CTF as a Service

⠀
В последний год вопрос информационной безопасности в IT встал особенно остро. Грамотных специалистов не очень много, в уже существующих платформах, программном обеспечении и архитектурных решениях таится множество уязвимостей, которые с удовольствием могут быть проэксплуатированы хакерами. Следовательно, грамотная команда специалистов в ИБ-сфере, которая способна находить и устранять подобные угрозы, всегда необходима.
⠀
Раздел ИБ — это не только про бумажки и формальности, это практика! Но где искать молодых и амбициозных специалистов? Как проверить их реальные навыки в игровой форме, не подставляя под удар критическую инфраструктуру? Выход есть — CTF-соревнования! С их помощью можно не только собирать под одной крышей как юных, так и опытных специалистов, но и находить себе достойные кадры с практическими навыками в ИБ.
⠀
В докладе рассмотрим, как можно быстро и эффективно развернуть как Task-Based-, так и Attack-Defence-соревнования, как их грамотно настроить, чтобы не упасть при запуске соревнований и не быть взломанными, а также как настроить GitOps и какие подводные камни есть при разворачивании.
⠀
Еще сделаем краткий обзор доступных open-source-средств и платформ для проведения разных форматов CTF.
⠀
Собираемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

Программа конференции и билеты здесь @HighLoadChannel

YTsaurus — это будущее DWH, наш новый герой, который подвинет Hadoop. На докладе Филиппа Козьмин можно будет в этом убедиться 🖐

⠀
Полная программа конференции и билеты на сайте

Про надежность поставки данных в микросервисной архитектуре на примере хранилища товарных предложений Яндекс Маркета расскажет Евгений Равнушкин в рамках трека "Архитектура. HighLoad & VK"

⠀
Хранилище товарных предложений Яндекс Маркета содержит миллиарды записей и обрабатывает сотни мегабайт в секунду. Получая данные от партнеров, сервисы хранилища запускают цепочки обновлений по десяткам бэкендов Маркета.
⠀
Евгений расскажет об архитектуре сервиса на базе key-value-хранилища на динамических таблицах YTsaurus. Широкая продуктовая функциональность вызывает нагрузку разного типа, поэтому рассмотрим вопросы сочетания рантайма и очередей, а также проблемы поиска при большом потоке обновлений. Так как поставка данных о товарах требует разных соглашений по скорости, поговорим о необходимости приоритетной обработки и резервирования. Отдельное внимание обратим на компромиссы ради скорости разработки.
⠀
Рассказ об их пути развития и технических решениях позволит обратить внимание на возникающие задачи при проектировании подобных сервисов.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

С Ольгой Корабельник поговорим про сеть АЗС и сервис онлайн-заправки — от стартапа до промышленной процессинговой системы

⠀
Часто спикеры на конференции рассказывают, как построить классную микросервисную платформу, но редко делятся увлекательным процессом перехода от монолита/сервисной архитектуры на микросервисы.
⠀
Ольга расскажет об опыте подобного перехода без остановки развития сервиса.
⠀
Онлайн-оплата на сети АЗС «Газпромнефть» стартовала в 2018 году с собственной сети. Сейчас ежедневно более 2,5 миллиона литров топлива водители покупают на сети АЗС «Газпромнефть» онлайн. Сервис интегрирован с партнерами с большой клиентской аудиторией, а также с узкопрофильными мобильными приложениями. Поговорим о пользовательском приложении, что стоит за тремя «простыми» экранами заправки?
⠀
1. Как они начинали: low-code-платформа для быстрого старта на 30 точек продаж, 6 месяцев разработки.
⠀
2. Рост сервиса опережает функционал, разработка играет роль догоняющего, решение — только распределение нагрузки и изоляция сервисов друг от друга. Все понимают, планируют переход на новую архитектуру, но не успевают.
⠀
3. Тираж mvp на 1000 точек и первые проблемы low-code, дублирующие сервисы, параллельная нагрузка, функциональное разделение платформы, дополнительный сервер для асинхронных запросов и ODS. Все это на «горячую», без остановок развития функционала и самого сервиса.
⠀
4. Рост использования приложения х10 за 1,5 мес и первый серьезный даунтайм, начинают переход на микросервисы в части транспортного слоя, сложности нагрузочного тестирования распределенных систем, CAP-теорема.
⠀
Что сейчас? На выходе получили 3 слоя и 28 микросервисов, оркестратор, шину сообщений и стабильный сон по ночам, продолжают распиливать монолит без сожаления. Тут поговорим про паттерн SAGA на примере пользовательского опыта.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐

MinIO - что изменилось за год? Узнаем из доклада Алексея Плетнёва

⠀
На прошлогоднем HighLoad++ Алексей рассказывал про свой опыт разворачивания геораспределённого отказоустойчивого S3-совместимого хранилища на базе MinIO. После этого ему на почту (что приятно) пришло множество вопросов касательно различных нюансов.
⠀
В этом году он бы хотел систематизировать ответы на них и представить в виде доклада широкой публике. Кроме того, Алексей планирует рассказать о том, как развивался MinIO в течение прошедшего года, от каких минусов разработчикам удалось избавиться, а что до сих пор остаётся в виде подводных камней, на которые можно легко наступить и порезаться.
⠀
Также хочется рассказать об очень интересном опыте масштабирования MinIO - как они расширили своё присутствие с 3 до 4 дата-центров, какой реальный прирост производительности дал переход от обычных дисков к дисковым массивам. С какими сложностями можно столкнуться при работе с этими массивами.
⠀
Доклад ориентирован не на мастодонтов, создающих свои облака, таких как ребята из Яндекса или VK, а на архитекторов из компаний, представляющих малый и средний бизнес, у которых, однако, есть серьёзный потенциал роста и потребность в хранении данных в собственном периметре.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте в описании канала @HighLoadChannel

Из доклада Дмитрия Липина вы узнаете основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения

⠀
Посмотреть полную программу Saint HighLoad++ 2023 и купить билет можно на сайте в описании канала @HighLoadChannel

Уроки из проекта с коммитом 2001 года расскажет Василий Романов

⠀
Поговорим про очевидные вещи, которые особенно ценятся на дистанции в 10 лет.

Василий постарается разбить сердце романтикам микросервисов и мифического хайлоада. Расскажет про то, что существует в больших проектах как данность, но необходимость затрат на что не всегда очевидна в моменте. Поговорим про то, почему и когда надо писать монолиты. Обсудим, как писать CRUD'ы и быть счастливым.
⠀
Saint HighLoad++ 2023 - 26 и 27 июня в Питере 🙌

В рамках трека "Архитектура. HighLoad & VK" Андрей Тимофеев расскажет про групповые чаты в Одноклассниках

⠀
Мессенджер — один из критических и самых нагруженных сервисов Одноклассников, который вы также можете знать и под именем ТамТам. В цифрах это 50М МAU и более 10 миллиардов событий в день. На таких нагрузках даже простая фича — быстро и надежно доставить сообщение — становится нетривиальной задачей.
⠀
Андрей расскажет об основных проблемах, возникающих на таких нагрузках и их решениях; как и почему они сделали свой протокол с постоянным соединением на клиентах; какие трюки они делают на уровне хранилищ и, наконец, как с постоянной скоростью обрабатывать групповые чаты с тысячами участников и безлимитные каналы.

⠀
Подробнее о конференции @HighLoadChannel

Третья часть статьи про путь от монолита до независимых микрофронтендов с использованием Webpack Module Federation.
⠀
В первой и второй части истории было о подготовке к распилу и соответственно самом распиле на микрофронтенды. Особое внимание было уделено динамическим загрузкам.
⠀
Пришло время рассказать про фолбэки. В общем, опять достаём нашу пилу, чтобы делать модули отдельными приложениями.
⠀
Максим Смирнов из команды Тинькофф расскажет про проблемы, с которыми они столкнулись, и о том, что накрутили сверху Webpack Module Federation для реальной независимости команд и приложений.
⠀
Об этом в статье в нашем блоге на Habr: https://habr.com/ru/companies/tinkoff/articles/741722/

Use actors, Luke – тема доклада Андрея Парамонова

⠀
В докладе пойдет речь о модели виртуальных акторов и ее применении при создании распределенной системы для проведения онлайн-платежей по всему миру.
⠀
Погрузимся в плюсы и минусы подобного подхода, оценим надежность, сложность и масштабируемость в реальных проектах.
⠀
Встречаемся 26 и 27 июня в Санкт-Петербурге 😎
⠀
Программа конференции, расписание и билеты на сайте, ссылка здесь @HighLoadChannel

Платформа OpenAPI: что за "зверь" и с чем его "едят"? Узнаем из доклада Ильи Волынкина

⠀
Илья расскажет, как строится и что находится "под капотом" у OpenAPI-платформы (на примере TelecomAPI-платформы Exolve), а также как можно на ее базе строить конкретные приложения в парадигмах low(no)code и/или serverless и зачем. Разберем узкие места, технические находки и границы применения, а также порассуждаем о перспективах распространения таких подходов.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка в описании канала @HighLoadChannel

В чем существенные отличия графовых СУБД, какие преимущества и новые методы они предлагают для аналитики, и почему будущее аналитики на Больших Данных может оказаться именно за графовыми СУБД? Ответы в докладе Павла Велихова 🙌

⠀
✅ Полная программа Saint HighLoad++ 2023 на сайте в описании канала @HighLoadChannel

О внедрении YDB CDC на примере Yandex Monitoring расскажет Егор Литвиненко

⠀
Yandex Monitoring используется всеми сервисами Яндекса внутри, а также доступен в Яндекс.Облако для внешних пользователей. Они обрабатывают 700 миллионов метрик на запись ежесекундно.
⠀
У каждого клиента есть конфигурация процесса загрузки метрик. Конфигурация — это Control-Plane-объекты, которые:
⠀
- хранятся как таблицы в базе данных;
- меняются на лету;
- связаны между собой.
⠀
Чем быстрее Monitoring получает обновления объектов, тем выше доступность для пользователей.
⠀
Для хранения они используют YDB — распределенную open-source-базу данных Яндекса.
⠀
Команды YDB и Yandex Monitoring проработали сценарий загрузки изменений с помощью YDB CDC. В результате получили архитектуру, в которой изменения объектов доставляются в тысячи компонентов менее чем за 800 миллисекунд.
⠀
Из доклада Егора узнаем:
⠀
- Сложности до перехода на Change Data Capture.
- Подходы к доставке изменений, их особенности.
- Чем YDB CDC отличается от других решений.
- Рекомендации, как правильно готовить YDB CDC, грабли и их решения.
- Какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями.
- Мониторинг и поддержка решения.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel

Компиляторы это неотъемлемая часть инфраструктуры для создания программного обеспечения, поэтому от их корректности зависит очень многое. Поэтому они тщательно тестируются при разработке.
⠀
Если вас интересует тестирование компиляторов, заходите посмотреть статью о фаззинге. Сергей Бронников, разработчик из Tarantool, расскажет об этой сложной теме простым языком и с примерами на Lua.
⠀
Будут затронуты проблемы генерирования случайных программ и выбора тестовых оракулов для определения правильного поведения компилятора. Поговорим о том, как эффективно выполнять тесты компилятора и эффективных методах тестирования компиляторов на LuaJIT.
⠀
📍Читать статью в нашем блоге на Habr: https://habr.com/ru/companies/oleg-bunin/articles/742122/

Про архитектуру ленты и рекомендаций ВКонтакте узнаем из доклада Андрея Якушева в рамках трека "Архитектура. HighLoad & VK"

⠀
Лента — первый экран и главная точка взаимодействия пользователя с контентом социальной сети. Она должна быстро отображать релевантный контент для всех 100 млн пользователей ВКонтакте, и желательно, независимо от устройств и качества сети.
⠀
В докладе рассмотрим архитектуру Ленты ВКонтакте и проследим путь пользователя по всем компонентам системы: от первого запроса к приложению, до лайка под постом. Андрей расскажет, как и что они шардируют, реплицируют, кешируют, параллелят. Затронет особенности ранжирования записей и устройство рекомендательной системы, которую они научились переиспользовать так, чтобы с нуля за пару недель запускать рекомендации в новой вертикали.
⠀
Доклад позволит составить представление о том, как внедрять и использовать машинное обучение в максимально высоконагруженных проектах.

⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel