Кто нам ChatGPT? Друг, враг или так? Узнаем из доклада Артема Бачевского 😎

⠀
✅ Ознакомиться с полной программой Saint HighLoad++ 2023 и купить билет можно на сайте, ссылка в описании канала @HighLoadChannel

С Георгием Меликовым поговорим о переизобретении файловой системы: OpenZFS

⠀
Хранение данных — это всегда боль, у которой может быть больше 50 оттенков: железо, кэш, гарантии, производительность, скорость восстановления при проблемах, удобство и так далее. Как бы решить большинство проблем, при этом получив что-то легко обслуживаемое, да ещё бесплатно?
⠀
Поcмотрим на проверенную боем OpenZFS, почему её хочется использовать (кто сказал "деградация данных"?) и когда её использовать не стоит (ммм, zero copy в Copy-on-Write).
⠀
Также не забудем о людях — обсудим комьюнити, как ФС может пережить родную ОС и жить вне ядра.
⠀
Взгляд со стороны контрибьютора.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

Ознакомиться с программой трека "Архитектура. HighLoad & VK" можно на сайте, ссылка здесь @HighLoadChannel

Лев Плинер в своем докладе расскажет про CPU-изоляцию по memory bandwidth

⠀
Системы с несколькими потребителями, как правило, следят за тем, как потребители расходуют вычислительные ресурсы. Следят разными способами: через квоты, привязанные к чеку, через жёсткие и мягкие лимиты. Учёт некоторых ресурсов превращается в продолжительный квест.
⠀
Один такой квест мы рассмотрим на примере приватного вычислительного облака Яндекса. Потребители облака, сервисы Яндекса, запускаются в миллионах контейнеров на более, чем 100 тысячах серверных ЭВМ. Через контейнер потребителям облака предоставляется гарантия на вычислительные ресурсы облака.
⠀
Наиболее важным ресурсом вычислительного облака является время, за которое треды в контейнере могут выполняться на ядрах центральных процессоров. Процессорное время напрямую влияет на количество обрабатываемых запросов. Закончилось выделенное процессорное время — пользователь начал получать пятисотки.
⠀
Лев с командой в очередной раз столкнулись с тем, что контейнеры с одной и той же начинкой под сходной нагрузкой имеют разный резерв свободного процессорного времени. Быстро стало ясно, что влияние оказывает скорость, с которой данные передаются между оперативной памятью и кэшем процессора. Придумать решение заняло больше времени, но они справились.
⠀
Saint HighLoad++ 2023 пройдет 26 и 27 июня 🙌
⠀
Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Алексей Шпагин в своем докладе в рамках трека "Архитектура. HighLoad & VK" расскажет про VK Звонки: как они оценивают качество видео объективно

⠀
Почему иногда во время звонка зависает видео от кого-то из участников? Почему видео может “пикселить” или напоминать слайд-шоу, и что из этого больше расстраивает пользователей видеоконференций? Как оценить качество видео и выразить эту оценку в виде одного числа?
⠀
Алексей постарается раскрыть эти вопросы в своем докладе на примере VK Звонков — высоконагруженного сервиса видеоконференций, при помощи которого ежедневно общаются миллионы людей. В докладе он расскажет, с какими вызовами они сталкиваются при передаче видео от участников звонка, как справляются с ними, а также как измеряют качество видео, чтобы быть уверенным, что действительно предоставляют своим пользователям сервис высокого уровня.
⠀
Встречаемся 26 и 27 июня в Санкт-Петербурге 😎
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel

Со Львом Хакимовым поговорим про CTF as a Service

⠀
В последний год вопрос информационной безопасности в IT встал особенно остро. Грамотных специалистов не очень много, в уже существующих платформах, программном обеспечении и архитектурных решениях таится множество уязвимостей, которые с удовольствием могут быть проэксплуатированы хакерами. Следовательно, грамотная команда специалистов в ИБ-сфере, которая способна находить и устранять подобные угрозы, всегда необходима.
⠀
Раздел ИБ — это не только про бумажки и формальности, это практика! Но где искать молодых и амбициозных специалистов? Как проверить их реальные навыки в игровой форме, не подставляя под удар критическую инфраструктуру? Выход есть — CTF-соревнования! С их помощью можно не только собирать под одной крышей как юных, так и опытных специалистов, но и находить себе достойные кадры с практическими навыками в ИБ.
⠀
В докладе рассмотрим, как можно быстро и эффективно развернуть как Task-Based-, так и Attack-Defence-соревнования, как их грамотно настроить, чтобы не упасть при запуске соревнований и не быть взломанными, а также как настроить GitOps и какие подводные камни есть при разворачивании.
⠀
Еще сделаем краткий обзор доступных open-source-средств и платформ для проведения разных форматов CTF.
⠀
Собираемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

Программа конференции и билеты здесь @HighLoadChannel

YTsaurus — это будущее DWH, наш новый герой, который подвинет Hadoop. На докладе Филиппа Козьмин можно будет в этом убедиться 🖐

⠀
Полная программа конференции и билеты на сайте

Про надежность поставки данных в микросервисной архитектуре на примере хранилища товарных предложений Яндекс Маркета расскажет Евгений Равнушкин в рамках трека "Архитектура. HighLoad & VK"

⠀
Хранилище товарных предложений Яндекс Маркета содержит миллиарды записей и обрабатывает сотни мегабайт в секунду. Получая данные от партнеров, сервисы хранилища запускают цепочки обновлений по десяткам бэкендов Маркета.
⠀
Евгений расскажет об архитектуре сервиса на базе key-value-хранилища на динамических таблицах YTsaurus. Широкая продуктовая функциональность вызывает нагрузку разного типа, поэтому рассмотрим вопросы сочетания рантайма и очередей, а также проблемы поиска при большом потоке обновлений. Так как поставка данных о товарах требует разных соглашений по скорости, поговорим о необходимости приоритетной обработки и резервирования. Отдельное внимание обратим на компромиссы ради скорости разработки.
⠀
Рассказ об их пути развития и технических решениях позволит обратить внимание на возникающие задачи при проектировании подобных сервисов.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

С Ольгой Корабельник поговорим про сеть АЗС и сервис онлайн-заправки — от стартапа до промышленной процессинговой системы

⠀
Часто спикеры на конференции рассказывают, как построить классную микросервисную платформу, но редко делятся увлекательным процессом перехода от монолита/сервисной архитектуры на микросервисы.
⠀
Ольга расскажет об опыте подобного перехода без остановки развития сервиса.
⠀
Онлайн-оплата на сети АЗС «Газпромнефть» стартовала в 2018 году с собственной сети. Сейчас ежедневно более 2,5 миллиона литров топлива водители покупают на сети АЗС «Газпромнефть» онлайн. Сервис интегрирован с партнерами с большой клиентской аудиторией, а также с узкопрофильными мобильными приложениями. Поговорим о пользовательском приложении, что стоит за тремя «простыми» экранами заправки?
⠀
1. Как они начинали: low-code-платформа для быстрого старта на 30 точек продаж, 6 месяцев разработки.
⠀
2. Рост сервиса опережает функционал, разработка играет роль догоняющего, решение — только распределение нагрузки и изоляция сервисов друг от друга. Все понимают, планируют переход на новую архитектуру, но не успевают.
⠀
3. Тираж mvp на 1000 точек и первые проблемы low-code, дублирующие сервисы, параллельная нагрузка, функциональное разделение платформы, дополнительный сервер для асинхронных запросов и ODS. Все это на «горячую», без остановок развития функционала и самого сервиса.
⠀
4. Рост использования приложения х10 за 1,5 мес и первый серьезный даунтайм, начинают переход на микросервисы в части транспортного слоя, сложности нагрузочного тестирования распределенных систем, CAP-теорема.
⠀
Что сейчас? На выходе получили 3 слоя и 28 микросервисов, оркестратор, шину сообщений и стабильный сон по ночам, продолжают распиливать монолит без сожаления. Тут поговорим про паттерн SAGA на примере пользовательского опыта.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐

MinIO - что изменилось за год? Узнаем из доклада Алексея Плетнёва

⠀
На прошлогоднем HighLoad++ Алексей рассказывал про свой опыт разворачивания геораспределённого отказоустойчивого S3-совместимого хранилища на базе MinIO. После этого ему на почту (что приятно) пришло множество вопросов касательно различных нюансов.
⠀
В этом году он бы хотел систематизировать ответы на них и представить в виде доклада широкой публике. Кроме того, Алексей планирует рассказать о том, как развивался MinIO в течение прошедшего года, от каких минусов разработчикам удалось избавиться, а что до сих пор остаётся в виде подводных камней, на которые можно легко наступить и порезаться.
⠀
Также хочется рассказать об очень интересном опыте масштабирования MinIO - как они расширили своё присутствие с 3 до 4 дата-центров, какой реальный прирост производительности дал переход от обычных дисков к дисковым массивам. С какими сложностями можно столкнуться при работе с этими массивами.
⠀
Доклад ориентирован не на мастодонтов, создающих свои облака, таких как ребята из Яндекса или VK, а на архитекторов из компаний, представляющих малый и средний бизнес, у которых, однако, есть серьёзный потенциал роста и потребность в хранении данных в собственном периметре.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте в описании канала @HighLoadChannel

Из доклада Дмитрия Липина вы узнаете основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения

⠀
Посмотреть полную программу Saint HighLoad++ 2023 и купить билет можно на сайте в описании канала @HighLoadChannel