🫥CБОЛ. Об архитектуре слоя хранения поговорим с Ильей Кайшаури
⠀
📋 https://bit.ly/3LAjKHe
⠀
Путь, пройденный командой развития Сбербанка Онлайн при построении надежной и отказоустойчивой архитектуры слоя хранения, является уникальным и опыт, полученный в процессе становления может стать подспорьем для развивающихся проектов, идущих прямиком в «клуб HL+». Доклад призван в доступной форме рассказать об архитектуре сервиса Сбербанк Онлайн в части хранения данных и поделиться планами по импортозамещению СУБД.
⠀
Поговорим вот о чем:
⠀
- СБОЛ это платформа для реализации продуктов экосистемы Сбера;
- Архитектура строится вокруг 2 клиентов: Клиент Сбера и команды развития бизнес-продукта;
- Данные СБОЛа делятся на 5 типов;
- End 2 End целостный клиентский блок - основа надежного и масштабируемого сервиса;
- Client Backup Layer, который развязал им руки;
- Микросервисная архитектура платформы помогает им мигрировать на PostgreSQL;
- Какие данные блока не прижились в Oracle и куда их отселяют. С какими проблемами столкнулись;
- СБОЛ 2025 Целевая картина хранения данных Сбербанк Онлайн.
⠀
📍Встречаемся: 26 и 27 июня, Санкт-Петербург, DESIGN DISTRICT DAA in SPB
⠀
✅ Узнать подробнее программу Saint HighLoad++ 2023 и купить билет можно на сайте - https://bit.ly/3LSdk7U

🗣YTsaurus SPYT: Алексей Шишкин расскажет, как помочь планировщику Apache Spark быть ещё эффективнее
⠀
📋 https://bit.ly/3paY1yh
⠀
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
⠀
Дело в том, что зачастую Spark не знает, как эффективно использовать метаданные источника данных, поэтому строит универсальные способы исполнения. Из доклада Алексея узнаем, как они ускорили выполнение агрегаций и джойнов на отсортированных данных внутри YTsaurus. Для этого придется покопаться во внутренностях механизмов выполнения запросов, чтения данных и генерации планов исполнения.
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅Программа конференции и билеты на сайте - https://bit.ly/3ns96uh

✔️ С Артемом Бачевским обсудим GPT3+ модели в задачах кибербезопасности
⠀
📋 https://bit.ly/3nyfmkb
⠀
Художники, копирайтеры и журналисты уже на заводе. Пора ли безопасникам идти в магазин за робой?
В рамках доклада разберем, как уже используются GPT3+ модели ИБшниками, разработчиками и администраторами.
⠀
Кто нам ChatGPT? Друг, враг или так?
⠀
Ждем вас в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Забронируйте билет здесь: https://bit.ly/3nv58kx

⏺Многие знакомы с тем, как работать с сервисами push-уведомлений от Google и Apple, но не все знают как эти сервисы устроены внутри. В особенности это касается статистики.
⠀
Руководитель нескольких команд разработки бэкенда в Почте Mail.ru Кирилл Алексеев покажет свой взгляд на архитектуру очень нагруженного сервиса и расскажет, почему push-уведомления других сервисов работают именно так.
⠀
В основном будет про архитектуру сервиса, который позволяет отправлять пуш-уведомления на мобильные устройства с минимальной задержкой, подобно Google Firebase.
⠀
А ещё о том, как удалось сделать сервис горизонтально масштабируемым на базе Redis Cluster и Scylla, устойчивым к DDoS через публичные API, и как можно держать в фоне открытый Web Socket на Android, пользуясь доступными возможностями ОС.

🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728516/

⚫️Тема доклада Ивана Полуянова: Ну зачем вы форкнули NGINX?!
⠀
📋 https://bit.ly/3MfvWyO
⠀
Иван расскажет, что они сделали за полгода c веб-сервером Angie, и спросит участников что нужно делать дальше. И также узнаем, что значит ^W в названии доклада :)
⠀
Встречаемся в Питере 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Перейдите на сайт, чтобы узнать программу конференции и купить билет: https://bit.ly/3LVJ22L

💻YTsaurus: опытом эксплуатации хранилища из 180К дисков поделится Павел Сушин
⠀
📋 https://bit.ly/44Xc3Un
⠀
YTsaurus - основная платформа Яндекса для хранения и обработки больших данных, ad hoc аналитики, построения ETL задач и регулярных batch процессов. Сегодня самый большой кластер YTsaurus содержит более 20К хостов различной конфигурации - от 4 до 24 дисков, суммарно более 180К дисков.
⠀
Павел расскажет, как они управляют таким количеством дисков с минимальными операционными издержками. Затронем:
⠀
- политики размещения блобов, для достижения отказоустойчивости и производительности записи;
- защитные механизмы, для ограничения фоновых процессов при восстановлении erasure-реплик;
- способы изоляции разных классов IO-нагрузки в одном кластере;
- инструменты автоматизации и примеры проблем, с которыми они сталкивались при их внедрении.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://bit.ly/3VUb5Ep

🖼 О применении изображений в рекомендательных системах расскажет в своем докладе Руслан Вергунов
⠀
📋 https://bit.ly/3Og2UAF
⠀
Зачастую пользователь принимает решение о клике, во многом основываясь на графической информации. Рассмотрим различные способы использования изображений в рекомендательных системах и узнаем про уменьшение нагрузки и влезание в память при исполнении данного подхода.
⠀
Руслан поделится с участниками кейсами, как им удалось улучшить свою систему на 20%!
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://bit.ly/41ANgCW

⚫️Если вы сталкивались с трудностями в работе с автотестовой системой, вам будет интересно узнать, как с ними справляются в других компаниях.
⠀
QA automation engineer в Garage Eight Константин Лыщенко расскажет, как они улучшали свою автотестовую систему. Как дорабатывали pipeline с прогоном тестов. Как делали отчёты в Slack удобнее и внедряли автоматизированный сбор метрик с использованием Grafana и MySQL.
⠀
Улучшения помогли сделать pipelin’ы с автотестами более быстрыми, а это полезный опыт, который можно использовать в своей системе.
⠀
✅ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

➡️ Почему вам стоит писать backend на Elixir? Расскажет Роман Смирнов
⠀
📋 https://bit.ly/3M6VKf5
⠀
На данный момент существуют сотни языков программирования, которые можно использовать для разработки backend. Как выбрать язык, который даст наибольшее количество преимуществ, но не в ущерб результату?
⠀
Сравним 10 наиболее популярных языков программирования по ключевым критериям:
⠀
- кадровый вопрос;
- удобство разработки;
- выразительность языка;
- производительность.
⠀
Также обсудим, в чём уникальность Elixir: BEAM, OTP, модель акторов и то, как Elixir расширяет мышление в плане подходов к написанию кода. Посмотрим, какие компании уже применяют Elixir для разработки своих сервисов.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробнее о конференции на сайте - https://bit.ly/3pLdCoB

🟢Что делать, чтобы перестать быть девопс-эникейщиком, справиться с рутиной и снова наслаждаться работой? Вопрос на миллион!
⠀
Руководитель DevOps, QA и 140+ backend/fronted-разработчиков в Ситилинке Константин Осипов поможет ответить на него. Вы узнаете, как перестать быть эникейщиком и снова начать автоматизировать. Как отсутствие DevOps ускоряет Time to market. Как всего три DevOps справляются со 150+ разработчиками, 70+ Tarantool БД, 100+ микросервисов, и еще успевают готовить свой on-premises Kubernetes на сотнях серверов.
⠀
Разговор пойдет об интересном подходе к разработке в Ситилинке, который и позволяет справляться со всеми перечисленными проблемами.
⠀
📍Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728524/

❄️ Егор Гордовский расскажет доклад на тему: мы охлаждаем воздухом. Дата-центр Яндекса. Какой он?
⠀
📋 https://bit.ly/3BAAREu
⠀
Всё, что вы хотели узнать про дата-центр Яндекса, но боялись спросить.
⠀
Пора узнать, как Яндекс подходит к процессу проектирования, строительства и эксплуатации своих дата-центров.
⠀
Как собственные разработки Яндекса влияют на применение и повсеместное внедрение новых технологий в своих дата-центрах, и какую роль в этом играют серверы собственной разработки и производства.
⠀
Поговорим о том, как охлаждать серверы воздухом с улицы и не тратить при этом дополнительные деньги. А также узнаем, сколько человек нужно, чтобы обслуживать дата-центр, по мощности равный небольшому городу.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/41KNbMM

⬇️О внедрении YDB CDC на примере Yandex Monitoring расскажет Егор Литвиненко
⠀
📋 https://bit.ly/3MC42gq
⠀
Yandex Monitoring используется всеми сервисами Яндекса внутри, а также доступен в Яндекс.Облако для внешних пользователей. Они обрабатывают 700 миллионов метрик на запись ежесекундно.
⠀
У каждого клиента есть конфигурация процесса загрузки метрик. Конфигурация — это Control-Plane-объекты, которые:
⠀
- хранятся как таблицы в базе данных;
- меняются на лету;
- связаны между собой.
⠀
Чем быстрее Monitoring получает обновления объектов, тем выше доступность для пользователей.
⠀
Для хранения они используют YDB — распределенную open-source-базу данных Яндекса.
⠀
Команды YDB и Yandex Monitoring проработали сценарий загрузки изменений с помощью YDB CDC. В результате получили архитектуру, в которой изменения объектов доставляются в тысячи компонентов менее чем за 800 миллисекунд.
⠀
Из доклада Егора узнаем:
⠀
- Сложности до перехода на Change Data Capture.
- Подходы к доставке изменений, их особенности.
- Чем YDB CDC отличается от других решений.
- Рекомендации, как правильно готовить YDB CDC, грабли и их решения.
- Какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями.
- Мониторинг и поддержка решения.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Чтобы узнать программу конференции и забронировать билет пройдите на сайт - https://bit.ly/3BEcgym

🫥Авито Автозагрузка: как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть узнаем из доклада Евгения Толмачева
⠀
📋 https://bit.ly/3Wg0bch
⠀
Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
⠀
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
⠀
- что делать с медленными и нестабильными хостами;
- как не устроить DDoS-атаку на сервера клиентов;
- как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
⠀
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год они выросли в 4 раза и полностью переосмыслили и переработали архитектуру своей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
⠀
Ждем вас 26 и 27 июня в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Чтобы узнать программу конференции и забронировать билет пройдите на сайт - https://bit.ly/3MDZqqk

🗣Об эволюции репликации в Tarantool поговорим с Сергеем Петренко. Обсудим путь от master-replica к master-master и от асинхронной репликации к синхронной с выборами лидера
⠀
📋 https://bit.ly/43hUBsg
⠀
Tarantool прошёл большой путь в репликации. Начиналось всё с master-replica без поддержки транзакций, затем появилась поддержка master-master, потом и поддержка транзакций. Одновременно с этим появились нереплицируемые таблицы. Последним нововведением стала синхронная репликация и автоматические выборы лидера.
⠀
Все эти изменения они старались проводить эволюционно, минимально затрагивая протокол: например, мастер может реплицировать часть таблиц асинхронно, а часть – синхронно. И, если синхронная репликация не используется, Tarantool новой версии может быть и мастером, и репликой для Tarantool старой версии.
⠀
Сергей расскажет, что менялось в протоколе репликации на протяжении последних 10 лет, как они сохраняют совместимость и баланс между существующими режимами работы и появляющимися фичами и как работают над удобством эксплуатации кластера. Также поговорим об их дальнейших планах.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Ознакомьтесь с программой конференции и забронируйте билет на сайте - https://bit.ly/3odNAde

📝 Друзья, у нас готово расписание конференции Saint HighLoad++2023, которая пройдет 26 и 27 июня в Санкт-Петербурге
⠀
Проходите, изучайте и планируйте свое участие: https://bit.ly/42UVfvS
⠀
До встречи 🙌

⚡️Успейте забронировать билет до повышения цены
⠀
С 1 июня цена билетов на Saint HighLoad++ 2023 вырастет. Забронируйте билет до 31 мая и у вас еще будет несколько дней на оплату.
⠀
Присоединяйтесь к нам, чтобы:
⠀
- освежить мысли и найти новые идеи после докладов и общения
- первыми поймать тренды и узнать изменения в индустрии
- увидеть, как делают IT-системы другие спецы
- значительно вырасти профессионально
- отлично провести время в крутой тусовке единомышленников
⠀
✅ Забронируйте билет здесь – https://bit.ly/3IxRjJz
⠀
Ждем вас на Saint HighLoad++ 2023 🙌

🔜 Legacy PHP-FPM в Kubernetes. Тернистый путь опсов обсудим с Игорем Титовым
⠀
📋 https://bit.ly/420Uj8a
⠀
Поговорим вот о чем:
⠀
- Перенос legacy PHP-FPM в Kubernetes.
- Горизонтальное масштабирование PHP-FPM.
- Деплой во время нагрузки.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 26 и 27 июня в Санкт-Петербурге 😎
⠀
✅ Ознакомьтесь с программой Saint HighLoad++ 2023 и забронируйте билет на сайте - https://bit.ly/3MwJF30

🗣Артем Ковардин в своем докладе расскажет про универсальные пуши для андроид. FCM, HMS и RuStore в одном месте
⠀
📋 https://bit.ly/3olBSxb
⠀
Когда был только Firebase, все было просто. Теперь тренды меняются, появился HMS, появляются региональные решения. Артем расскажет, как охватить большую аудиторию, используя не только Firebase.
⠀
Узнаем:
⠀
- Как добиться лучшей доставляемости уведомлений, используя сразу несколько транспортов для пуш-уведомлений.
- Дополнительные плюшки — уверенность, что пуш не доставлен, локализация уведомлений, периодические кампании рассылок.
- Что будет дальше, какие альтернативные решения появятся, и что можно уже тестировать. Есть ли будущее у unifiedpush.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Посмотреть программу конференции и забронируйть билет до повышения цены здесь - https://bit.ly/3WtmGKY