⏺Давайте поговорим о том, как правильно готовить Apache Flink, на примере крупной логистической компании. Через неё проходят десятки тысяч посылок в день: одни клиенты отправляют, другие получают, склады в разных городах, обмениваются отправками и статусами.
⠀
Все эти события показываются сообщениями в Кафка. Чтобы они правильно обрабатывались, нужны логи событий, real-time-аналитика и контроль над отправкой и получением с алертами, которые будут храниться какое-то время.
⠀
Data-инженер Вадим Опольский расскажет про проблемы приземления данных из Kafka и их решения на Apache Flink. Рассмотрит принципы проектирования пайплайнов на основе Flink, которые позволяют забирать и приземлять данные из Kafka максимально безболезненно.
⠀
▶️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728520/

♾С Андреем Комягиным обсудим квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь, когда у вас сотни терабайт данных
⠀
📋 https://bit.ly/40JJ82Z
⠀
В современном мире ни один средний или крупный ИТ-проект и/или решение не обходится без аналитики. В высоконагруженных информационных системах с большим объемом данных – это особенно актуально. Аналитическая подсистема позволяет анализировать как данные, поступающие в реальном времени, так и исторические данные, диагностировать проблемы, выявлять тренды, строить прогнозы и планы на будущее, список можно продолжать бесконечно…
⠀
Казалось бы, в чем тут проблема? Прикрути BI-систему и строй себе отчеты на оперативных данных. К сожалению, когда речь заходит про объемы данных, характерные для систем класса BigData, то это перестает работать и нужно строить отдельный аналитический кластер, который синхронизируется с оперативным хранилищем.
⠀
Андрей расскажет, почему не работает подход с единой СУБД при очень больших объемах данных и как это сделать так, чтобы данные в аналитическом слое не отставали от оперативных и при этом не растерять эти данные по дороге.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте - https://bit.ly/3HjBtRV

🔊Станислав Богатырев расскажет, как они переживают сплит-брейн и продолжают писать данные по S3-протоколу
⠀
📋 https://bit.ly/3NkC0H2
⠀
Их объектное хранилище умеет жить сразу на большом количестве географически распределенных площадок и соблюдать сложные правила хранения, даже когда сеть между площадками пропала полностью или, что хуже, непонятно как.
⠀
Узнаем, как им удалось поверх иммутабельного хранилища предоставлять изменяемый S3, #зачемздесьблокчейн и как жить в не астрономическом времени.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Пройдите на сайт, чтобы ознакомиться с программой конференции и купить билет - https://bit.ly/44mj1Ci

✏️ Как при помощи бумаги, карандаша и алгоритма Raft достичь консенсуса? Попрактикуем на воркшопе с Ярославом Дынниковым
⠀
📋 https://bit.ly/3VrPfrK
⠀
Есть во вселенной такой алгоритм — Raft. Он широко используется для решения задач консенсуса в распределенных системах (для наглядности — сервисы Etcd или Consul, как наиболее известные проекты его использующие).
⠀
Мастер-класс предлагает участникам поучаствовать в своеобразной настольной ролевой игре: каждый участник — это отдельный сервер. Вместо жесткого диска — листок бумаги и карандаш, вместо сообщений по сети — записки под партой. Игроки образуют единый кластер и стараются консистентно реплицировать данные, не страшась сбоев сети. Правила игры — это и есть алгоритм Raft, и мастер-класс дает возможность потренироваться исполнять его вручную.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3LIZlRG

⬆️ Внутреннее облако в Яндексе от прототипа до платформы. Жизненный цикл сервиса от А до Я и вызовы на каждом из этапов узнаем из доклада Дмитрия Липина
⠀
📋 https://bit.ly/3ntS6Ue
⠀
Яндекс — технологическая компания, в которой работают тысячи разработчиков, которым нужна платформа, предоставляющая всё нужное для разработки и эксплуатации написанных внутри Яндекса сервисов.
⠀
Из доклада узнаем основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения. Внутреннее облако за 5 лет выросло от прототипа до платформы с десятком тысяч сервисов запущенных на более чем сотне тысяч серверов. В рассказе Дмитрий будет опираться на свой опыт, ведь трансформация затронула и его самого. Вместе с внутренним облаком он прошёл путь от разработчика до СТО Platform Engineering в Яндексе, частью которой является внутреннее облако.
⠀
Рассказ будет полезен всем, кто хотел бы узнать из каких этапов складывается эволюция подобных продуктов и с какими вызовами придётся на этом пути столкнуться.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3LM7O6t

🗣 Микросервисное приложение для бизнеса otpravka.pochta.ru изначально не было спроектировано под высокую нагрузку. Но со временем оно стало популярным, и нагрузка начала расти, особенно перед новогодними праздниками.
⠀
Радикально менять архитектуру приложения было опасно. Можно было утратить стабильность. Поэтому команде Почтатеха пришлось заняться локальной оптимизацией.
⠀
Главный Java-разработчик на проекте «Отправка» Игорь Чирков расскажет, как оптимизировать обработку сложных запросов с помощью алгоритма решения задачи сетевого планирования. Это яркий пример использования науки в IT с измеримым и понятным результатом.
⠀
🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

✔️ Антон Жаболенко и Лиана Остапчук в своем докладе расскажут, как подсматривать за Linux-инфраструктурой и выявлять атаки
⠀
📋 https://bit.ly/3nsw7NB
⠀
В докладе обсудим основные подходы к построению мониторинга информационной безопасности для высоконагруженной и распределённой Linux-инфраструктуры. Разберёмся, чем средства мониторинга ИБ отличаются от классических средств мониторинга. Проведём анализ и сравнение существующих решений, таких как go-audit, osquery, Wazuh, Elastic Agent и некоторых других.
⠀
Антон и Лиана расскажут, почему они выбрали osquery в качестве ядра своей системы. Поделятся проблемами, с которыми они столкнулись при внедрении osquery, а также расскажут, как они их решали. На практических примерах покажут, как внедрение системы мониторинга упрощает расследование атак. Обсудим, может ли такая система быть полезна командам эксплуатации и разработки.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3VtcfGL

🚛 Мы часто сталкиваемся с задачами, которые требуют работы нашего кода в течение более долгого промежутка времени, чем длится простой HTTP-запрос. Это могут быть как выгрузки данных для интеграции с партнерами, так и приложения, которые должны реагировать на события в системе. Конечно, можно использовать другие языки программирования, но это увеличит стек и усложнит систему.
⠀
Техлид из Авито Александр Пряхин расскажет о том, как готовить демонов на PHP — от А до Я, и почему это актуально. О том, какими средствами можно решать такие задачи, какие инструменты предоставляют сам язык и сообщество, и когда все-таки стоит двигаться в сторону расширения стека.

▶️ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/715844/

⏺С Олегом Романенко обсудим HighLoad для "маленьких"
⠀
📋 https://bit.ly/3pcfOFm
⠀
MediaSniper за 8 лет прошел путь от пустого репозитория до одной из ведущих рекламных платформ в России.
Когда у вас небольшой стартап и нет бесконечных аппаратных ресурсов, приходится очень тщательно принимать технические решения. Нельзя просто взять проект с github, дописать к нему немного кода и надеяться, что этого достаточно для обработки сотен тысяч RPS.
⠀
Задача платформы - отвечать на http запрос с задержкой не более 50мс и обслуживать тысячи запросов в секунду (сейчас более 500 000 RPS). Олег покажет, какие решения принимали в области архитектуры, системного ПО, инфраструктуры и собственно, разработки.
⠀
- Собственные сервера + docker, чтобы нивелировать различия в установленных версиях ОС и пакетов.
- Они любят микросервисы и shared nothing и стараются избегать решений с единой точкой отказа. Все, что можно задублировать - должно быть задублировано.
- KV БД Aerospike - их главный помощник. Невозможно или слишком дорого держать вообще всю рабочую информацию на каждой ноде.
- Своя библиотека для асинхронного http client/server - позволяет мультиплексировать запросы и заполнять канал, экономя соединения. Они, как и большинство, все еще живут в мире http 1.1
- Своя библиотека для map/reduce, чтобы обрабатывать 40Тб данных в сутки
- У них нет silver bullet, они просто хотят поделиться радостью, что оно работает :)
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3Vtpnvz

⏺Уроки из проекта с коммитом 2001 года расскажет Василий Романов
⠀
📋 https://bit.ly/419C67V
⠀
Поговорим вот о чем:
⠀
- обзор must-have вещей в большой проекте
- spec-first
- supportability, линтеры и документация
- коммит из 2001 года.
- опыт в крупных проектах
- готовность к высокой нагрузке
- что такое это вообще высокая нагрузка
- основная проблема нагрузки
- что вообще болит в больших проектах
- какие минусы есть у микросервисов
- когда не надо писать микросервисы
- какие проблемы вы будете решать, когда у вас все стало круто с микросервисами
⠀
До встречи на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3p8S5FU

⚡️Каждую конференцию мы печатаем красочную брошюру, чтобы вам было проще ориентироваться на площадке, в расписании и на выставке. Еще мы публикуем в ней список членов Программного комитета, которые непосредственно собирали эту программу для вас. 

А еще мы задаем вопрос в ПК и печатаем их ответы в брошюре. Так вот! А на какой вопрос вам было бы интересно услышать ответ ПК? Совет начинающему/текущему/опытному разработчику? Хобби? Мнение о влиянии цвета кнопки на прибыльность компании? 

Напишите, что вам было бы интересно узнать! Самый частый вопрос зададим комитету и опубликуем в брошюре.

✅ Задать вопрос здесь

▶️ Завершаем эту неделю свежей подборкой видеозаписей докладов: топ-5 докладов Saint HighLoad++ 2022. Посмотрите сами и поделитесь с коллегами 😉
⠀
1) Service Mesh на стероидах, часть 2: Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bit.ly/3LEHn1x
⠀
2) Эволюция распределенных атак в Интернете: 1994 — настоящее время. Георгий Тарасов (Qrator Labs) https://bit.ly/3pew88B
⠀
3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (Microavia) https://bit.ly/44zsVAi
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bit.ly/44Km3R5
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bit.ly/3npE0DG
⠀
Продуктивного просмотра и отличных выходных 🙌

🫥CБОЛ. Об архитектуре слоя хранения поговорим с Ильей Кайшаури
⠀
📋 https://bit.ly/3LAjKHe
⠀
Путь, пройденный командой развития Сбербанка Онлайн при построении надежной и отказоустойчивой архитектуры слоя хранения, является уникальным и опыт, полученный в процессе становления может стать подспорьем для развивающихся проектов, идущих прямиком в «клуб HL+». Доклад призван в доступной форме рассказать об архитектуре сервиса Сбербанк Онлайн в части хранения данных и поделиться планами по импортозамещению СУБД.
⠀
Поговорим вот о чем:
⠀
- СБОЛ это платформа для реализации продуктов экосистемы Сбера;
- Архитектура строится вокруг 2 клиентов: Клиент Сбера и команды развития бизнес-продукта;
- Данные СБОЛа делятся на 5 типов;
- End 2 End целостный клиентский блок - основа надежного и масштабируемого сервиса;
- Client Backup Layer, который развязал им руки;
- Микросервисная архитектура платформы помогает им мигрировать на PostgreSQL;
- Какие данные блока не прижились в Oracle и куда их отселяют. С какими проблемами столкнулись;
- СБОЛ 2025 Целевая картина хранения данных Сбербанк Онлайн.
⠀
📍Встречаемся: 26 и 27 июня, Санкт-Петербург, DESIGN DISTRICT DAA in SPB
⠀
✅ Узнать подробнее программу Saint HighLoad++ 2023 и купить билет можно на сайте - https://bit.ly/3LSdk7U

🗣YTsaurus SPYT: Алексей Шишкин расскажет, как помочь планировщику Apache Spark быть ещё эффективнее
⠀
📋 https://bit.ly/3paY1yh
⠀
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
⠀
Дело в том, что зачастую Spark не знает, как эффективно использовать метаданные источника данных, поэтому строит универсальные способы исполнения. Из доклада Алексея узнаем, как они ускорили выполнение агрегаций и джойнов на отсортированных данных внутри YTsaurus. Для этого придется покопаться во внутренностях механизмов выполнения запросов, чтения данных и генерации планов исполнения.
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅Программа конференции и билеты на сайте - https://bit.ly/3ns96uh

✔️ С Артемом Бачевским обсудим GPT3+ модели в задачах кибербезопасности
⠀
📋 https://bit.ly/3nyfmkb
⠀
Художники, копирайтеры и журналисты уже на заводе. Пора ли безопасникам идти в магазин за робой?
В рамках доклада разберем, как уже используются GPT3+ модели ИБшниками, разработчиками и администраторами.
⠀
Кто нам ChatGPT? Друг, враг или так?
⠀
Ждем вас в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Забронируйте билет здесь: https://bit.ly/3nv58kx

⏺Многие знакомы с тем, как работать с сервисами push-уведомлений от Google и Apple, но не все знают как эти сервисы устроены внутри. В особенности это касается статистики.
⠀
Руководитель нескольких команд разработки бэкенда в Почте Mail.ru Кирилл Алексеев покажет свой взгляд на архитектуру очень нагруженного сервиса и расскажет, почему push-уведомления других сервисов работают именно так.
⠀
В основном будет про архитектуру сервиса, который позволяет отправлять пуш-уведомления на мобильные устройства с минимальной задержкой, подобно Google Firebase.
⠀
А ещё о том, как удалось сделать сервис горизонтально масштабируемым на базе Redis Cluster и Scylla, устойчивым к DDoS через публичные API, и как можно держать в фоне открытый Web Socket на Android, пользуясь доступными возможностями ОС.

🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728516/

⚫️Тема доклада Ивана Полуянова: Ну зачем вы форкнули NGINX?!
⠀
📋 https://bit.ly/3MfvWyO
⠀
Иван расскажет, что они сделали за полгода c веб-сервером Angie, и спросит участников что нужно делать дальше. И также узнаем, что значит ^W в названии доклада :)
⠀
Встречаемся в Питере 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Перейдите на сайт, чтобы узнать программу конференции и купить билет: https://bit.ly/3LVJ22L

💻YTsaurus: опытом эксплуатации хранилища из 180К дисков поделится Павел Сушин
⠀
📋 https://bit.ly/44Xc3Un
⠀
YTsaurus - основная платформа Яндекса для хранения и обработки больших данных, ad hoc аналитики, построения ETL задач и регулярных batch процессов. Сегодня самый большой кластер YTsaurus содержит более 20К хостов различной конфигурации - от 4 до 24 дисков, суммарно более 180К дисков.
⠀
Павел расскажет, как они управляют таким количеством дисков с минимальными операционными издержками. Затронем:
⠀
- политики размещения блобов, для достижения отказоустойчивости и производительности записи;
- защитные механизмы, для ограничения фоновых процессов при восстановлении erasure-реплик;
- способы изоляции разных классов IO-нагрузки в одном кластере;
- инструменты автоматизации и примеры проблем, с которыми они сталкивались при их внедрении.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://bit.ly/3VUb5Ep