🗣Elastic: 3,5 ГБ/с логов и 7 ПБ данных на дисках — Роман Николаев расскажет, как они это сделали
⠀
📋 https://bit.ly/41x67iX
⠀
Sage — платформа мониторинга, позволяет собирать и анализировать логи и метрики со всех сервисов компании. Объемы логов постоянно росли и сейчас это 7 ПБ, а кол-во кластеров достигло 15 штук в двух ДЦ. На таких объемах вылезает много проблем: под нагрузкой кластера могут разваливаться, встроенный ILM уже не удобен, да и сопровождать это непросто.
⠀
Роман расскажет, как эти проблемы были решены в Sage, а также поделится информацией о внутреннем устройстве Elastic.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
➡️ Подробно о конференции, программа и билеты на сайте – https://bit.ly/3H965Wu

🔄 До событий прошлого года одной из основных платформ управления контейнерами была Red Hat OpenShift Container Platfrom. Поскольку ее продажа на данный момент приостановлена, для многих компаний остро встал вопрос ее замены, особенно для Enterprise сегмента.
⠀
Директор департамента инфраструктурных решений «Инфосистемы Джет» Юрий Семенюков расскажет, как заменить привычный Enterprise-стек и при этом сохранить свои принципы работы.
⠀
Какая есть альтернатива OCP. Чем OKD отличается от OCP на практике. Какие отечественные решения есть на рынке и что они умеют по сравнению с OpenShift.
⠀
Это не только обзор альтернативных инструментов для управления контейнерами, статья также касается вопросов замены платформы виртуализации.
⠀
🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728526/

🔄Александра Баженова, аналитик-разработчик Мир Plat.Form, расскажет про антифрод наоборот и использование методов ML в нем
⠀
📋 https://bit.ly/40EvP3M
⠀
Из доклада узнаем:
⠀
1. Что такое MIR Accept 2.0 и как это работает
2. Сервис Принятия Решений (СПР) - антифрод наоборот
3. Frictionless зона
4. Зачем это банкам
5.Как использование ML улучшает точность рисковой модели СПР
6. Признаковое пространство ML алгоритма
7. Результаты применения ML: примеры оценки качества и финансовые выгоды для владельцев сервиса принятия решений и их потребителей
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
✅ Пройдите на сайт, чтобы ознакомиться с программой конференции и купить билет - https://bit.ly/4454P05

⏺Давайте поговорим о том, как правильно готовить Apache Flink, на примере крупной логистической компании. Через неё проходят десятки тысяч посылок в день: одни клиенты отправляют, другие получают, склады в разных городах, обмениваются отправками и статусами.
⠀
Все эти события показываются сообщениями в Кафка. Чтобы они правильно обрабатывались, нужны логи событий, real-time-аналитика и контроль над отправкой и получением с алертами, которые будут храниться какое-то время.
⠀
Data-инженер Вадим Опольский расскажет про проблемы приземления данных из Kafka и их решения на Apache Flink. Рассмотрит принципы проектирования пайплайнов на основе Flink, которые позволяют забирать и приземлять данные из Kafka максимально безболезненно.
⠀
▶️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728520/

♾С Андреем Комягиным обсудим квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь, когда у вас сотни терабайт данных
⠀
📋 https://bit.ly/40JJ82Z
⠀
В современном мире ни один средний или крупный ИТ-проект и/или решение не обходится без аналитики. В высоконагруженных информационных системах с большим объемом данных – это особенно актуально. Аналитическая подсистема позволяет анализировать как данные, поступающие в реальном времени, так и исторические данные, диагностировать проблемы, выявлять тренды, строить прогнозы и планы на будущее, список можно продолжать бесконечно…
⠀
Казалось бы, в чем тут проблема? Прикрути BI-систему и строй себе отчеты на оперативных данных. К сожалению, когда речь заходит про объемы данных, характерные для систем класса BigData, то это перестает работать и нужно строить отдельный аналитический кластер, который синхронизируется с оперативным хранилищем.
⠀
Андрей расскажет, почему не работает подход с единой СУБД при очень больших объемах данных и как это сделать так, чтобы данные в аналитическом слое не отставали от оперативных и при этом не растерять эти данные по дороге.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте - https://bit.ly/3HjBtRV

🔊Станислав Богатырев расскажет, как они переживают сплит-брейн и продолжают писать данные по S3-протоколу
⠀
📋 https://bit.ly/3NkC0H2
⠀
Их объектное хранилище умеет жить сразу на большом количестве географически распределенных площадок и соблюдать сложные правила хранения, даже когда сеть между площадками пропала полностью или, что хуже, непонятно как.
⠀
Узнаем, как им удалось поверх иммутабельного хранилища предоставлять изменяемый S3, #зачемздесьблокчейн и как жить в не астрономическом времени.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Пройдите на сайт, чтобы ознакомиться с программой конференции и купить билет - https://bit.ly/44mj1Ci

✏️ Как при помощи бумаги, карандаша и алгоритма Raft достичь консенсуса? Попрактикуем на воркшопе с Ярославом Дынниковым
⠀
📋 https://bit.ly/3VrPfrK
⠀
Есть во вселенной такой алгоритм — Raft. Он широко используется для решения задач консенсуса в распределенных системах (для наглядности — сервисы Etcd или Consul, как наиболее известные проекты его использующие).
⠀
Мастер-класс предлагает участникам поучаствовать в своеобразной настольной ролевой игре: каждый участник — это отдельный сервер. Вместо жесткого диска — листок бумаги и карандаш, вместо сообщений по сети — записки под партой. Игроки образуют единый кластер и стараются консистентно реплицировать данные, не страшась сбоев сети. Правила игры — это и есть алгоритм Raft, и мастер-класс дает возможность потренироваться исполнять его вручную.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3LIZlRG

⬆️ Внутреннее облако в Яндексе от прототипа до платформы. Жизненный цикл сервиса от А до Я и вызовы на каждом из этапов узнаем из доклада Дмитрия Липина
⠀
📋 https://bit.ly/3ntS6Ue
⠀
Яндекс — технологическая компания, в которой работают тысячи разработчиков, которым нужна платформа, предоставляющая всё нужное для разработки и эксплуатации написанных внутри Яндекса сервисов.
⠀
Из доклада узнаем основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения. Внутреннее облако за 5 лет выросло от прототипа до платформы с десятком тысяч сервисов запущенных на более чем сотне тысяч серверов. В рассказе Дмитрий будет опираться на свой опыт, ведь трансформация затронула и его самого. Вместе с внутренним облаком он прошёл путь от разработчика до СТО Platform Engineering в Яндексе, частью которой является внутреннее облако.
⠀
Рассказ будет полезен всем, кто хотел бы узнать из каких этапов складывается эволюция подобных продуктов и с какими вызовами придётся на этом пути столкнуться.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3LM7O6t

🗣 Микросервисное приложение для бизнеса otpravka.pochta.ru изначально не было спроектировано под высокую нагрузку. Но со временем оно стало популярным, и нагрузка начала расти, особенно перед новогодними праздниками.
⠀
Радикально менять архитектуру приложения было опасно. Можно было утратить стабильность. Поэтому команде Почтатеха пришлось заняться локальной оптимизацией.
⠀
Главный Java-разработчик на проекте «Отправка» Игорь Чирков расскажет, как оптимизировать обработку сложных запросов с помощью алгоритма решения задачи сетевого планирования. Это яркий пример использования науки в IT с измеримым и понятным результатом.
⠀
🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

✔️ Антон Жаболенко и Лиана Остапчук в своем докладе расскажут, как подсматривать за Linux-инфраструктурой и выявлять атаки
⠀
📋 https://bit.ly/3nsw7NB
⠀
В докладе обсудим основные подходы к построению мониторинга информационной безопасности для высоконагруженной и распределённой Linux-инфраструктуры. Разберёмся, чем средства мониторинга ИБ отличаются от классических средств мониторинга. Проведём анализ и сравнение существующих решений, таких как go-audit, osquery, Wazuh, Elastic Agent и некоторых других.
⠀
Антон и Лиана расскажут, почему они выбрали osquery в качестве ядра своей системы. Поделятся проблемами, с которыми они столкнулись при внедрении osquery, а также расскажут, как они их решали. На практических примерах покажут, как внедрение системы мониторинга упрощает расследование атак. Обсудим, может ли такая система быть полезна командам эксплуатации и разработки.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3VtcfGL

🚛 Мы часто сталкиваемся с задачами, которые требуют работы нашего кода в течение более долгого промежутка времени, чем длится простой HTTP-запрос. Это могут быть как выгрузки данных для интеграции с партнерами, так и приложения, которые должны реагировать на события в системе. Конечно, можно использовать другие языки программирования, но это увеличит стек и усложнит систему.
⠀
Техлид из Авито Александр Пряхин расскажет о том, как готовить демонов на PHP — от А до Я, и почему это актуально. О том, какими средствами можно решать такие задачи, какие инструменты предоставляют сам язык и сообщество, и когда все-таки стоит двигаться в сторону расширения стека.

▶️ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/715844/

⏺С Олегом Романенко обсудим HighLoad для "маленьких"
⠀
📋 https://bit.ly/3pcfOFm
⠀
MediaSniper за 8 лет прошел путь от пустого репозитория до одной из ведущих рекламных платформ в России.
Когда у вас небольшой стартап и нет бесконечных аппаратных ресурсов, приходится очень тщательно принимать технические решения. Нельзя просто взять проект с github, дописать к нему немного кода и надеяться, что этого достаточно для обработки сотен тысяч RPS.
⠀
Задача платформы - отвечать на http запрос с задержкой не более 50мс и обслуживать тысячи запросов в секунду (сейчас более 500 000 RPS). Олег покажет, какие решения принимали в области архитектуры, системного ПО, инфраструктуры и собственно, разработки.
⠀
- Собственные сервера + docker, чтобы нивелировать различия в установленных версиях ОС и пакетов.
- Они любят микросервисы и shared nothing и стараются избегать решений с единой точкой отказа. Все, что можно задублировать - должно быть задублировано.
- KV БД Aerospike - их главный помощник. Невозможно или слишком дорого держать вообще всю рабочую информацию на каждой ноде.
- Своя библиотека для асинхронного http client/server - позволяет мультиплексировать запросы и заполнять канал, экономя соединения. Они, как и большинство, все еще живут в мире http 1.1
- Своя библиотека для map/reduce, чтобы обрабатывать 40Тб данных в сутки
- У них нет silver bullet, они просто хотят поделиться радостью, что оно работает :)
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3Vtpnvz

⏺Уроки из проекта с коммитом 2001 года расскажет Василий Романов
⠀
📋 https://bit.ly/419C67V
⠀
Поговорим вот о чем:
⠀
- обзор must-have вещей в большой проекте
- spec-first
- supportability, линтеры и документация
- коммит из 2001 года.
- опыт в крупных проектах
- готовность к высокой нагрузке
- что такое это вообще высокая нагрузка
- основная проблема нагрузки
- что вообще болит в больших проектах
- какие минусы есть у микросервисов
- когда не надо писать микросервисы
- какие проблемы вы будете решать, когда у вас все стало круто с микросервисами
⠀
До встречи на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3p8S5FU

⚡️Каждую конференцию мы печатаем красочную брошюру, чтобы вам было проще ориентироваться на площадке, в расписании и на выставке. Еще мы публикуем в ней список членов Программного комитета, которые непосредственно собирали эту программу для вас. 

А еще мы задаем вопрос в ПК и печатаем их ответы в брошюре. Так вот! А на какой вопрос вам было бы интересно услышать ответ ПК? Совет начинающему/текущему/опытному разработчику? Хобби? Мнение о влиянии цвета кнопки на прибыльность компании? 

Напишите, что вам было бы интересно узнать! Самый частый вопрос зададим комитету и опубликуем в брошюре.

✅ Задать вопрос здесь

▶️ Завершаем эту неделю свежей подборкой видеозаписей докладов: топ-5 докладов Saint HighLoad++ 2022. Посмотрите сами и поделитесь с коллегами 😉
⠀
1) Service Mesh на стероидах, часть 2: Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bit.ly/3LEHn1x
⠀
2) Эволюция распределенных атак в Интернете: 1994 — настоящее время. Георгий Тарасов (Qrator Labs) https://bit.ly/3pew88B
⠀
3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (Microavia) https://bit.ly/44zsVAi
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bit.ly/44Km3R5
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bit.ly/3npE0DG
⠀
Продуктивного просмотра и отличных выходных 🙌

🫥CБОЛ. Об архитектуре слоя хранения поговорим с Ильей Кайшаури
⠀
📋 https://bit.ly/3LAjKHe
⠀
Путь, пройденный командой развития Сбербанка Онлайн при построении надежной и отказоустойчивой архитектуры слоя хранения, является уникальным и опыт, полученный в процессе становления может стать подспорьем для развивающихся проектов, идущих прямиком в «клуб HL+». Доклад призван в доступной форме рассказать об архитектуре сервиса Сбербанк Онлайн в части хранения данных и поделиться планами по импортозамещению СУБД.
⠀
Поговорим вот о чем:
⠀
- СБОЛ это платформа для реализации продуктов экосистемы Сбера;
- Архитектура строится вокруг 2 клиентов: Клиент Сбера и команды развития бизнес-продукта;
- Данные СБОЛа делятся на 5 типов;
- End 2 End целостный клиентский блок - основа надежного и масштабируемого сервиса;
- Client Backup Layer, который развязал им руки;
- Микросервисная архитектура платформы помогает им мигрировать на PostgreSQL;
- Какие данные блока не прижились в Oracle и куда их отселяют. С какими проблемами столкнулись;
- СБОЛ 2025 Целевая картина хранения данных Сбербанк Онлайн.
⠀
📍Встречаемся: 26 и 27 июня, Санкт-Петербург, DESIGN DISTRICT DAA in SPB
⠀
✅ Узнать подробнее программу Saint HighLoad++ 2023 и купить билет можно на сайте - https://bit.ly/3LSdk7U

🗣YTsaurus SPYT: Алексей Шишкин расскажет, как помочь планировщику Apache Spark быть ещё эффективнее
⠀
📋 https://bit.ly/3paY1yh
⠀
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
⠀
Дело в том, что зачастую Spark не знает, как эффективно использовать метаданные источника данных, поэтому строит универсальные способы исполнения. Из доклада Алексея узнаем, как они ускорили выполнение агрегаций и джойнов на отсортированных данных внутри YTsaurus. Для этого придется покопаться во внутренностях механизмов выполнения запросов, чтения данных и генерации планов исполнения.
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅Программа конференции и билеты на сайте - https://bit.ly/3ns96uh

✔️ С Артемом Бачевским обсудим GPT3+ модели в задачах кибербезопасности
⠀
📋 https://bit.ly/3nyfmkb
⠀
Художники, копирайтеры и журналисты уже на заводе. Пора ли безопасникам идти в магазин за робой?
В рамках доклада разберем, как уже используются GPT3+ модели ИБшниками, разработчиками и администраторами.
⠀
Кто нам ChatGPT? Друг, враг или так?
⠀
Ждем вас в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Забронируйте билет здесь: https://bit.ly/3nv58kx

⏺Многие знакомы с тем, как работать с сервисами push-уведомлений от Google и Apple, но не все знают как эти сервисы устроены внутри. В особенности это касается статистики.
⠀
Руководитель нескольких команд разработки бэкенда в Почте Mail.ru Кирилл Алексеев покажет свой взгляд на архитектуру очень нагруженного сервиса и расскажет, почему push-уведомления других сервисов работают именно так.
⠀
В основном будет про архитектуру сервиса, который позволяет отправлять пуш-уведомления на мобильные устройства с минимальной задержкой, подобно Google Firebase.
⠀
А ещё о том, как удалось сделать сервис горизонтально масштабируемым на базе Redis Cluster и Scylla, устойчивым к DDoS через публичные API, и как можно держать в фоне открытый Web Socket на Android, пользуясь доступными возможностями ОС.

🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728516/

⚫️Тема доклада Ивана Полуянова: Ну зачем вы форкнули NGINX?!
⠀
📋 https://bit.ly/3MfvWyO
⠀
Иван расскажет, что они сделали за полгода c веб-сервером Angie, и спросит участников что нужно делать дальше. И также узнаем, что значит ^W в названии доклада :)
⠀
Встречаемся в Питере 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Перейдите на сайт, чтобы узнать программу конференции и купить билет: https://bit.ly/3LVJ22L