🔺 Андрей Бородин расскажет про эндогенные угрозы физической целостности СУБД
⠀
📋 https://bit.ly/41BVKKj
⠀
От некоторых кодов ошибок в мониторинге начинают шевелится волосы. Их бодрящий эффект понятен. Системы отказоустойчивости и резервного копирования спроектированы со всем вниманием к деталям, ошибкам прошлого и учётом прогнозирования будущего. Но внутренняя ошибка СУБД может иметь драматичный эффект.
⠀
В этом докладе Андрей попробует систематизировать то, что видел при разрушении данных в следствие багов в разных СУБД, преимущественно из семейства Постгреса.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Перейдите на сайт, чтобы узнать подробнее о конференции и купить билет - https://bit.ly/3A86UuH

🧊 Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки узнаем из доклада Константина Касева и Марии Васильевой
⠀
📋 https://bit.ly/41DcX62
⠀
Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов - и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.
⠀
Теперь они живут в облаке, у админов много автоматики и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы.
⠀
В их платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску - это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это - без вовлечения в процесс службы эксплуатации.
⠀
Из доклада Константина и Марии узнаем о трудностях, которые они преодолели при переходе к концепции PaaS:
⠀
- Как переехали с железа в Яндекс Облако: сервера приложений, базы данных, инфраструктурные сервера
- Как выбирали компоненты инфраструктуры под капотом PaaS
- Как перешли от статической конфигурации балансеров руками админов к динамической
- Как писали Shiva - систему деплоя и инструменты автоматизации для упрощения жизни разработки
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Узнайте больше о конференции здесь - https://bit.ly/3oytNEM

🖼 Про архитектуру ленты и рекомендаций ВКонтакте узнаем из доклада Андрея Якушева
⠀
📋 https://bit.ly/3KZ2YBc
⠀
Лента — первый экран и главная точка взаимодействия пользователя с контентом социальной сети. Она должна быстро отображать релевантный контент для всех 100 млн пользователей ВКонтакте, и желательно, независимо от устройств и качества сети.
⠀
В докладе рассмотрим архитектуру Ленты ВКонтакте и проследим путь пользователя по всем компонентам системы: от первого запроса к приложению, до лайка под постом. Андрей расскажет, как и что они шардируют, реплицируют, кешируют, параллелят. Затронет особенности ранжирования записей и устройство рекомендательной системы, которую они научились переиспользовать так, чтобы с нуля за пару недель запускать рекомендации в новой вертикали.
⠀
Доклад позволит составить представление о том, как внедрять и использовать машинное обучение в максимально высоконагруженных проектах.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте: https://bit.ly/43RMinZ

📊 Друзья, вдруг вы пропустили, напоминаем, что у вас есть возможность получить видеозаписи топ-5 докладов конференции HighLoad++ 2022, которая прошла в ноябре. Для этого пройдите, пожалуйста, наше небольшое исследование 🙂
⠀
Тема импортозамещения появилась уже давно, но становится все актуальнее. Как вы справляетесь с уходящими решениями? Нашли уже для себя надежных вендоров? Успели перевезти сервисы и с какими сложностями столкнулись?
⠀
Давайте попробуем оценить общую ситуацию в индустрии на текущий момент. Мы обработаем результаты опроса, оформим в виде краткой аналитики и результаты опубликуем в статье в нашем блоге на Habr

А вендоров самых популярных решений, на которые вы переехали, пригласим на сцену Saint HighLoad++ 2023!
⠀
➡️Пройти опрос здесь: https://bit.ly/3UUJYZf

🗣Elastic: 3,5 ГБ/с логов и 7 ПБ данных на дисках — Роман Николаев расскажет, как они это сделали
⠀
📋 https://bit.ly/41x67iX
⠀
Sage — платформа мониторинга, позволяет собирать и анализировать логи и метрики со всех сервисов компании. Объемы логов постоянно росли и сейчас это 7 ПБ, а кол-во кластеров достигло 15 штук в двух ДЦ. На таких объемах вылезает много проблем: под нагрузкой кластера могут разваливаться, встроенный ILM уже не удобен, да и сопровождать это непросто.
⠀
Роман расскажет, как эти проблемы были решены в Sage, а также поделится информацией о внутреннем устройстве Elastic.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
➡️ Подробно о конференции, программа и билеты на сайте – https://bit.ly/3H965Wu

🔄 До событий прошлого года одной из основных платформ управления контейнерами была Red Hat OpenShift Container Platfrom. Поскольку ее продажа на данный момент приостановлена, для многих компаний остро встал вопрос ее замены, особенно для Enterprise сегмента.
⠀
Директор департамента инфраструктурных решений «Инфосистемы Джет» Юрий Семенюков расскажет, как заменить привычный Enterprise-стек и при этом сохранить свои принципы работы.
⠀
Какая есть альтернатива OCP. Чем OKD отличается от OCP на практике. Какие отечественные решения есть на рынке и что они умеют по сравнению с OpenShift.
⠀
Это не только обзор альтернативных инструментов для управления контейнерами, статья также касается вопросов замены платформы виртуализации.
⠀
🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728526/

🔄Александра Баженова, аналитик-разработчик Мир Plat.Form, расскажет про антифрод наоборот и использование методов ML в нем
⠀
📋 https://bit.ly/40EvP3M
⠀
Из доклада узнаем:
⠀
1. Что такое MIR Accept 2.0 и как это работает
2. Сервис Принятия Решений (СПР) - антифрод наоборот
3. Frictionless зона
4. Зачем это банкам
5.Как использование ML улучшает точность рисковой модели СПР
6. Признаковое пространство ML алгоритма
7. Результаты применения ML: примеры оценки качества и финансовые выгоды для владельцев сервиса принятия решений и их потребителей
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
✅ Пройдите на сайт, чтобы ознакомиться с программой конференции и купить билет - https://bit.ly/4454P05

⏺Давайте поговорим о том, как правильно готовить Apache Flink, на примере крупной логистической компании. Через неё проходят десятки тысяч посылок в день: одни клиенты отправляют, другие получают, склады в разных городах, обмениваются отправками и статусами.
⠀
Все эти события показываются сообщениями в Кафка. Чтобы они правильно обрабатывались, нужны логи событий, real-time-аналитика и контроль над отправкой и получением с алертами, которые будут храниться какое-то время.
⠀
Data-инженер Вадим Опольский расскажет про проблемы приземления данных из Kafka и их решения на Apache Flink. Рассмотрит принципы проектирования пайплайнов на основе Flink, которые позволяют забирать и приземлять данные из Kafka максимально безболезненно.
⠀
▶️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728520/

♾С Андреем Комягиным обсудим квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь, когда у вас сотни терабайт данных
⠀
📋 https://bit.ly/40JJ82Z
⠀
В современном мире ни один средний или крупный ИТ-проект и/или решение не обходится без аналитики. В высоконагруженных информационных системах с большим объемом данных – это особенно актуально. Аналитическая подсистема позволяет анализировать как данные, поступающие в реальном времени, так и исторические данные, диагностировать проблемы, выявлять тренды, строить прогнозы и планы на будущее, список можно продолжать бесконечно…
⠀
Казалось бы, в чем тут проблема? Прикрути BI-систему и строй себе отчеты на оперативных данных. К сожалению, когда речь заходит про объемы данных, характерные для систем класса BigData, то это перестает работать и нужно строить отдельный аналитический кластер, который синхронизируется с оперативным хранилищем.
⠀
Андрей расскажет, почему не работает подход с единой СУБД при очень больших объемах данных и как это сделать так, чтобы данные в аналитическом слое не отставали от оперативных и при этом не растерять эти данные по дороге.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте - https://bit.ly/3HjBtRV

🔊Станислав Богатырев расскажет, как они переживают сплит-брейн и продолжают писать данные по S3-протоколу
⠀
📋 https://bit.ly/3NkC0H2
⠀
Их объектное хранилище умеет жить сразу на большом количестве географически распределенных площадок и соблюдать сложные правила хранения, даже когда сеть между площадками пропала полностью или, что хуже, непонятно как.
⠀
Узнаем, как им удалось поверх иммутабельного хранилища предоставлять изменяемый S3, #зачемздесьблокчейн и как жить в не астрономическом времени.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Пройдите на сайт, чтобы ознакомиться с программой конференции и купить билет - https://bit.ly/44mj1Ci

✏️ Как при помощи бумаги, карандаша и алгоритма Raft достичь консенсуса? Попрактикуем на воркшопе с Ярославом Дынниковым
⠀
📋 https://bit.ly/3VrPfrK
⠀
Есть во вселенной такой алгоритм — Raft. Он широко используется для решения задач консенсуса в распределенных системах (для наглядности — сервисы Etcd или Consul, как наиболее известные проекты его использующие).
⠀
Мастер-класс предлагает участникам поучаствовать в своеобразной настольной ролевой игре: каждый участник — это отдельный сервер. Вместо жесткого диска — листок бумаги и карандаш, вместо сообщений по сети — записки под партой. Игроки образуют единый кластер и стараются консистентно реплицировать данные, не страшась сбоев сети. Правила игры — это и есть алгоритм Raft, и мастер-класс дает возможность потренироваться исполнять его вручную.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3LIZlRG

⬆️ Внутреннее облако в Яндексе от прототипа до платформы. Жизненный цикл сервиса от А до Я и вызовы на каждом из этапов узнаем из доклада Дмитрия Липина
⠀
📋 https://bit.ly/3ntS6Ue
⠀
Яндекс — технологическая компания, в которой работают тысячи разработчиков, которым нужна платформа, предоставляющая всё нужное для разработки и эксплуатации написанных внутри Яндекса сервисов.
⠀
Из доклада узнаем основные вехи в эволюции внутреннего облака, в котором разработчики Яндекса запускают свои приложения. Внутреннее облако за 5 лет выросло от прототипа до платформы с десятком тысяч сервисов запущенных на более чем сотне тысяч серверов. В рассказе Дмитрий будет опираться на свой опыт, ведь трансформация затронула и его самого. Вместе с внутренним облаком он прошёл путь от разработчика до СТО Platform Engineering в Яндексе, частью которой является внутреннее облако.
⠀
Рассказ будет полезен всем, кто хотел бы узнать из каких этапов складывается эволюция подобных продуктов и с какими вызовами придётся на этом пути столкнуться.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3LM7O6t

🗣 Микросервисное приложение для бизнеса otpravka.pochta.ru изначально не было спроектировано под высокую нагрузку. Но со временем оно стало популярным, и нагрузка начала расти, особенно перед новогодними праздниками.
⠀
Радикально менять архитектуру приложения было опасно. Можно было утратить стабильность. Поэтому команде Почтатеха пришлось заняться локальной оптимизацией.
⠀
Главный Java-разработчик на проекте «Отправка» Игорь Чирков расскажет, как оптимизировать обработку сложных запросов с помощью алгоритма решения задачи сетевого планирования. Это яркий пример использования науки в IT с измеримым и понятным результатом.
⠀
🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

✔️ Антон Жаболенко и Лиана Остапчук в своем докладе расскажут, как подсматривать за Linux-инфраструктурой и выявлять атаки
⠀
📋 https://bit.ly/3nsw7NB
⠀
В докладе обсудим основные подходы к построению мониторинга информационной безопасности для высоконагруженной и распределённой Linux-инфраструктуры. Разберёмся, чем средства мониторинга ИБ отличаются от классических средств мониторинга. Проведём анализ и сравнение существующих решений, таких как go-audit, osquery, Wazuh, Elastic Agent и некоторых других.
⠀
Антон и Лиана расскажут, почему они выбрали osquery в качестве ядра своей системы. Поделятся проблемами, с которыми они столкнулись при внедрении osquery, а также расскажут, как они их решали. На практических примерах покажут, как внедрение системы мониторинга упрощает расследование атак. Обсудим, может ли такая система быть полезна командам эксплуатации и разработки.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте - https://bit.ly/3VtcfGL

🚛 Мы часто сталкиваемся с задачами, которые требуют работы нашего кода в течение более долгого промежутка времени, чем длится простой HTTP-запрос. Это могут быть как выгрузки данных для интеграции с партнерами, так и приложения, которые должны реагировать на события в системе. Конечно, можно использовать другие языки программирования, но это увеличит стек и усложнит систему.
⠀
Техлид из Авито Александр Пряхин расскажет о том, как готовить демонов на PHP — от А до Я, и почему это актуально. О том, какими средствами можно решать такие задачи, какие инструменты предоставляют сам язык и сообщество, и когда все-таки стоит двигаться в сторону расширения стека.

▶️ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/715844/

⏺С Олегом Романенко обсудим HighLoad для "маленьких"
⠀
📋 https://bit.ly/3pcfOFm
⠀
MediaSniper за 8 лет прошел путь от пустого репозитория до одной из ведущих рекламных платформ в России.
Когда у вас небольшой стартап и нет бесконечных аппаратных ресурсов, приходится очень тщательно принимать технические решения. Нельзя просто взять проект с github, дописать к нему немного кода и надеяться, что этого достаточно для обработки сотен тысяч RPS.
⠀
Задача платформы - отвечать на http запрос с задержкой не более 50мс и обслуживать тысячи запросов в секунду (сейчас более 500 000 RPS). Олег покажет, какие решения принимали в области архитектуры, системного ПО, инфраструктуры и собственно, разработки.
⠀
- Собственные сервера + docker, чтобы нивелировать различия в установленных версиях ОС и пакетов.
- Они любят микросервисы и shared nothing и стараются избегать решений с единой точкой отказа. Все, что можно задублировать - должно быть задублировано.
- KV БД Aerospike - их главный помощник. Невозможно или слишком дорого держать вообще всю рабочую информацию на каждой ноде.
- Своя библиотека для асинхронного http client/server - позволяет мультиплексировать запросы и заполнять канал, экономя соединения. Они, как и большинство, все еще живут в мире http 1.1
- Своя библиотека для map/reduce, чтобы обрабатывать 40Тб данных в сутки
- У них нет silver bullet, они просто хотят поделиться радостью, что оно работает :)
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3Vtpnvz

⏺Уроки из проекта с коммитом 2001 года расскажет Василий Романов
⠀
📋 https://bit.ly/419C67V
⠀
Поговорим вот о чем:
⠀
- обзор must-have вещей в большой проекте
- spec-first
- supportability, линтеры и документация
- коммит из 2001 года.
- опыт в крупных проектах
- готовность к высокой нагрузке
- что такое это вообще высокая нагрузка
- основная проблема нагрузки
- что вообще болит в больших проектах
- какие минусы есть у микросервисов
- когда не надо писать микросервисы
- какие проблемы вы будете решать, когда у вас все стало круто с микросервисами
⠀
До встречи на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3p8S5FU

⚡️Каждую конференцию мы печатаем красочную брошюру, чтобы вам было проще ориентироваться на площадке, в расписании и на выставке. Еще мы публикуем в ней список членов Программного комитета, которые непосредственно собирали эту программу для вас. 

А еще мы задаем вопрос в ПК и печатаем их ответы в брошюре. Так вот! А на какой вопрос вам было бы интересно услышать ответ ПК? Совет начинающему/текущему/опытному разработчику? Хобби? Мнение о влиянии цвета кнопки на прибыльность компании? 

Напишите, что вам было бы интересно узнать! Самый частый вопрос зададим комитету и опубликуем в брошюре.

✅ Задать вопрос здесь

▶️ Завершаем эту неделю свежей подборкой видеозаписей докладов: топ-5 докладов Saint HighLoad++ 2022. Посмотрите сами и поделитесь с коллегами 😉
⠀
1) Service Mesh на стероидах, часть 2: Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bit.ly/3LEHn1x
⠀
2) Эволюция распределенных атак в Интернете: 1994 — настоящее время. Георгий Тарасов (Qrator Labs) https://bit.ly/3pew88B
⠀
3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (Microavia) https://bit.ly/44zsVAi
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bit.ly/44Km3R5
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bit.ly/3npE0DG
⠀
Продуктивного просмотра и отличных выходных 🙌