🔺 Алгоритм инкрементальных бэкапов в Apache Ignite узнаем из доклада Максима Тимонина
⠀
Реализовать функционал создания бэкапов (или снапшотов) в СУБД не просто. Задача вдвойне сложнее, когда это нужно сделать в распределённой СУБД. Втройне - когда СУБД поддерживает распределённые транзакции. И тем не менее любой хороший Crash Recovery план содержит противоречивые пункты - "Иметь под рукой полный бэкап" и "Обеспечить RPO в пределах 5 минут".
⠀
Они реализовали в Ignite алгоритм "Consistent Cut" для снятия инкрементальных снапшотов. Максим расскажет, как им удалось сделать снятие максимально незаметным для пользователя, а восстановление каждого узла полностью автономным. Обсудим, про что не нужно забывать при разработке production фичи, даже если ослеплен красотой алгоритма.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🖐
⠀
✅ Узнать подробнее о конференции и купить билет можно на сайте в описании канала @HighLoadChannel

🔥 Друзья, по вашим многочисленным просьбам мы продлили прием заявок на премию HighLoad++.
⠀
Премия HighLoad++ — это благодарность сообщества профессионалов своим лидерам. За вклад в развитие экосистемы интернет-разработки в России.

У вас есть еще время до 13 сентября, чтобы подать заявку на участие или заявить номинанта, которого вы считаете достойным. Голосовать и выбирать номинантов, достойных статуэтки в этом году, мы с вами начнем 15 сентября.
⠀
27 ноября на HighLoad++ 2023 — 20й конференции HighLoad++ пройдет церемония награждения лидеров IT.
⠀
⭐️ Номинации премии:
⠀
- Open-source года
- Прорыв года
- Технология года
- Компания года
- Сообщество года
- Продукт года
- Безопасность
- Искусственный интеллект
- а также специальная номинация «Развивающие проекты».
⠀
Партнер премии HighLoad++ — компания VK — поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.
⠀
VK развивает онлайн-образование на всех ступенях — от дошкольного до профессионального, сотрудничает с ведущими техническими вузами, организует IT-мероприятия и чемпионаты, проводит стажировки и грантовые программы и, конечно, помогает расти людям внутри команды. Для тех, кто так же, как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли учреждена номинация «Развивающие проекты».
⠀
✅ Узнать подробнее о премии и подать заявку можно на сайте в описании канала @HighLoadChannel

Бизнес-логика в go-микросервисах. Как выстроить процесс по обогащению предложений от продавцов до состояния карточки на сайте? Расскажет в своем докладе Апрес Антонян.
⠀
Перед ними стояла задача написать систему доведения предложений продавцов до оформленных карточек на сайте. При решении этой задачи они пошли по пути построения микросервисной архитектуры.
⠀
В докладе Апрес:
⠀
- расскажет, как сервис-хранилище позволил им обеспечить изоляцию структуры данных в БД от потребителей этих данных;
⠀
- покажет, как они решали проблему большой вариативности запросов при помощи составных индексов и партиций;
⠀
- продемонстрирует подход с реализацией логики сервиса, управляющего потоками данных, основывающемся на стейт-машине, которую они построили на графах;
⠀
- расскажет, чем они руководствовались при выделении сервисов обвязки, чтобы сохранить баланс между единой ответственностью сервисов и небольшим их количеством.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет профессиональная конференция для Go-разработчиков Golang Conf 2023.
⠀
✅ Узнать подробнее о конференции и купить билет можно на сайте в описании канала @HighLoadChannel

⏺Илья Петропавловский, продуктовый менеджер платформы данных VK Cloud, расскажет в своем докладе современные методы построения платформы мониторинга.
⠀
Поговорим вот о чём:
⠀
- Методы, их преимущества и недостатки. Метод классического водопада. Метод циклического обхода и Agile. «Государственный» подход.
- Использование «философских» принципов при построении системы. Ретроспектива технологии.
- Инструментарий. Высокоуровневый дизайн и архитектура современных платформ мониторинга на примере VK Cloud.
- Имплементация и межкомандное взаимодействие. Как строить мониторинг для большой платформы, когда уже всё написано и работает.
- Организационные особенности имплементации мониторинга. Карта ответственности в оргструктуре.
⠀
Встречаемся на HighLoad++ 2023 в Москве 27 и 28 ноября 🙌
⠀
✅Узнать подробнее о конференции можно на сайте в описании канала @HighLoadChannel

С Александром Синичкиным поговорим о кодогенерации и как ее использовать эффективно.
⠀
Это доклад о том, как выжать максимум из кодогенерации.
⠀
Александр расскажет:
⠀
— почему кодогенерацию не нужно бояться и избегать, а также почему не стоит с ней перебарщивать;
— когда стоит заливать сгенерированный код в репо, а когда — генерировать его в CI;
— как ускорить кодогенерацию на два порядка, когда ее становится много.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Как собрать контейнер и не вооружить хакера? Узнаем из доклада Антона Жаболенко и Алексея Федулаева
⠀
Всё, что вы положите в контейнер, может быть использовано против вас. Именно такой фразой можно описать Living off the Land (LotL) атаки.
⠀
LotL – это атаки, при которых злоумышленник использует легитимные утилиты для выполнения вредоносных действий. При таких атаках злоумышленнику не потребуется установка специального «хакерского» софта, ему будет достаточно инструментов, добытых на местности. Многие стандартные инструменты детектирования становятся бесполезны против таких атак.
⠀
В докладе разберём практические примеры LotL-атак в контейнерных инфраструктурах, а также обсудим, как от них защищаться.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Как при помощи бумаги, карандаша и алгоритма Raft достичь консенсуса? Узнаем на мастер-классе от Ярослава Дынникова.
⠀
Есть во вселенной такой алгоритм — Raft. Он широко используется для решения задач консенсуса в распределенных системах (для наглядности — сервисы Etcd или Consul, как наиболее известные проекты его использующие).
⠀
Мастер-класс предлагает участникам поучаствовать в своеобразной настольной ролевой игре: каждый участник — это отдельный сервер. Вместо жесткого диска — листок бумаги и карандаш, вместо сообщений по сети — записки под партой. Игроки образуют единый кластер и стараются консистентно реплицировать данные, героически переживая сбои сети. Правила игры — это и есть алгоритм Raft. Ждем вас, будет весело.
⠀
🖐 Встречаемся 27 и 28 ноября на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.
⠀
✅ Посмотреть программу конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Дмитрий Матреничев в своем докладе расскажет об эволюции Go: Как (не)изменилась наша реальность.
⠀
Все течет, все меняется. Даже Go, будучи консерватором среди языков программирования, за последние два года претерпел ряд значительных изменений. И не собирается прекращать и дальше. Наша задача понять, как именно эти новые вещи позволяют нам писать более безопасный, функциональный и быстрый код, при этом стараясь не терять простоту и ясность, к которой мы все так привыкли. А начнем мы, как всегда, с дженериков...
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Михаилом Петровым поговорим про эксплуатацию cilium в кластерах VK.
⠀
Михаил расскажет вот о чём:
⠀
- Что было до cilium (параллельный интерактив «Какой у вас CNI»)
- Причины появления cilium в VK.
- Эксплуатация cilium в их кластерах.
- С какими задачами и проблемами столкнулись при экплуатации cilium.
- Сценарии отказа cilium.
- Мониторинг cilium.
- Минусы cilium.
- Онлайн-тест - надо ли вам переходить с calico на cilium?
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ На сайте в описании канала @HighLoadChannel можно ознакомиться подробнее с программой конференции.

⌛️Остались последние часы приема заявок на премию HighLoad++.
⠀
Премия HighLoad++ — это благодарность сообщества профессионалов своим лидерам. За вклад в развитие экосистемы интернет-разработки в России.
⠀
Друзья, сегодня (13 сентября) последний день, чтобы успеть подать заявку на участие или заявить номинанта, которого вы считаете достойным. Голосовать и выбирать номинантов, достойных статуэтки в этом году, мы с вами начнем 15 сентября.
⠀
27 ноября на HighLoad++ 2023 — 20й конференции HighLoad++ пройдет церемония награждения лидеров IT.
⠀
⭐️ Номинации премии:
⠀
- Open-source года
- Прорыв года
- Технология года
- Компания года
- Сообщество года
- Продукт года
- Безопасность
- Искусственный интеллект
- а также специальная номинация «Развивающие проекты».
⠀
Партнер премии HighLoad++ — компания VK — поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.
⠀
VK развивает онлайн-образование на всех ступенях — от дошкольного до профессионального, сотрудничает с ведущими техническими вузами, организует IT-мероприятия и чемпионаты, проводит стажировки и грантовые программы и, конечно, помогает расти людям внутри команды. Для тех, кто так же, как и VK, любит и умеет делиться опытом и раскрывать таланты, делает возможным прогресс в IT-отрасли учреждена номинация «Развивающие проекты».
⠀
✅ Узнать подробнее о премии и подать заявку можно на сайте в описании канала @HighLoadChannel

Все современные технологии построены на базе решений с открытым исходным кодом: от фреймворков и библиотек до СУБД и операционных систем.
⠀
В рамках отдельного опенсорс-трека, при поддержке Яндекса, на HighLoad++ 2023 (27 и 28 ноября) мы обсудим разработку решений с открытым исходным кодом, опыт их использования и контрибьюта.
⠀
Вы также можете внести вклад в опенсорс-движение России.
⠀
Мы ждем доклады по темам:
⠀
- Релиз внутренних продуктов в опенсорс
- Монетизация проектов после выхода
- Опыт перехода с проприетарных на открытые решения
- Взаимодействие с сообществом
- Жизнь и развитие проекта после релиза
- Безопасность открытого ПО.
⠀
✅ Оставить заявку можно на сайте
⠀
До встречи на HighLoad++ 2023 🙌

Чтобы всех отыскать, воедино созвать: Алексей Шпагин расскажет о системе трейсинга событий в VK Звонках.
⠀
Раньше расследование обращений вида «Я не могу дозвониться!», «Меня выкинуло посреди созвона!», «Я включаю демонстрацию экрана, а её никто не видит!» в команде VK Звонков могло походить на поиск иголки в стоге сена или гадание на картах Таро. Они тратили на выяснение причины жалобы огромное количество времени и сил. Но теперь всё изменилось!
⠀
Они разработали и внедрили систему трейсинга событий, происходящих в звонке: начиная от подключения первого пользователя и заканчивая завершением звонка. В докладе Алексей расскажет об архитектуре данной системы и об устройстве регистрации событий в условиях высокой нагрузки. А также поделится примерами из их практики, когда трейсинг в Звонках оказался крайне полезен.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Тимофея Кулина узнаем о создании тестового окружения через фикстуры.
⠀
Тимофей расскажет вот о чём:
⠀
- внутри теста остаётся только код самого теста
- тест работает в парадигме уже созданного окружения
- настройка окружения - ленивая, создаётся только то, что нужно
- настройка окружения умная - можно переиспользовать части окружения между тестами (по желанию).
- особенности реализации
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🗣Надёжная аналитика: Олег Мифле расскажет, как они собирают стату в мини-приложениях VK.
⠀
VK Mini Apps — это открытая платформа для встраивания кросс-платформенных приложений, расширяющих возможности ВКонтакте, как на вебе, так и на iOS- и Android-клиентах. Сейчас мини-приложения глубоко проросли в инфраструктуру VK. Их используют миллионы пользователей ВКонтакте.
⠀
Олег расскажет, как отследить сессию пользователя в условиях, когда у вас 4 разные независимые платформы; как не терять события статы; как спроектировать и удержать результат; и как всё-таки начать доверять своей аналитике.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Подробная информация о конференции на сайте в описании канала @HighLoadChannel

🗣С Андреем Колнооченко поговорим о шардировании: с нуля до Яндекс.Диска.
⠀
Рассмотрим подробности шардирования в базах данных: зачем оно, как его избежать, какие сложности с шардированием данных были в Яндекс.Диске и как их решали.
⠀
🖐 Встречаемся 27 и 28 ноября на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 в Москве.
⠀
✅ Узнать подробнее о программе конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Deep-dive в планировщик Go или зачем воровать горутины? Узнаем на докладе Андрея Щипило.
⠀
Инженерам свойственно разбираться во внутреннем устройстве систем и залезать туда, куда не просили: кто в детстве не разбирал будильник или в молодости не дампил базу через SQL-инъекцию.Не так давно Андрей наткнулся на термин, который используется внутри планировщиков – work stealing. Конечно же его больше всего заинтересовал глагол «stealing» и возник вопрос: «А можно ли влезть в планировщик снаружи и украсть, например, горутину?»
⠀
В докладе мы затронем особенности имплементации кода планировщика, ассемблер Go, препроцессорные директивы компилятора, нарушение инкапсуляции через переопределение и рассмотрим, как же своровать горутину у планировщика и зачем же это делать?
⠀
Доклад будет особенно полезен, если вас интересует устройство модели многопоточности в Go. Вы поймете, какие методики используют разработчики самого Go, включая неочевидные возможности языка, которые могут помочь вам решить специфические проблемы.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Подробная информация о конференции, программа и билеты на сайте в описании канала @HighLoadChannel