Из доклада Григория Бутейко узнаем про BARSiC — асинхронной репликации и консенсусе для 70 баз данных.
⠀
Ядром ВКонтакте являются 70 специализированных баз данных (движков), организованных в 800 кластеров, имеющих в сумме 10000+ шардов.
⠀
Чтобы безболезненно переживать отказы мастера шарда, они сделали BARSiC (Binlog Asynchronous Replication using Simple BD interface + Consensus) — в простонародье Барсик. Это система, которая обеспечивает автоматическое переключение ролей реплик и консистентность данных между ними, при этом не усложняет и не замедляет сами движки.
⠀
Григорий расскажет, как они проектировали BARSiC, почему отказались от стороннего консенсуса и каким образом с помощью модели TLA+ проверяют корректность кода Барсика на Go.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

В докладе Эдгара Сипки мы разберем Protobuf и buf: блеск, нищета и импортозамещение.
⠀
В мире быстрых технологий и постоянно меняющихся требований, инструменты, которые обеспечивают эффективность и совместимость, становятся ключевыми. Однако, что делать, когда доступ к таким инструментам ограничен из-за политической обстановки?
⠀
В этом докладе мы погрузимся в мир Protobuf и инструмента buf, мощной утилиты для линтинга прото файлов, проверки обратной совместимости API, генерации кода и валидации запросов. Эдгар расскажет о разнообразии фич и удобств, которые предлагает buf.
⠀
Однако, как и в любой бочке меда есть ложка дегтя - его недоступность в России из-за санкций. Эта проблема подтолкнула Эдгара и команду к разработке собственного решения, замещающего сервер buf.
⠀
Эдгар поделится историей реверс-инжиниринга сервера buf и процессом создания собственного сервера, который хотя бы частично, но смог заменить функционал их пакетного менеджера.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Узнать подробнее программу конференции можно на сайте в описании канала @HighLoadChannel

🔥 Если вы разработчик опенсорсного решения — у вас есть возможность рассказать о нем крупнейшему IT-сообществу России на опенсорс-трибуне HighLoad++ 2023, которая пройдет при поддержке Яндекса!
⠀
Многотысячная аудитория хайлоадеров узнает о лучших опенсорс-решениях и увидит их авторов.
⠀
У каждого выступающего будет 15 минут:
10 минут на презентацию и 5 минут на ответы.
⠀
✅ Подать заявку на участие можно до 22 октября по ссылке

С Михаилом Жилиным и Павлом Конотоповым обсудим мифы и реалии архитектуры мультимастера в реляционной СУБД PostgreSQL.
⠀
Существуют несколько мифов о мультимастере: он медленный, сложно интегрировать с приложением, неудобен в обслуживании. Недавно Михаилу и Павлу удалось получить опыт работы с мультимастером в реальных боевых условиях. Теперь они хотят поделиться плюсами, минусами и полезными советами при работе с мультимастером на примере продукта PostgresPro Enterprise:
⠀
- Как выжать максимальную производительность из мультимастера
- Почему можно забыть о проксях и балансировщиках
- Какой же trade-off и какие ещё бонусы можно получить
⠀
Ждем вас на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 🖐
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

🔥Проверьте свою архитектуру на прочность.
⠀
На HighLoad++ 2023 пройдет «Прожарка архитектурных кейсов» - топовые эксперты разберут архитектурные решения участников и найдут все изъяны. В итоге каждый участник уйдёт с идеей, как исправить ситуацию.
⠀
Отправить кейсы для разбора можно на сайте в описании канала @HighLoadChannel
⠀
Как это будет:
⠀
Вы представляете свой кейс — какую задачу решали, в чём была сложность? Выслушав ваш рассказ, эксперты Прожарки зададут уточняющие вопросы .
⠀
Что вы получите:
⠀
- Эксперты подскажут, как сделать правильно, исправят ошибки, поделятся идеями именно под ваш кейс и расскажут о своём опыте
⠀
- Внимание со стороны заинтересованного сообщества
⠀
А еще каждый участник Прожарки получит бесплатный билет на конференцию и нетворкинг!
⠀
Ждем ваши кейсы и до встречи на HighLoad++ 2023 🙌

Денис Волков и Кирилл Решке расскажут, как шардировать Postgres не своими руками.
⠀
Stateless Postgres Query Router — production ready open-source решение для горизонтального масштабирования PostgreSQL через шардирование. Система работает по протоколу Postgres и написана на Go.
⠀
Денис с Кириллом расскажут:
⠀
- как оно устроено и работает внутри;
- что нужно, чтобы собрать прокси postgesql протокола своими руками;
- почему иногда для значительного увеличения производительности достаточно просто обновить зависимости;
- как написать свой лексер запросов, если pganalyze/pg_query_go слишком медленный.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сергей Маслов в своем докладе расскажет про «Веслосипед» для сбора логов.
⠀
Сергей расскажет о том, как с нуля создали собственный инструмент для сбора логов в режиме реального времени, который в дальнейшем стал ключевым для их системы сбора и обработки данных, позволяющей обрабатывать до 5 млн уникальных сообщений в секунду и до 120 млрд в день.
⠀
Их система построена на стеке - Golang+Kafka+Clickhouse. Система универсальна и позволяет качественно сопровождать ключевые ИТ сервисы X5 - от анализа событий кассовых операций до сбора логов защитного периметра WAF + NGFW.
⠀
Мы разберем основные технологические и архитектурные решения, которые придется принять при создании приложения подобного класса.
⠀
Прогуляемся по их граблям и проблемам, с которыми столкнулись. Разберем и протестируем в бою стандартные инструменты для сбора логов. А также Сергей даст базовые рекомендации для проектирования подобных систем.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔥Последний день народного голосования Премии HighLoad++
⠀
Друзья, напоминаем, что 15 октября (сегодня) у вас еще есть возможность выбрать самых достойных номинантов Премии HighLoad++.

Каждый ваш голос - это благодарность IT-лидерам и их решениям за вклад в развитие экосистемы интернет-разработки в России.
⠀
В этом году компания VK поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.

Чтобы проголосовать вам необходимо авторизоваться в системе и выбрать трех достойных номинантов.
Вы можете распределить свои голоса между основным голосованием и спец.номинацией.

Имена победителей мы узнаем 27 ноября на церемонии награждения!
⠀
✅ Отдать свой голос за достойного номинанта можно на сайте в описании канала @HighLoadChannel

Доклад Дмитрия Кырхларова – это экспертный рассказ про организацию инфраструктуры для средних компаний, которая базируется на 10+ летнем опыте объединения нескольких десятков небольших компаний.
⠀
Из доклада Дмитрия узнаем вот о чем:
⠀
- Путь от техдолга в 20 лет до построения катастрофо-устойчивого решения в IT-компании среднего размера.
Не пытайтесь повторить. Все трюки выполнены профессионалами, которые не знали во что ввязываются.
- Попурри из подходов и решений, которые позволяют не бояться отказа целого дата-центра.
- Организация мониторинга и алертинга, особенности построения гео-распределенных кластеров БД, воспроизводимость серверов, сегментация production контура и прочая.
- Формула баланса надежности, скорости разработки и стоимости владения, которая нам подошла на этапе перестройки.
⠀
Ждем вас 27 и 28 ноября на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Александром Калошиным и Константином Пастор-Гертье обсудим бойлерплейт как инструмент стандартизации Go проектов.
⠀
Процесс написания микросервисного приложения неразрывно связан с большим количеством связей и однотипных переиспользуемых пакетов. Всегда не хочется в таких случая писать один и тот же код, когда он может быть сгенерирован.
⠀
Однако в нашей отрасли не так-то много генераторов микросервисов, а те, что есть заставляют вендор-лочиться.
⠀
Александр с Константином расскажут, почему, а главное, как они сделали ещё один генератор микросервисов. Поделятся почему это оказалось не так тривиально и с какими сложностями они столкнулись, и как спустя некоторое время они осознали дзен. Под капотом расскажут, как использовали protobuf, uberfx, писали хуки. Поделятся, как рефлектили всё что можно и стандартизировали работу с логами, конфигами и процесс сборки и деплоя.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Реализовать OLAP: Софья Новожилова расскажет, как они делали колоночное хранение в YDB.
⠀
YDB — это платформа, которая умеет обрабатывать большой поток быстрых транзакций (OLTP, Online Transaction Processing).
⠀
Помимо этого, она даёт всю необходимую инфраструктуру для базы данных:
⠀
- репликации
- отказоустойчивый сторадж
- автошардирование
- query processing
- grpс-клиенты
- систему доставки данных и проч.
⠀
Имея такой стартовый набор, Софья с командой захотели научить YDB обрабатывать другой тип запросов — аналитические (OLAP, Online Analytical Processing).
⠀
Казалось бы, давайте поменяем систему хранения, упакуем данные по колонкам и получим профит. Но достаточно ли этого?
⠀
Ответ на данный вопрос, а также на вопросы: зачем это было нужно и какая польза от таких расширений системе в целом — будет в докладе.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel