Денис Волков и Кирилл Решке расскажут, как шардировать Postgres не своими руками.
⠀
Stateless Postgres Query Router — production ready open-source решение для горизонтального масштабирования PostgreSQL через шардирование. Система работает по протоколу Postgres и написана на Go.
⠀
Денис с Кириллом расскажут:
⠀
- как оно устроено и работает внутри;
- что нужно, чтобы собрать прокси postgesql протокола своими руками;
- почему иногда для значительного увеличения производительности достаточно просто обновить зависимости;
- как написать свой лексер запросов, если pganalyze/pg_query_go слишком медленный.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сергей Маслов в своем докладе расскажет про «Веслосипед» для сбора логов.
⠀
Сергей расскажет о том, как с нуля создали собственный инструмент для сбора логов в режиме реального времени, который в дальнейшем стал ключевым для их системы сбора и обработки данных, позволяющей обрабатывать до 5 млн уникальных сообщений в секунду и до 120 млрд в день.
⠀
Их система построена на стеке - Golang+Kafka+Clickhouse. Система универсальна и позволяет качественно сопровождать ключевые ИТ сервисы X5 - от анализа событий кассовых операций до сбора логов защитного периметра WAF + NGFW.
⠀
Мы разберем основные технологические и архитектурные решения, которые придется принять при создании приложения подобного класса.
⠀
Прогуляемся по их граблям и проблемам, с которыми столкнулись. Разберем и протестируем в бою стандартные инструменты для сбора логов. А также Сергей даст базовые рекомендации для проектирования подобных систем.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔥Последний день народного голосования Премии HighLoad++
⠀
Друзья, напоминаем, что 15 октября (сегодня) у вас еще есть возможность выбрать самых достойных номинантов Премии HighLoad++.

Каждый ваш голос - это благодарность IT-лидерам и их решениям за вклад в развитие экосистемы интернет-разработки в России.
⠀
В этом году компания VK поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.

Чтобы проголосовать вам необходимо авторизоваться в системе и выбрать трех достойных номинантов.
Вы можете распределить свои голоса между основным голосованием и спец.номинацией.

Имена победителей мы узнаем 27 ноября на церемонии награждения!
⠀
✅ Отдать свой голос за достойного номинанта можно на сайте в описании канала @HighLoadChannel

Доклад Дмитрия Кырхларова – это экспертный рассказ про организацию инфраструктуры для средних компаний, которая базируется на 10+ летнем опыте объединения нескольких десятков небольших компаний.
⠀
Из доклада Дмитрия узнаем вот о чем:
⠀
- Путь от техдолга в 20 лет до построения катастрофо-устойчивого решения в IT-компании среднего размера.
Не пытайтесь повторить. Все трюки выполнены профессионалами, которые не знали во что ввязываются.
- Попурри из подходов и решений, которые позволяют не бояться отказа целого дата-центра.
- Организация мониторинга и алертинга, особенности построения гео-распределенных кластеров БД, воспроизводимость серверов, сегментация production контура и прочая.
- Формула баланса надежности, скорости разработки и стоимости владения, которая нам подошла на этапе перестройки.
⠀
Ждем вас 27 и 28 ноября на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Александром Калошиным и Константином Пастор-Гертье обсудим бойлерплейт как инструмент стандартизации Go проектов.
⠀
Процесс написания микросервисного приложения неразрывно связан с большим количеством связей и однотипных переиспользуемых пакетов. Всегда не хочется в таких случая писать один и тот же код, когда он может быть сгенерирован.
⠀
Однако в нашей отрасли не так-то много генераторов микросервисов, а те, что есть заставляют вендор-лочиться.
⠀
Александр с Константином расскажут, почему, а главное, как они сделали ещё один генератор микросервисов. Поделятся почему это оказалось не так тривиально и с какими сложностями они столкнулись, и как спустя некоторое время они осознали дзен. Под капотом расскажут, как использовали protobuf, uberfx, писали хуки. Поделятся, как рефлектили всё что можно и стандартизировали работу с логами, конфигами и процесс сборки и деплоя.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Реализовать OLAP: Софья Новожилова расскажет, как они делали колоночное хранение в YDB.
⠀
YDB — это платформа, которая умеет обрабатывать большой поток быстрых транзакций (OLTP, Online Transaction Processing).
⠀
Помимо этого, она даёт всю необходимую инфраструктуру для базы данных:
⠀
- репликации
- отказоустойчивый сторадж
- автошардирование
- query processing
- grpс-клиенты
- систему доставки данных и проч.
⠀
Имея такой стартовый набор, Софья с командой захотели научить YDB обрабатывать другой тип запросов — аналитические (OLAP, Online Analytical Processing).
⠀
Казалось бы, давайте поменяем систему хранения, упакуем данные по колонкам и получим профит. Но достаточно ли этого?
⠀
Ответ на данный вопрос, а также на вопросы: зачем это было нужно и какая польза от таких расширений системе в целом — будет в докладе.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Из доклада Сергея Прилуцкого узнаем про zkSNARKs - компактные неинтерактивные пруфы для масштабирования и безопасности.
⠀
Доклад описывает технологию zkSNARKs, используемую для масштабирования сервисов и в различных zero-knowledge протоколах. Эта молодая технология сейчас находится на острие развития современной криптографии, ей занимаются в топовых университетах мира, а решения на ее основе позволяют доказывать исполнение вычислений на trustless клиентах с легкой, constant-sized верификацией на стороне сервера.
⠀
Она идеально ложится на блокчейн технологии, где легкая верификация располагается на сильно ограниченной в ресурсах блокчейн-стороне, но и для других архитектур открывает множество новых возможностей. Например, сверхлегкие доказательства наличия пользователя в некотором списке, аутентификация без обращения к базе пользователей, доказательства нахождения некоторого значения в storage и т.п.
⠀
Сергей расскажет про основную концепцию арифметических circuits, покажет практические примеры простых доказательств, опишет дизайн некоторых протоколов и ограничения подобных решений. Сама технология уже несколько лет успешно используется в production, где отвечает за реальные деньги пользователей, используется для масштабирования и защиты финансовых активов, активно развивается в проектах, не имеющих аналогов в традиционном поле.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Real-time распознавание лиц: методы обучения быстрых и точных моделей для работы на мобильных девайсах узнаем из доклада Вадима Селютина.
⠀
Наиболее точные решения по распознаванию лиц строятся на основе больших моделей глубокого обучения. Для успешного продуктового внедрения на мобильные платформы в условиях ограниченных вычислительных ресурсов эти модели должны быть не только точными, но также быстрыми и легковесными.
⠀
В этом докладе разберем следующее:
⠀
- как выбрать современную компактную архитектуру с наилучшим балансом скорости и качества
- какие трудности могут возникнуть при распределенном обучении face recognition модели на датасетах с миллионами изображений и сотнями тысяч классов
- при помощи каких методов передачи знаний от больших моделей к более маленьким можно минимизировать потери в точности из-за сокращения размера архитектуры
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об эволюции архитектуры транскодера узнаем из доклада Дмитрия Лукшто.
⠀
Дмитрий расскажет:
⠀
- как они перекодируют видео пользователей в самые популярные разрешения, считают видео сигнатуры, генерируют субтитры
- как учились приоритизировать живых пользователей и batch задачи
- как жить, если у вас тысячи воркеров, кластер на десятки тысяч ядер, который нужно использовать эффективно
- как они обрабатывают в среднем сотни тысяч видео в сутки, длительностью в тысячи часов
- как значительно улучшили утилизацию железа и скорость транскодирования, изменив архитектуру
- как обработать задачу за гарантированное время, если ваш кластер полностью загружен, и вы не умеете предсказывать eta для задач
⠀
Ждем вас на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

ETL на Kafka + Confluent, проблемы и их решение с помощью Go обсудим на докладе Никиты Степанченко и Юры Саргсяна.

Возникла необходимость улучшения системы хранения данных о товарах. Они решили построить систему на базе Kafka, Confluent и kSQL для обработки огромного объема быстро меняющихся данных о товарах при ~9к сообщений в секунду в пиках при штатной работе и ~50к в секунду при нештатной работе.
⠀
Никита с Юрой расскажут о следующем:
⠀
- Причины, по которым они решили написать свою ETL систему и выбрали эти технологии.
- Как построить решение на основе Kafka, Confluent и kSQL для обработки большого объема меняющихся данных и создать микросерверную архитектуру на Go с помощью небольшой команды.
- Проблемы, с которыми они столкнулись при разработке и использовании данной системы.
- Как они решили эти проблемы, переписав часть системы (Sink-коннекторы) на Go.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

MaaS - Мониторинг как сервис обсудим с Валентином Лебедевым и Анной Журбенко.
⠀
Из доклада узнаем:
⠀
- Как использовать мониторинг на пользу, не подглядывая в монитор соседа
- Как узнавать о проблемах с сервисами до первого обращения клиента
- Как не «утонуть» в постоянно дребезжащих алертах
- Как мониторинг улучшает отношения между бизнесом и ИТ
⠀
🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Доклад Кирилла Борисова - это методологический доклад про то, как важно организовать мониторинг упрощающий нахождение проблем и не перегруженный лишней информацией.
⠀
Одним из антипаттернов наблюдаемости является Wall of Dashboard. Во многих компаниях существует огромное количество дашбордов, они создают 2 основные проблемы: информационную перегрузку и потерю фокуса. Также больше количество дашбордов добавляет сложность восприятия и затруднение выявления важных трендов. Ответьте себе на вопрос: Можно ли, посмотрев на дашборды, понять работает ли система? Если ответ нет, то вы выбрали нужный доклад.
⠀
В докладе проведем аналогии с разным сферами, в которых тоже используется статус панели для определения «живости» сервиса, рассмотрим один из вариантов правильной организации дашбордов. Рассмотрим стратегию упрощения дашбордов Разберем, как четко определенные метрики могут помочь в создании более понятных и эффективных дашбордов.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel