🔥 Если вы разработчик опенсорсного решения — у вас есть возможность рассказать о нем крупнейшему IT-сообществу России на опенсорс-трибуне HighLoad++ 2023, которая пройдет при поддержке Яндекса!
⠀
Многотысячная аудитория хайлоадеров узнает о лучших опенсорс-решениях и увидит их авторов.
⠀
У каждого выступающего будет 15 минут:
10 минут на презентацию и 5 минут на ответы.
⠀
✅ Подать заявку на участие можно до 22 октября по ссылке

С Михаилом Жилиным и Павлом Конотоповым обсудим мифы и реалии архитектуры мультимастера в реляционной СУБД PostgreSQL.
⠀
Существуют несколько мифов о мультимастере: он медленный, сложно интегрировать с приложением, неудобен в обслуживании. Недавно Михаилу и Павлу удалось получить опыт работы с мультимастером в реальных боевых условиях. Теперь они хотят поделиться плюсами, минусами и полезными советами при работе с мультимастером на примере продукта PostgresPro Enterprise:
⠀
- Как выжать максимальную производительность из мультимастера
- Почему можно забыть о проксях и балансировщиках
- Какой же trade-off и какие ещё бонусы можно получить
⠀
Ждем вас на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 🖐
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

🔥Проверьте свою архитектуру на прочность.
⠀
На HighLoad++ 2023 пройдет «Прожарка архитектурных кейсов» - топовые эксперты разберут архитектурные решения участников и найдут все изъяны. В итоге каждый участник уйдёт с идеей, как исправить ситуацию.
⠀
Отправить кейсы для разбора можно на сайте в описании канала @HighLoadChannel
⠀
Как это будет:
⠀
Вы представляете свой кейс — какую задачу решали, в чём была сложность? Выслушав ваш рассказ, эксперты Прожарки зададут уточняющие вопросы .
⠀
Что вы получите:
⠀
- Эксперты подскажут, как сделать правильно, исправят ошибки, поделятся идеями именно под ваш кейс и расскажут о своём опыте
⠀
- Внимание со стороны заинтересованного сообщества
⠀
А еще каждый участник Прожарки получит бесплатный билет на конференцию и нетворкинг!
⠀
Ждем ваши кейсы и до встречи на HighLoad++ 2023 🙌

Денис Волков и Кирилл Решке расскажут, как шардировать Postgres не своими руками.
⠀
Stateless Postgres Query Router — production ready open-source решение для горизонтального масштабирования PostgreSQL через шардирование. Система работает по протоколу Postgres и написана на Go.
⠀
Денис с Кириллом расскажут:
⠀
- как оно устроено и работает внутри;
- что нужно, чтобы собрать прокси postgesql протокола своими руками;
- почему иногда для значительного увеличения производительности достаточно просто обновить зависимости;
- как написать свой лексер запросов, если pganalyze/pg_query_go слишком медленный.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сергей Маслов в своем докладе расскажет про «Веслосипед» для сбора логов.
⠀
Сергей расскажет о том, как с нуля создали собственный инструмент для сбора логов в режиме реального времени, который в дальнейшем стал ключевым для их системы сбора и обработки данных, позволяющей обрабатывать до 5 млн уникальных сообщений в секунду и до 120 млрд в день.
⠀
Их система построена на стеке - Golang+Kafka+Clickhouse. Система универсальна и позволяет качественно сопровождать ключевые ИТ сервисы X5 - от анализа событий кассовых операций до сбора логов защитного периметра WAF + NGFW.
⠀
Мы разберем основные технологические и архитектурные решения, которые придется принять при создании приложения подобного класса.
⠀
Прогуляемся по их граблям и проблемам, с которыми столкнулись. Разберем и протестируем в бою стандартные инструменты для сбора логов. А также Сергей даст базовые рекомендации для проектирования подобных систем.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔥Последний день народного голосования Премии HighLoad++
⠀
Друзья, напоминаем, что 15 октября (сегодня) у вас еще есть возможность выбрать самых достойных номинантов Премии HighLoad++.

Каждый ваш голос - это благодарность IT-лидерам и их решениям за вклад в развитие экосистемы интернет-разработки в России.
⠀
В этом году компания VK поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.

Чтобы проголосовать вам необходимо авторизоваться в системе и выбрать трех достойных номинантов.
Вы можете распределить свои голоса между основным голосованием и спец.номинацией.

Имена победителей мы узнаем 27 ноября на церемонии награждения!
⠀
✅ Отдать свой голос за достойного номинанта можно на сайте в описании канала @HighLoadChannel

Доклад Дмитрия Кырхларова – это экспертный рассказ про организацию инфраструктуры для средних компаний, которая базируется на 10+ летнем опыте объединения нескольких десятков небольших компаний.
⠀
Из доклада Дмитрия узнаем вот о чем:
⠀
- Путь от техдолга в 20 лет до построения катастрофо-устойчивого решения в IT-компании среднего размера.
Не пытайтесь повторить. Все трюки выполнены профессионалами, которые не знали во что ввязываются.
- Попурри из подходов и решений, которые позволяют не бояться отказа целого дата-центра.
- Организация мониторинга и алертинга, особенности построения гео-распределенных кластеров БД, воспроизводимость серверов, сегментация production контура и прочая.
- Формула баланса надежности, скорости разработки и стоимости владения, которая нам подошла на этапе перестройки.
⠀
Ждем вас 27 и 28 ноября на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Александром Калошиным и Константином Пастор-Гертье обсудим бойлерплейт как инструмент стандартизации Go проектов.
⠀
Процесс написания микросервисного приложения неразрывно связан с большим количеством связей и однотипных переиспользуемых пакетов. Всегда не хочется в таких случая писать один и тот же код, когда он может быть сгенерирован.
⠀
Однако в нашей отрасли не так-то много генераторов микросервисов, а те, что есть заставляют вендор-лочиться.
⠀
Александр с Константином расскажут, почему, а главное, как они сделали ещё один генератор микросервисов. Поделятся почему это оказалось не так тривиально и с какими сложностями они столкнулись, и как спустя некоторое время они осознали дзен. Под капотом расскажут, как использовали protobuf, uberfx, писали хуки. Поделятся, как рефлектили всё что можно и стандартизировали работу с логами, конфигами и процесс сборки и деплоя.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Реализовать OLAP: Софья Новожилова расскажет, как они делали колоночное хранение в YDB.
⠀
YDB — это платформа, которая умеет обрабатывать большой поток быстрых транзакций (OLTP, Online Transaction Processing).
⠀
Помимо этого, она даёт всю необходимую инфраструктуру для базы данных:
⠀
- репликации
- отказоустойчивый сторадж
- автошардирование
- query processing
- grpс-клиенты
- систему доставки данных и проч.
⠀
Имея такой стартовый набор, Софья с командой захотели научить YDB обрабатывать другой тип запросов — аналитические (OLAP, Online Analytical Processing).
⠀
Казалось бы, давайте поменяем систему хранения, упакуем данные по колонкам и получим профит. Но достаточно ли этого?
⠀
Ответ на данный вопрос, а также на вопросы: зачем это было нужно и какая польза от таких расширений системе в целом — будет в докладе.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Из доклада Сергея Прилуцкого узнаем про zkSNARKs - компактные неинтерактивные пруфы для масштабирования и безопасности.
⠀
Доклад описывает технологию zkSNARKs, используемую для масштабирования сервисов и в различных zero-knowledge протоколах. Эта молодая технология сейчас находится на острие развития современной криптографии, ей занимаются в топовых университетах мира, а решения на ее основе позволяют доказывать исполнение вычислений на trustless клиентах с легкой, constant-sized верификацией на стороне сервера.
⠀
Она идеально ложится на блокчейн технологии, где легкая верификация располагается на сильно ограниченной в ресурсах блокчейн-стороне, но и для других архитектур открывает множество новых возможностей. Например, сверхлегкие доказательства наличия пользователя в некотором списке, аутентификация без обращения к базе пользователей, доказательства нахождения некоторого значения в storage и т.п.
⠀
Сергей расскажет про основную концепцию арифметических circuits, покажет практические примеры простых доказательств, опишет дизайн некоторых протоколов и ограничения подобных решений. Сама технология уже несколько лет успешно используется в production, где отвечает за реальные деньги пользователей, используется для масштабирования и защиты финансовых активов, активно развивается в проектах, не имеющих аналогов в традиционном поле.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Real-time распознавание лиц: методы обучения быстрых и точных моделей для работы на мобильных девайсах узнаем из доклада Вадима Селютина.
⠀
Наиболее точные решения по распознаванию лиц строятся на основе больших моделей глубокого обучения. Для успешного продуктового внедрения на мобильные платформы в условиях ограниченных вычислительных ресурсов эти модели должны быть не только точными, но также быстрыми и легковесными.
⠀
В этом докладе разберем следующее:
⠀
- как выбрать современную компактную архитектуру с наилучшим балансом скорости и качества
- какие трудности могут возникнуть при распределенном обучении face recognition модели на датасетах с миллионами изображений и сотнями тысяч классов
- при помощи каких методов передачи знаний от больших моделей к более маленьким можно минимизировать потери в точности из-за сокращения размера архитектуры
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об эволюции архитектуры транскодера узнаем из доклада Дмитрия Лукшто.
⠀
Дмитрий расскажет:
⠀
- как они перекодируют видео пользователей в самые популярные разрешения, считают видео сигнатуры, генерируют субтитры
- как учились приоритизировать живых пользователей и batch задачи
- как жить, если у вас тысячи воркеров, кластер на десятки тысяч ядер, который нужно использовать эффективно
- как они обрабатывают в среднем сотни тысяч видео в сутки, длительностью в тысячи часов
- как значительно улучшили утилизацию железа и скорость транскодирования, изменив архитектуру
- как обработать задачу за гарантированное время, если ваш кластер полностью загружен, и вы не умеете предсказывать eta для задач
⠀
Ждем вас на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel