🔥Последний день народного голосования Премии HighLoad++
⠀
Друзья, напоминаем, что 15 октября (сегодня) у вас еще есть возможность выбрать самых достойных номинантов Премии HighLoad++.

Каждый ваш голос - это благодарность IT-лидерам и их решениям за вклад в развитие экосистемы интернет-разработки в России.
⠀
В этом году компания VK поддержала специальную номинацию «Развивающие проекты», посвященную людям и проектам, которые создают условия для развития: профессиональных разработчиков, новичков в IT и экспертных сообществ, специалистов в молодых цифровых профессиях или одарённых школьников.

Чтобы проголосовать вам необходимо авторизоваться в системе и выбрать трех достойных номинантов.
Вы можете распределить свои голоса между основным голосованием и спец.номинацией.

Имена победителей мы узнаем 27 ноября на церемонии награждения!
⠀
✅ Отдать свой голос за достойного номинанта можно на сайте в описании канала @HighLoadChannel

Доклад Дмитрия Кырхларова – это экспертный рассказ про организацию инфраструктуры для средних компаний, которая базируется на 10+ летнем опыте объединения нескольких десятков небольших компаний.
⠀
Из доклада Дмитрия узнаем вот о чем:
⠀
- Путь от техдолга в 20 лет до построения катастрофо-устойчивого решения в IT-компании среднего размера.
Не пытайтесь повторить. Все трюки выполнены профессионалами, которые не знали во что ввязываются.
- Попурри из подходов и решений, которые позволяют не бояться отказа целого дата-центра.
- Организация мониторинга и алертинга, особенности построения гео-распределенных кластеров БД, воспроизводимость серверов, сегментация production контура и прочая.
- Формула баланса надежности, скорости разработки и стоимости владения, которая нам подошла на этапе перестройки.
⠀
Ждем вас 27 и 28 ноября на профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Александром Калошиным и Константином Пастор-Гертье обсудим бойлерплейт как инструмент стандартизации Go проектов.
⠀
Процесс написания микросервисного приложения неразрывно связан с большим количеством связей и однотипных переиспользуемых пакетов. Всегда не хочется в таких случая писать один и тот же код, когда он может быть сгенерирован.
⠀
Однако в нашей отрасли не так-то много генераторов микросервисов, а те, что есть заставляют вендор-лочиться.
⠀
Александр с Константином расскажут, почему, а главное, как они сделали ещё один генератор микросервисов. Поделятся почему это оказалось не так тривиально и с какими сложностями они столкнулись, и как спустя некоторое время они осознали дзен. Под капотом расскажут, как использовали protobuf, uberfx, писали хуки. Поделятся, как рефлектили всё что можно и стандартизировали работу с логами, конфигами и процесс сборки и деплоя.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Реализовать OLAP: Софья Новожилова расскажет, как они делали колоночное хранение в YDB.
⠀
YDB — это платформа, которая умеет обрабатывать большой поток быстрых транзакций (OLTP, Online Transaction Processing).
⠀
Помимо этого, она даёт всю необходимую инфраструктуру для базы данных:
⠀
- репликации
- отказоустойчивый сторадж
- автошардирование
- query processing
- grpс-клиенты
- систему доставки данных и проч.
⠀
Имея такой стартовый набор, Софья с командой захотели научить YDB обрабатывать другой тип запросов — аналитические (OLAP, Online Analytical Processing).
⠀
Казалось бы, давайте поменяем систему хранения, упакуем данные по колонкам и получим профит. Но достаточно ли этого?
⠀
Ответ на данный вопрос, а также на вопросы: зачем это было нужно и какая польза от таких расширений системе в целом — будет в докладе.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Из доклада Сергея Прилуцкого узнаем про zkSNARKs - компактные неинтерактивные пруфы для масштабирования и безопасности.
⠀
Доклад описывает технологию zkSNARKs, используемую для масштабирования сервисов и в различных zero-knowledge протоколах. Эта молодая технология сейчас находится на острие развития современной криптографии, ей занимаются в топовых университетах мира, а решения на ее основе позволяют доказывать исполнение вычислений на trustless клиентах с легкой, constant-sized верификацией на стороне сервера.
⠀
Она идеально ложится на блокчейн технологии, где легкая верификация располагается на сильно ограниченной в ресурсах блокчейн-стороне, но и для других архитектур открывает множество новых возможностей. Например, сверхлегкие доказательства наличия пользователя в некотором списке, аутентификация без обращения к базе пользователей, доказательства нахождения некоторого значения в storage и т.п.
⠀
Сергей расскажет про основную концепцию арифметических circuits, покажет практические примеры простых доказательств, опишет дизайн некоторых протоколов и ограничения подобных решений. Сама технология уже несколько лет успешно используется в production, где отвечает за реальные деньги пользователей, используется для масштабирования и защиты финансовых активов, активно развивается в проектах, не имеющих аналогов в традиционном поле.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Real-time распознавание лиц: методы обучения быстрых и точных моделей для работы на мобильных девайсах узнаем из доклада Вадима Селютина.
⠀
Наиболее точные решения по распознаванию лиц строятся на основе больших моделей глубокого обучения. Для успешного продуктового внедрения на мобильные платформы в условиях ограниченных вычислительных ресурсов эти модели должны быть не только точными, но также быстрыми и легковесными.
⠀
В этом докладе разберем следующее:
⠀
- как выбрать современную компактную архитектуру с наилучшим балансом скорости и качества
- какие трудности могут возникнуть при распределенном обучении face recognition модели на датасетах с миллионами изображений и сотнями тысяч классов
- при помощи каких методов передачи знаний от больших моделей к более маленьким можно минимизировать потери в точности из-за сокращения размера архитектуры
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об эволюции архитектуры транскодера узнаем из доклада Дмитрия Лукшто.
⠀
Дмитрий расскажет:
⠀
- как они перекодируют видео пользователей в самые популярные разрешения, считают видео сигнатуры, генерируют субтитры
- как учились приоритизировать живых пользователей и batch задачи
- как жить, если у вас тысячи воркеров, кластер на десятки тысяч ядер, который нужно использовать эффективно
- как они обрабатывают в среднем сотни тысяч видео в сутки, длительностью в тысячи часов
- как значительно улучшили утилизацию железа и скорость транскодирования, изменив архитектуру
- как обработать задачу за гарантированное время, если ваш кластер полностью загружен, и вы не умеете предсказывать eta для задач
⠀
Ждем вас на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

ETL на Kafka + Confluent, проблемы и их решение с помощью Go обсудим на докладе Никиты Степанченко и Юры Саргсяна.

Возникла необходимость улучшения системы хранения данных о товарах. Они решили построить систему на базе Kafka, Confluent и kSQL для обработки огромного объема быстро меняющихся данных о товарах при ~9к сообщений в секунду в пиках при штатной работе и ~50к в секунду при нештатной работе.
⠀
Никита с Юрой расскажут о следующем:
⠀
- Причины, по которым они решили написать свою ETL систему и выбрали эти технологии.
- Как построить решение на основе Kafka, Confluent и kSQL для обработки большого объема меняющихся данных и создать микросерверную архитектуру на Go с помощью небольшой команды.
- Проблемы, с которыми они столкнулись при разработке и использовании данной системы.
- Как они решили эти проблемы, переписав часть системы (Sink-коннекторы) на Go.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

MaaS - Мониторинг как сервис обсудим с Валентином Лебедевым и Анной Журбенко.
⠀
Из доклада узнаем:
⠀
- Как использовать мониторинг на пользу, не подглядывая в монитор соседа
- Как узнавать о проблемах с сервисами до первого обращения клиента
- Как не «утонуть» в постоянно дребезжащих алертах
- Как мониторинг улучшает отношения между бизнесом и ИТ
⠀
🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Доклад Кирилла Борисова - это методологический доклад про то, как важно организовать мониторинг упрощающий нахождение проблем и не перегруженный лишней информацией.
⠀
Одним из антипаттернов наблюдаемости является Wall of Dashboard. Во многих компаниях существует огромное количество дашбордов, они создают 2 основные проблемы: информационную перегрузку и потерю фокуса. Также больше количество дашбордов добавляет сложность восприятия и затруднение выявления важных трендов. Ответьте себе на вопрос: Можно ли, посмотрев на дашборды, понять работает ли система? Если ответ нет, то вы выбрали нужный доклад.
⠀
В докладе проведем аналогии с разным сферами, в которых тоже используется статус панели для определения «живости» сервиса, рассмотрим один из вариантов правильной организации дашбордов. Рассмотрим стратегию упрощения дашбордов Разберем, как четко определенные метрики могут помочь в создании более понятных и эффективных дашбордов.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Domain Driven Design в Go – Илья Сергунин в своем докладе расскажет, что это не больно (почти).
⠀
DDD – подход, состоящий из множества элементов, и, если смотреть на этот клубок сверху, можно ужаснуться и отложить все его преимущества в долгий ящик.
⠀
С другой стороны, мы можем идти привычной дорогой к клубку легаси, с которым сложно работать. Данную дилемму можно свести к двум стульям и решить ее элегантно, идя постепенно, а не «Разбежавшись, прыгать со скалы».
⠀
Взяв CRUD, с которого чаще всего начинают множество проектов, мы постепенно соберём бизнес-правила и преобразуем кусочек за кусочком в доменную модель, применяя тактические паттерны DDD (Factory, Value Object, Entity, Aggregate, Repository), учитывая все их особенности в Go.
⠀
Дополнительно Илья познакомит нас с опенсорсными инструментами, которые нам помогают дружить: Go Way и DDD. Они:
⠀
- Позволяют не плодить getter и setter через сохранение публичных свойств у структур, но с запретом их редактировать вне домена.
- Следят за тем, чтобы слои инфраструктуры и приложения не врастали в домен.
- Отделяют представления (БД, API и т.д.) от домена.
⠀
Ждем вас на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️Повышение цены
⠀
Друзья, с 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но если забронировать билет до 31 октября, то текущая стоимость зафиксируется и у вас еще будет несколько дней для оплаты.
⠀
На HighLoad++ 2023 вас ждет:
⠀
- супер насыщенная программа из 150+ докладов на самые актуальные темы, связанные с большими и высоконагруженными IT-системами
- самая высокая концентрация IT-профессионалов страны
- классное времяпрепровождение в крутой тусовке единомышленников

Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Веб-сервер Angie год спустя: о новых возможностях и планах на будущее расскажет Валентин Бартенев.
⠀
В июле 2022 года, собрав команду из ведущих инженеров, работавших над разработкой и поддержкой веб-сервера nginx, Валентин с командой открыли свою компанию — «Веб-Сервер» и начали разработку Angie — российского веб-сервера с открытым исходным кодом.
⠀
Поговорим вот о чем:
⠀
- какие новые крутые возможности появились в веб-сервере Angie, отечественном форке nginx
- коротко пройдем по инфраструктуре, которая была развернута для поддержки пользователей
- о будущем, их планах, чего ждать в ближайшее и может быть не самое ближайшее время
⠀
Информативно. По делу. Отчет за год, без лишней воды.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

На творчестве Линуса Торвальдса NGFW не построишь. Почему для создания файрвола следующего поколения не подходит сетевой стек ОС Linux? Расскажет Денис Кораблев.
⠀
Разработка высокотехнологичного продукта для киберзащиты — сложный процесс, требующий глубокой экспертизы. Особенно если от него напрямую зависит стабильность бизнес-процессов компании, как в случае с NGFW.
⠀
Мы поговорим про два вызова продукта класса NGFW с точки зрения разработки:
⠀
- как быстро обрабатывать большой объем трафика? Spoiler — сетевой стек Linux нам не друг
- развеем мифы про железо. Может ли NGFW обойтись без специализированного и дорогостоящего железа? И если да, то чем за это придется заплатить?
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как и зачем писать свои плагины для GoLand? Узнаем из доклада Александра Кирсанова.
⠀
Знаете ли вы, что IDE можно расширять под себя? Делать что-то кастомное, уникальное, нужное лично вам.
⠀
ВКонтакте сделали несколько плагинов, которые кардинально упрощают жизнь бэкенд-разработчикам. Теперь готовы поделиться опытом: как их делать, что нужно знать, каким образом IDE хранит код, как реверс-инжинирить при отсутствии документации и даже, что делать в связи с уходом JetBrains из РФ. А главное, идеи и принципы никак не зависят от специфики ВКонтакте и точно могут быть обобщены на ваши задачи и процессы.
⠀
🖐 Ждем вас 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 - профессиональная конференция для Go-разработчиков.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Если вы хотите заглянуть под капот распределенной системы хранения YTsaurus, и узнать, как она бесшовно реплицируется между несколькими дата центрами — вам на доклад Руслана Савченко.
⠀
Репликация между инстансами СУБД позволяет повысить отказоустойчивость совокупной системы. Мы разберём, как устроена репликация в YTsaurus: распределённом key-value хранилище, использующемся в Яндексе и ставшем в 2023 году оpen source продуктом.
⠀
Тогда как данные внутри одного кластера YTsaurus хранятся с избыточностью и позволяют переживать выпадения отдельных машин и стоек, межкластерная репликация в YTsaurus предназначена для обеспечения отказоустойчивости на случай выключения целых кластеров. Один из важных сценариев даунтайма кластера YTsaurus - обновление на следующую версию.
⠀
Мы разберём, как работает межкластерная репликация в YTsaurus, какие гарантии даёт и как позволяет строить системы без даунтайма поверх обновляющихся кластеров YTsaurus.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel