ETL на Kafka + Confluent, проблемы и их решение с помощью Go обсудим на докладе Никиты Степанченко и Юры Саргсяна.

Возникла необходимость улучшения системы хранения данных о товарах. Они решили построить систему на базе Kafka, Confluent и kSQL для обработки огромного объема быстро меняющихся данных о товарах при ~9к сообщений в секунду в пиках при штатной работе и ~50к в секунду при нештатной работе.
⠀
Никита с Юрой расскажут о следующем:
⠀
- Причины, по которым они решили написать свою ETL систему и выбрали эти технологии.
- Как построить решение на основе Kafka, Confluent и kSQL для обработки большого объема меняющихся данных и создать микросерверную архитектуру на Go с помощью небольшой команды.
- Проблемы, с которыми они столкнулись при разработке и использовании данной системы.
- Как они решили эти проблемы, переписав часть системы (Sink-коннекторы) на Go.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

MaaS - Мониторинг как сервис обсудим с Валентином Лебедевым и Анной Журбенко.
⠀
Из доклада узнаем:
⠀
- Как использовать мониторинг на пользу, не подглядывая в монитор соседа
- Как узнавать о проблемах с сервисами до первого обращения клиента
- Как не «утонуть» в постоянно дребезжащих алертах
- Как мониторинг улучшает отношения между бизнесом и ИТ
⠀
🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Доклад Кирилла Борисова - это методологический доклад про то, как важно организовать мониторинг упрощающий нахождение проблем и не перегруженный лишней информацией.
⠀
Одним из антипаттернов наблюдаемости является Wall of Dashboard. Во многих компаниях существует огромное количество дашбордов, они создают 2 основные проблемы: информационную перегрузку и потерю фокуса. Также больше количество дашбордов добавляет сложность восприятия и затруднение выявления важных трендов. Ответьте себе на вопрос: Можно ли, посмотрев на дашборды, понять работает ли система? Если ответ нет, то вы выбрали нужный доклад.
⠀
В докладе проведем аналогии с разным сферами, в которых тоже используется статус панели для определения «живости» сервиса, рассмотрим один из вариантов правильной организации дашбордов. Рассмотрим стратегию упрощения дашбордов Разберем, как четко определенные метрики могут помочь в создании более понятных и эффективных дашбордов.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Domain Driven Design в Go – Илья Сергунин в своем докладе расскажет, что это не больно (почти).
⠀
DDD – подход, состоящий из множества элементов, и, если смотреть на этот клубок сверху, можно ужаснуться и отложить все его преимущества в долгий ящик.
⠀
С другой стороны, мы можем идти привычной дорогой к клубку легаси, с которым сложно работать. Данную дилемму можно свести к двум стульям и решить ее элегантно, идя постепенно, а не «Разбежавшись, прыгать со скалы».
⠀
Взяв CRUD, с которого чаще всего начинают множество проектов, мы постепенно соберём бизнес-правила и преобразуем кусочек за кусочком в доменную модель, применяя тактические паттерны DDD (Factory, Value Object, Entity, Aggregate, Repository), учитывая все их особенности в Go.
⠀
Дополнительно Илья познакомит нас с опенсорсными инструментами, которые нам помогают дружить: Go Way и DDD. Они:
⠀
- Позволяют не плодить getter и setter через сохранение публичных свойств у структур, но с запретом их редактировать вне домена.
- Следят за тем, чтобы слои инфраструктуры и приложения не врастали в домен.
- Отделяют представления (БД, API и т.д.) от домена.
⠀
Ждем вас на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️Повышение цены
⠀
Друзья, с 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но если забронировать билет до 31 октября, то текущая стоимость зафиксируется и у вас еще будет несколько дней для оплаты.
⠀
На HighLoad++ 2023 вас ждет:
⠀
- супер насыщенная программа из 150+ докладов на самые актуальные темы, связанные с большими и высоконагруженными IT-системами
- самая высокая концентрация IT-профессионалов страны
- классное времяпрепровождение в крутой тусовке единомышленников

Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Веб-сервер Angie год спустя: о новых возможностях и планах на будущее расскажет Валентин Бартенев.
⠀
В июле 2022 года, собрав команду из ведущих инженеров, работавших над разработкой и поддержкой веб-сервера nginx, Валентин с командой открыли свою компанию — «Веб-Сервер» и начали разработку Angie — российского веб-сервера с открытым исходным кодом.
⠀
Поговорим вот о чем:
⠀
- какие новые крутые возможности появились в веб-сервере Angie, отечественном форке nginx
- коротко пройдем по инфраструктуре, которая была развернута для поддержки пользователей
- о будущем, их планах, чего ждать в ближайшее и может быть не самое ближайшее время
⠀
Информативно. По делу. Отчет за год, без лишней воды.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

На творчестве Линуса Торвальдса NGFW не построишь. Почему для создания файрвола следующего поколения не подходит сетевой стек ОС Linux? Расскажет Денис Кораблев.
⠀
Разработка высокотехнологичного продукта для киберзащиты — сложный процесс, требующий глубокой экспертизы. Особенно если от него напрямую зависит стабильность бизнес-процессов компании, как в случае с NGFW.
⠀
Мы поговорим про два вызова продукта класса NGFW с точки зрения разработки:
⠀
- как быстро обрабатывать большой объем трафика? Spoiler — сетевой стек Linux нам не друг
- развеем мифы про железо. Может ли NGFW обойтись без специализированного и дорогостоящего железа? И если да, то чем за это придется заплатить?
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как и зачем писать свои плагины для GoLand? Узнаем из доклада Александра Кирсанова.
⠀
Знаете ли вы, что IDE можно расширять под себя? Делать что-то кастомное, уникальное, нужное лично вам.
⠀
ВКонтакте сделали несколько плагинов, которые кардинально упрощают жизнь бэкенд-разработчикам. Теперь готовы поделиться опытом: как их делать, что нужно знать, каким образом IDE хранит код, как реверс-инжинирить при отсутствии документации и даже, что делать в связи с уходом JetBrains из РФ. А главное, идеи и принципы никак не зависят от специфики ВКонтакте и точно могут быть обобщены на ваши задачи и процессы.
⠀
🖐 Ждем вас 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 - профессиональная конференция для Go-разработчиков.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Если вы хотите заглянуть под капот распределенной системы хранения YTsaurus, и узнать, как она бесшовно реплицируется между несколькими дата центрами — вам на доклад Руслана Савченко.
⠀
Репликация между инстансами СУБД позволяет повысить отказоустойчивость совокупной системы. Мы разберём, как устроена репликация в YTsaurus: распределённом key-value хранилище, использующемся в Яндексе и ставшем в 2023 году оpen source продуктом.
⠀
Тогда как данные внутри одного кластера YTsaurus хранятся с избыточностью и позволяют переживать выпадения отдельных машин и стоек, межкластерная репликация в YTsaurus предназначена для обеспечения отказоустойчивости на случай выключения целых кластеров. Один из важных сценариев даунтайма кластера YTsaurus - обновление на следующую версию.
⠀
Мы разберём, как работает межкластерная репликация в YTsaurus, какие гарантии даёт и как позволяет строить системы без даунтайма поверх обновляющихся кластеров YTsaurus.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Ирина Степанюк расскажет про обучение бота поддержки для банка: качественные данные и тысячи интентов.
⠀
В Тинькофф робот Олег для поддержки пользователей работает несколько лет и сейчас NLP команда обучает модели для более 1000 тематик (интентов) по разным направлениям и продуктам.
⠀
Ирина расскажет, как развивалась их система классификации интентов и подходы к работе, с какими ограничениями сталкивались и как их решали. Обсудим подробно пайплайн по поиску новых тематик, сбору датасета и какие модели можно использовать. А также поговорим про то, как поменялся мир и их задачи после появления LLM.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Алексей Костюченко поделится уникальным опытом разработки ядра реестра национальной доменной зоны.
⠀
Узнаем о создании новой версии реестра национальной доменной зоны BY и БЕЛ.
⠀
Алексей расскажет:
⠀
- историю и основные принципы работы национальной доменной зоны BY (БЕЛ);
- про разработку Gо-сервиса, работающего по протоколу TCP;
- про выявление узких мест при нагрузочном тестировании;
- о проблемах с надежностью работы сервиса с внешними клиентами при нестабильной работе сети;
- о профилировании приложения на проде и выявлении глупых ошибок программиста.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 - профессиональная конференция для Go-разработчиков.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Александр Капитанов и Александр Нагаев расскажут о переводчике с языка, на котором нельзя говорить и писать.
⠀
Представьте себе мир, где слова не используются для общения! Этот доклад раскрывает секреты создания переводчика для языка, которым нельзя говорить и писать. Узнаем, почему русский жестовый язык (РЖЯ) – не просто жесты, а мощный инструмент передачи абстрактных понятий. Какие трудности возникают при переводе РЖЯ и как их преодолеть?
⠀
Будьте первыми, кто узнает о новых данных и инновационных подходах, основанных на нейросетях! Не упустите шанс овладеть новым языком – языком жестов! Готовы ли вы открыть дверь в мир без слов и звука?
⠀
Два Александра расскажут о проблемах и особенностях русского жестового языка, и как они решают эту задачу в своей команде. В качестве бонуса выкладывают большой датасет в открытый доступ, что поможет ускорить реализацию AI-сервисов распознавания и генерации РЖЯ!
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Ознакомиться подробно с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Сам себе вендор. С Александром Поповым поговорим о внедрении EVPN в VK Cloud.
⠀
Облака — это не только независимая инфраструктура где-то в интернете. Это еще и непосредственные физические сетевые стыки с крупными клиентами прямо в их ЦОДах. Чаще всего сети — это ответственность сетевых инженеров. А у них обычно все построено на вендорном железе. Но что делать в том случае, если привычных всем вендоров больше нет?
⠀
Поговорим о проблемах вендорных решений, использовании их на примере такой задачки, как организация внешних стыков облака. Александр расскажет, как сделать то, что предоставляют вендоры из подручных материалов. Представит свою реализацию EVPN VTEP из стандартных Open Source-инструментов — OpenVSwitch, gobgp, Python.
⠀
Встречаемся на HighLoad++ 2023 в Москве 🖐
⠀
✅ Ознакомиться подробно с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Владимир Озеров расскажет, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake.
⠀
Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в озере данных, что позволяет компаниям более гибко и эффективно анализировать свои данные за счет уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище.
⠀
Подобные продукты используют принцип разделения compute и storage, при котором обработка и хранение данных происходит на разных серверах. Несмотря на многочисленные преимущества, разделение compute и storage приводит к серьезному вызову: как обеспечить высокую производительность обработки информации, хранящейся на удаленных серверах? Конкурентоспособен ли такой подход по сравнению с классическими хранилищами данных?
⠀
В докладе мы рассмотрим реализацию ключевых оптимизаций, которые позволяют Trino, Presto и Dremio быстро «перемалывать» данные из вашего озера: использование метаданных Parquet и ORC для уменьшения количества зачитываемых данных (partition pruning, project/filter/aggregate pushdown), динамическая фильтрация (runtime filtering), материализованные представления (materialized views), а также многочисленные кэши: кэш метаданных, кэш данных и кэш промежуточных результатов запросов.
⠀
🖐 Ждем вас на HighLoad++ 2023 в Москве.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Филипп Бочаров в своем докладе расскажет о распределенной трассировке с Jaeger и Clickhouse.
⠀
МТС — это огромная экосистема продуктов, в которой каждую секунду происходят тысячи взаимодействий между компонентами. В 2019 году они запустили внутренний сервис распределенной трассировки, чтобы помочь командам отслеживать ошибки в работе экосистемы. За это время они прошли длинный путь, подключив 1000+ сервисов, научившись обрабатывать 150 тысяч спанов в секунду и несколько раз поменяв архитектуру решения.
⠀
В докладе Филипп расскажет, как они мигрировали с Elasticsearch на Clickhouse для хранения распределенной трассировки. Как на собственных ошибках нарабатывали экспертизу по Clickhouse и дорабатывали Open Source-решения под свои нагрузки. Как дали возможность выполнять аналитические запросы к Clickhouse и строить дашборды по данным трассировки.
⠀
Встречаемся на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel