Из доклада Ильи Дружинина узнаем про уязвимости платформы Hyperledger Fabric.
⠀
Илья расскажет про:
⠀
- Уязвимости консенсусов платформы Hyperledger Fabric (Raft, Kafka, SmartBFT).
- Уязвимости и архитектурные особенности платформы Hyperledger Fabric.
- Потенциальные атаки на протоколы и компоненты платформы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Олег Сиротюк в своём докладе расскажет про Open Source-экосистему Китая: историю, настоящее и будущее.
⠀
Компании Китая начали использовать Open Source-технологии еще в далёком 2000 году, и к 2022 году Китай стал вторым крупнейшим Open Source-контрибьютором Open Source-проектов в мире.
⠀
В 2013 году был создан репозиторий Gitee как национальная альтернатива Github. К 2023 году на Gitee было зарегистрировано более 7 миллионов активных разработчиков, более 25 миллионов репозиториев и подключено более 2000 университетов Китая. Это сделало Gitee вторым крупнейшим репозиторием Open Source-проектов в мире после Github.
⠀
В 2020 году ведущие компании Китая — Alibaba, Baidu, Huawei, Inspur, 360, Tencent и China Merchants Bank — создали национальный фонд OpenAtom для поддержки развития проектов с открытым исходным кодом в Китае. Сегодня проекты этого фонда, такие как openEuler и OpenHarmony, объединяют десятки тысяч индивидуальных разработчиков и тысячи китайских компаний, что делает их крупнейшими Open Source-сообществами в мире и основой национального IТ-суверенитета Китая.
⠀
В данном докладе мы рассмотрим историю, настоящее и попробуем сделать прогноз будущего Open Source в Китае. Мы обсудим подходы, которые позволили китайским компаниям совместно развивать Open Source-проекты, а также рассмотрим, как опыт и достижения Китая могут быть полезны для России.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

В своём докладе Валерий Ильин расскажет, как устроена система сканирования робота Spectro.
⠀
Доклад описывает принцип работы системы сканирования на роботе Spectro (на уровне компьютерного зрения), челленджи, с которыми они столкнулись по Perfomance во время разработки, как выполняется базовая бизнес-логика для проведения инвентаризации робота, а также какие результаты собирает робот, и как склад ими пользуется уже сейчас.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

О миграции витрины данных с СУБД Teradata в СУБД Greenplum поговорим со Станиславом Свириденко.
⠀
Миграция СУБД с одной технологии на другую — достаточно сложный процесс, который связан не только с конвертацией кода и переливкой данных, хотя и здесь есть неочевидные нюансы.
⠀
В своем докладе Станислав хочет рассказать об одном опыте миграции витрины данных с СУБД Teradata на СУБД GreenPlum, о задачах, которые приходилось решать в процессе этой миграции, и тех подводных камнях, на которые они периодически натыкались.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как разрабатываются свободные проекты в команде ALT? Узнаем из доклада Евгения Синельникова.
⠀
ALT Linux Team — это международная команда разработчиков, объединённая вокруг репозитория свободного ПО — проекта Сизиф. Ключевая особенность деятельности команды ALT заключается в открытом подходе к разработке. Все, в том числе и проприетарные продукты компании «Базальт СПО» — дистрибутивы семейства Альт — поставляются в исходном коде, а компоненты, составляющие эти продукты, доступны по свободным или открытым лицензиям (за исключением закрытых драйверов и программных решений некоторых известных компаний).
⠀
Евгений расскажет:
⠀
- Где и как можно встретить наработки команды ALT.
- Какие свободные проекты разрабатывает команда ALT для корпоративных задач.
- Как, вообще, работает модель разработки «бесплатных» программ с точки зрения разработчика.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Domain Driven Design — это больно, когда из красивых книг переходит в реальный проект. Дмитрий Анисов расскажет об этой боли на своем опыте, какими решениями она вызвана, про непростые выборы в архитектуре, и как Go-специфика влияет на реализации DDD на практике.
⠀
Узнаем о необходимости DDD, о его плюсах и минусах, зачем стоит использовать данный подход в разработке, и с какими трудностями они столкнулись. Как проектировать внутреннюю архитектуру сервиса так, чтобы было удобно и эффективно работать с ним в будущем.
⠀
Рассмотрим пример одного из сервисов на Go, на основе которого будут разбираться основные детали. Разберём наиболее частые вопросы, которые возникают в процессе внутреннего проектирования сервисов, и проблемы, с которыми сталкиваются разработчики.
⠀
Те, кто не знаком или не имеют опыта работы и написания кода в стиле DDD, узнают, как можно и нужно проектировать сервисы, какие практики и архитектурные стили существуют, если это не обычный CRUD. А те, кто знаком, смогут почерпнуть новые идеи, а также, возможно, получат ответы на вопросы, которые возникали при использовании данного подхода в разработке.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой проёдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Басель Дарвиш расскажет, как они в 1С сделали с нуля веб-фреймворк и панель управления облака на нем.
⠀
Всем нужны платформы для организации своей разработки, чтобы повысить управляемость зоопарком технологий, упростить поддержку своих сервисов (особенно микросервисов), стандартизировать решение одних и тех же задач при запуске каждого нового сервиса, тем самым повысить скорость и качество разработки.
⠀
В 1С уже очень давно строят фреймворки для своих пользователей. И, конечно, при создании своего PaaS-облака, при разработке его слоя управления (админки и control plane) решили использовать свой веб-фреймворк, в котором решены такие вопросы, как управление пользователями и правами доступа, есть встроенный BI для очень наглядных графиков и многое другое.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как вложиться в Open Source и не прогореть? Узнаем из доклада Антона Виноградова.
⠀
В основе их сервисов лежит Open Source-распределенная база данных — Apache Ignite, точнее, их продукт, на ней основанный.
⠀
Для обеспечения гарантий быстродействия, их кастомерам потребовалось хранить как можно больше данных в оперативной памяти, и они доработали свой продукт. Пошли по пути компромисса между донейшеном в Open Source и приватной фичей и получили плюсы от обоих подходов.
⠀
В докладе пройдем весь путь от постановки задачи до её решения — разработки механизма сжатия данных в памяти. Разберем все варианты реализации сжатия данных в Apache Ignite, включая уже существовавшие, проанализируем подводные камни и бонусы каждого из вариантов, в том числе неожиданные.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Поиск по образцу на последовательностях строк в БД обсудим с Евгением Зверевым.
⠀
Задача поиска по образцу на последовательности строк БД может возникать в различных сферах деятельности. Например, в финансовой аналитике — поиск определённых паттернов изменения цены акций; в системах борьбы с мошенничеством (AntiFraud) — поиск последовательностей событий, которые могут свидетельствовать о подозрительной активности, а также в IoT и многих других.
⠀
Для реализации таких запросов к базам данных в стандарте SQL:2016 была введена конструкция MATCH_RECOGNIZE, которая постепенно появляется в популярных базах данных с тем или иным набором ограничений, т. к. конструкция довольно сложная и имеет большое количество особенностей и режимов работы.
⠀
В своём докладе Евгений расскажет о реализации MATCH_RECOGNIZE в YDB: о том, как это работает под капотом, какие подходы и алгоритмы реализованы, с какими сложностями они столкнулись.
⠀
Отдельная часть выступления будет посвящена отличиям в обработке аналитических запросов на табличках и обработке на потоках «живых» данных. Какие возникают ограничения при обработке потоков, как бороться с большим стейтом, необходимым для накопления цепочек совпадений на сложных образцах и пр.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

C Олегом Чирухиным поговорим о том, как создается Java.
⠀
Проекты в Open Source разрабатываются так, что задаёшься вопросом — почему же всё это не превратилось в хаос? Как эти люди, вообще, способны выпустить завершённый, работающий продукт?
⠀
В этом докладе мы поговорим о том, как устроен проект OpenJDK. Он будет интересен тем, кто хочет разобраться в процессах крупного Open Source-проекта и унести что-то себе.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

С Иваном Матвеевым обсудим собеседования на senior разработчика: зачем проверять soft skills вопросами на hard skills.
⠀
Представьте, вы пришли на интервью. Какой вопрос будет первым? Что-то про slice или map. А что потом? Ну, наверное, что-то про concurrency и как устроена многопоточка в Go. Вы думаете: «Ну почему опять эти базовые вопросы. Это же так просто».
⠀
Оказывается, большинство ответов на вопросы по hard skills — могут многое рассказать о кандидате-разработчике.
⠀
Из доклада узнаем:
⠀
- что проверяют на «простых» вопросах
- как задачки позволяют понять — впишется разработчик в команду или нет
- какие черты характера можно определить на вопросах по устройству многопоточности в Go
- всё это приправлено вагоном историй и баек из более чем 50 собеседований за 2 года на различные позиции
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про чистые метки для ML поговорим с Анастасией Беззубцевой.
⠀
Анастасия расскажет про связь качества моделей и меток, на которых она обучена, про способы улучшить качество меток, полученных от крауда (Toloka, MTurk и аналоги). Поделится историями из жизни — плохими и хорошими примерами, как можно организовать сбор меток, и как их качество помогает улучшить распознавание речи, распознавание текста по картинке, синтез речи и другие ML-модели.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Олег Балбеков поделится (не)удачным экспериментом по выращиванию культуры Open Source.
⠀
Удобно, когда бизнес компании построен вокруг Open Source. Можно заниматься любимым делом и автоматически иметь преимущества при найме, материал для статей, выступлений на конференциях.
⠀
Но что, если вы обычная аутстаффинговая компания? Компания Олега занимается аутстаффом: они нанимают разработчиков, обучают их, и затем они работают на проектах клиентов компании, где редко можно встретить Open Source.
⠀
Несколько лет назад, смотря на успехи Open Source и на то, как они заботятся о своих сотрудниках, Олег решил провести эксперимент. Что, если помогать разработчикам с их начинаниями? Оплачивать личное время работы над проектами, помогать им с дизайном, сайтами для их pet projects. Рассказывать об их Open Source силами редакции компании. Использовать проекты для обучения разработчиков и много чего еще. Олег выделил бюджет, наметил процессы, и эксперимент начался.
⠀
Прошло три года, их проекты имеют тысячи звезд на гитхабе, но последний раз Олег подписывал экспенсы за участие в Open Source больше года назад.
⠀
Это доклад о том, что он хотел сделать, что получилось, а что пошло совсем не так, как ожидалось.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌

✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Firewall в облаке: Никита Ражев поделится способами внедрения в сетевые архитектуры.
⠀
Межсетевые экраны в облаке можно внедрить разными способами и по-разному организовать маршрутизацию. Никита расскажет, как они постепенно, за несколько лет пришли от простых решений к сложным, какие задачи перед ними ставил бизнес. А также какие достоинства и недостатки существуют в выбранных и нереализованных решениях. Поделится своим опытом внедрения и обсудим ваш.
⠀
🖐 Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Дмитрия Латышева узнаем, как они построили модерацию рекламы с нуля и достигли потока 1 млрд вердиктов в сутки.
⠀
Из-за роста объема рекламных объявлений Яндексу требуется модерировать более 1 миллиарда различных объектов в день с минимальными задержками автоматических проверок порядка единиц секунд, при этом добиться высокого качества модерации.
⠀
На входе у них были две системы с неподходящими архитектурами для поставленных ими целей. Первая была написана на устаревших технологиях, что затрудняло развитие и масштабирование, а вторая батчевая система с нетипизированными данными и множеством составных компонентов, не укладывающаяся в требуемые тайминги. В этих условиях было также сложно поддерживать качество вердиктов на достаточном уровне.
⠀
Они решили написать новую модерацию с нуля на основе стримингового фреймворка поверх YTsaurus. В результате они полностью переехали на новую систему, по пути наткнувшись на множество проблем, которые не были видны со старта. В докладе будет рассказано, с какими проблемами им пришлось столкнуться, и как они их решили.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Алексеем Дмитриевым поговорим про особенности шин данных для очень больших инсталляций на примере YDB Topics.
⠀
Шины передачи данных используются практически везде, но использование шин данных в очень больших инсталляциях на тысячи серверов накладывает особые требования для работы и приводит к отличиям в работе систем. Поговорим на примере YDB Topics, в чем заключаются эти отличия, как они влияют на архитектуру и эксплуатацию.
⠀
Встречаемся уже совсем скоро на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Авито.Автозагрузка: от 4 млн до 80 млн активных объявлений. Евгений Толмачев расскажет, как они искали проблемные места для поддержки роста х20.
⠀
Автозагрузка — это инструмент, позволяющий клиентам автоматизировать работу со своими объявлениями. Он состоит из множества сервисов и входит в топ-10 потребителей ресурсов в компании.
⠀
За все время существования они привыкли к линейному росту — каждый год продукт увеличивался в 1,5-2 раза, но в 2021 году все изменилось. Для запуска важных продуктовых инициатив им требовалось поддержать рост х20 и несмотря на то, что они имели неплохой «запас прочности», к таким цифрам не были готовы.
⠀
На Saint HighLoad++ 2023 Евгений уже рассказывал, как они готовили к росту один из своих сервисов. В этот раз он поделится опытом поддержки роста х20 уже на уровне всей компании и расскажет:
⠀
• как они искали узкие места и потенциальные точки отказа среди нескольких десятков сервисов, через которые проходит объявление перед тем, как попасть на Авито;
⠀
• о подходе к нагрузочному тестированию, который позволил им за квартал справиться с задачей, которую они изначально оценили в несколько человеко-лет;
⠀
• об основных проблемных местах в их архитектуре и решениях, которые помогли с ними справиться;
⠀
• о концепте инструмента прогнозирования нагрузки и проактивного поиска проблемных мест, который в будущем поможет исправлять их заранее.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Частичная модификация объектов в Yandex Object Storage: Александр Снопов расскажет, как они улучшают работу ФС поверх S3.
⠀
Объектные хранилища являются популярными системами хранения данных с отличной масштабируемостью, простым API и подходят для большого спектра задач. Однако для некоторых приложений возможностей стандартного объектного хранилища может оказаться недостаточно, а именно, когда для работы требуется интерфейс ФС.
⠀
Сейчас уже есть возможность работать с Yandex Object Storage как с ФС с помощью GeeseFS, про которую они рассказывали в прошлом году. Но для хорошего решения им сильно не хватало возможности частичной перезаписи объектов - метода PATCH. Про него и будет доклад.
⠀
В докладе Александр расскажет про:
⠀
- задачи, для которых не хватает стандартного S3 API, и хочется работать с хранилищем как с ФС;
- какие возможности предоставляют в этом плане различные облачные провайдеры;
- подробности про то, как они решали эту проблему в прошлом и чего не хватало для счастья;
- технические аспекты реализации частичной модификации объектов, проблемы, с которыми они столкнулись;
- что получилось в итоге, какие возможности дает метод PATCH и что планируется в будущем.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel