HighLoad++
5.99K subscribers
2.3K photos
138 videos
15 files
2.13K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
Внутри S3 — Павел Левдик раскроет внутреннее устройство современных облаков, что у них под капотом.

Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объемы данных, а также огромные объемы метаданных. Для хранения метаданных используется множество шардов postgres. Они научились использовать умное шардирование, сами управляют распределением занятого места и нагрузкой между шардами.

Павел расскажет, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил ваш сервис.

🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Как выйти в опенсорс и не сойти с ума: Андрей Ривкин поделится опытом YTsaurus.

Андрей расскажет, как пройти путь от создания технологии внутри компании до выхода в опенсорс на примере YTsaurus — платформы для работы с большими данными, одной из ключевых частей инфраструктуры Яндекса. Подробно расскажет про все подводные камни: как привести в порядок код, как сделать внешнюю документацию, как убедиться в том, что технология действительно может быть полезна пользователям вне компании, а главное — что делать дальше.

Встречаемся на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Media is too big
VIEW IN TELEGRAM
Алексей Миловидов — разработчик и создатель технологии ClickHouse. Проект получил больше $2 млрд инвестиций.

Эта распределенная аналитическая система управления базами данных с открытым исходным кодом используется компаниями со всего мира. Она столбцовая и позволяет онлайн обрабатывать аналитические запросы. Значения из разных столбцов хранятся отдельно, а данные одного столбца - вместе.

За этот вклад в Open Source сообщество Алексея наградили Премией HighLoad++. Мы узнали у лауреата, каким был его путь, что помогло ему создать такой сложный и успешный продукт.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/773584/
🔥9👍21
Из доклада Ильи Дружинина узнаем про уязвимости платформы Hyperledger Fabric.

Илья расскажет про:

- Уязвимости консенсусов платформы Hyperledger Fabric (Raft, Kafka, SmartBFT).
- Уязвимости и архитектурные особенности платформы Hyperledger Fabric.
- Потенциальные атаки на протоколы и компоненты платформы.

До скорой встречи на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥3👍3🤩21
Олег Сиротюк в своём докладе расскажет про Open Source-экосистему Китая: историю, настоящее и будущее.

Компании Китая начали использовать Open Source-технологии еще в далёком 2000 году, и к 2022 году Китай стал вторым крупнейшим Open Source-контрибьютором Open Source-проектов в мире.

В 2013 году был создан репозиторий Gitee как национальная альтернатива Github. К 2023 году на Gitee было зарегистрировано более 7 миллионов активных разработчиков, более 25 миллионов репозиториев и подключено более 2000 университетов Китая. Это сделало Gitee вторым крупнейшим репозиторием Open Source-проектов в мире после Github.

В 2020 году ведущие компании Китая — Alibaba, Baidu, Huawei, Inspur, 360, Tencent и China Merchants Bank — создали национальный фонд OpenAtom для поддержки развития проектов с открытым исходным кодом в Китае. Сегодня проекты этого фонда, такие как openEuler и OpenHarmony, объединяют десятки тысяч индивидуальных разработчиков и тысячи китайских компаний, что делает их крупнейшими Open Source-сообществами в мире и основой национального IТ-суверенитета Китая.

В данном докладе мы рассмотрим историю, настоящее и попробуем сделать прогноз будущего Open Source в Китае. Мы обсудим подходы, которые позволили китайским компаниям совместно развивать Open Source-проекты, а также рассмотрим, как опыт и достижения Китая могут быть полезны для России.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3🔥2
В своём докладе Валерий Ильин расскажет, как устроена система сканирования робота Spectro.

Доклад описывает принцип работы системы сканирования на роботе Spectro (на уровне компьютерного зрения), челленджи, с которыми они столкнулись по Perfomance во время разработки, как выполняется базовая бизнес-логика для проведения инвентаризации робота, а также какие результаты собирает робот, и как склад ими пользуется уже сейчас.

🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1🔥1
О миграции витрины данных с СУБД Teradata в СУБД Greenplum поговорим со Станиславом Свириденко.

Миграция СУБД с одной технологии на другую — достаточно сложный процесс, который связан не только с конвертацией кода и переливкой данных, хотя и здесь есть неочевидные нюансы.

В своем докладе Станислав хочет рассказать об одном опыте миграции витрины данных с СУБД Teradata на СУБД GreenPlum, о задачах, которые приходилось решать в процессе этой миграции, и тех подводных камнях, на которые они периодически натыкались.

Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
Как разрабатываются свободные проекты в команде ALT? Узнаем из доклада Евгения Синельникова.

ALT Linux Team — это международная команда разработчиков, объединённая вокруг репозитория свободного ПО — проекта Сизиф. Ключевая особенность деятельности команды ALT заключается в открытом подходе к разработке. Все, в том числе и проприетарные продукты компании «Базальт СПО» — дистрибутивы семейства Альт — поставляются в исходном коде, а компоненты, составляющие эти продукты, доступны по свободным или открытым лицензиям (за исключением закрытых драйверов и программных решений некоторых известных компаний).

Евгений расскажет:

- Где и как можно встретить наработки команды ALT.
- Какие свободные проекты разрабатывает команда ALT для корпоративных задач.
- Как, вообще, работает модель разработки «бесплатных» программ с точки зрения разработчика.

🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
Domain Driven Design — это больно, когда из красивых книг переходит в реальный проект. Дмитрий Анисов расскажет об этой боли на своем опыте, какими решениями она вызвана, про непростые выборы в архитектуре, и как Go-специфика влияет на реализации DDD на практике.

Узнаем о необходимости DDD, о его плюсах и минусах, зачем стоит использовать данный подход в разработке, и с какими трудностями они столкнулись. Как проектировать внутреннюю архитектуру сервиса так, чтобы было удобно и эффективно работать с ним в будущем.

Рассмотрим пример одного из сервисов на Go, на основе которого будут разбираться основные детали. Разберём наиболее частые вопросы, которые возникают в процессе внутреннего проектирования сервисов, и проблемы, с которыми сталкиваются разработчики.

Те, кто не знаком или не имеют опыта работы и написания кода в стиле DDD, узнают, как можно и нужно проектировать сервисы, какие практики и архитектурные стили существуют, если это не обычный CRUD. А те, кто знаком, смогут почерпнуть новые идеи, а также, возможно, получат ответы на вопросы, которые возникали при использовании данного подхода в разработке.

Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой проёдет Golang Conf 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Басель Дарвиш расскажет, как они в 1С сделали с нуля веб-фреймворк и панель управления облака на нем.

Всем нужны платформы для организации своей разработки, чтобы повысить управляемость зоопарком технологий, упростить поддержку своих сервисов (особенно микросервисов), стандартизировать решение одних и тех же задач при запуске каждого нового сервиса, тем самым повысить скорость и качество разработки.

В 1С уже очень давно строят фреймворки для своих пользователей. И, конечно, при создании своего PaaS-облака, при разработке его слоя управления (админки и control plane) решили использовать свой веб-фреймворк, в котором решены такие вопросы, как управление пользователями и правами доступа, есть встроенный BI для очень наглядных графиков и многое другое.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Как вложиться в Open Source и не прогореть? Узнаем из доклада Антона Виноградова.

В основе их сервисов лежит Open Source-распределенная база данных — Apache Ignite, точнее, их продукт, на ней основанный.

Для обеспечения гарантий быстродействия, их кастомерам потребовалось хранить как можно больше данных в оперативной памяти, и они доработали свой продукт. Пошли по пути компромисса между донейшеном в Open Source и приватной фичей и получили плюсы от обоих подходов.

В докладе пройдем весь путь от постановки задачи до её решения — разработки механизма сжатия данных в памяти. Разберем все варианты реализации сжатия данных в Apache Ignite, включая уже существовавшие, проанализируем подводные камни и бонусы каждого из вариантов, в том числе неожиданные.

Встречаемся на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41👍1
Поиск по образцу на последовательностях строк в БД обсудим с Евгением Зверевым.

Задача поиска по образцу на последовательности строк БД может возникать в различных сферах деятельности. Например, в финансовой аналитике — поиск определённых паттернов изменения цены акций; в системах борьбы с мошенничеством (AntiFraud) — поиск последовательностей событий, которые могут свидетельствовать о подозрительной активности, а также в IoT и многих других.

Для реализации таких запросов к базам данных в стандарте SQL:2016 была введена конструкция MATCH_RECOGNIZE, которая постепенно появляется в популярных базах данных с тем или иным набором ограничений, т. к. конструкция довольно сложная и имеет большое количество особенностей и режимов работы.

В своём докладе Евгений расскажет о реализации MATCH_RECOGNIZE в YDB: о том, как это работает под капотом, какие подходы и алгоритмы реализованы, с какими сложностями они столкнулись.

Отдельная часть выступления будет посвящена отличиям в обработке аналитических запросов на табличках и обработке на потоках «живых» данных. Какие возникают ограничения при обработке потоков, как бороться с большим стейтом, необходимым для накопления цепочек совпадений на сложных образцах и пр.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥1
C Олегом Чирухиным поговорим о том, как создается Java.

Проекты в Open Source разрабатываются так, что задаёшься вопросом — почему же всё это не превратилось в хаос? Как эти люди, вообще, способны выпустить завершённый, работающий продукт?

В этом докладе мы поговорим о том, как устроен проект OpenJDK. Он будет интересен тем, кто хочет разобраться в процессах крупного Open Source-проекта и унести что-то себе.

Встречаемся на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍1
С Иваном Матвеевым обсудим собеседования на senior разработчика: зачем проверять soft skills вопросами на hard skills.

Представьте, вы пришли на интервью. Какой вопрос будет первым? Что-то про slice или map. А что потом? Ну, наверное, что-то про concurrency и как устроена многопоточка в Go. Вы думаете: «Ну почему опять эти базовые вопросы. Это же так просто».

Оказывается, большинство ответов на вопросы по hard skills — могут многое рассказать о кандидате-разработчике.

Из доклада узнаем:

- что проверяют на «простых» вопросах
- как задачки позволяют понять — впишется разработчик в команду или нет
- какие черты характера можно определить на вопросах по устройству многопоточности в Go
- всё это приправлено вагоном историй и баек из более чем 50 собеседований за 2 года на различные позиции

🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Артём Бачевский приглашает вас на HighLoad++ 2023 🙌

На докладе Артёма рассмотрим топ-10 угроз для LLMA, кейсы атак и способы предотвращения угроз. Проведем приоритизацию, соотнесем со знакомыми примерами и в кулуарах поделимся своими находками и «случаями на производстве».

🖐 Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
🔥21👍1😎1
Про чистые метки для ML поговорим с Анастасией Беззубцевой.

Анастасия расскажет про связь качества моделей и меток, на которых она обучена, про способы улучшить качество меток, полученных от крауда (Toloka, MTurk и аналоги). Поделится историями из жизни — плохими и хорошими примерами, как можно организовать сбор меток, и как их качество помогает улучшить распознавание речи, распознавание текста по картинке, синтез речи и другие ML-модели.

Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
Олег Балбеков поделится (не)удачным экспериментом по выращиванию культуры Open Source.

Удобно, когда бизнес компании построен вокруг Open Source. Можно заниматься любимым делом и автоматически иметь преимущества при найме, материал для статей, выступлений на конференциях.

Но что, если вы обычная аутстаффинговая компания? Компания Олега занимается аутстаффом: они нанимают разработчиков, обучают их, и затем они работают на проектах клиентов компании, где редко можно встретить Open Source.

Несколько лет назад, смотря на успехи Open Source и на то, как они заботятся о своих сотрудниках, Олег решил провести эксперимент. Что, если помогать разработчикам с их начинаниями? Оплачивать личное время работы над проектами, помогать им с дизайном, сайтами для их pet projects. Рассказывать об их Open Source силами редакции компании. Использовать проекты для обучения разработчиков и много чего еще. Олег выделил бюджет, наметил процессы, и эксперимент начался.

Прошло три года, их проекты имеют тысячи звезд на гитхабе, но последний раз Олег подписывал экспенсы за участие в Open Source больше года назад.

Это доклад о том, что он хотел сделать, что получилось, а что пошло совсем не так, как ожидалось.

Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥3🤩1
Firewall в облаке: Никита Ражев поделится способами внедрения в сетевые архитектуры.

Межсетевые экраны в облаке можно внедрить разными способами и по-разному организовать маршрутизацию. Никита расскажет, как они постепенно, за несколько лет пришли от простых решений к сложным, какие задачи перед ними ставил бизнес. А также какие достоинства и недостатки существуют в выбранных и нереализованных решениях. Поделится своим опытом внедрения и обсудим ваш.

🖐 Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3🆒31
Из доклада Дмитрия Латышева узнаем, как они построили модерацию рекламы с нуля и достигли потока 1 млрд вердиктов в сутки.

Из-за роста объема рекламных объявлений Яндексу требуется модерировать более 1 миллиарда различных объектов в день с минимальными задержками автоматических проверок порядка единиц секунд, при этом добиться высокого качества модерации.

На входе у них были две системы с неподходящими архитектурами для поставленных ими целей. Первая была написана на устаревших технологиях, что затрудняло развитие и масштабирование, а вторая батчевая система с нетипизированными данными и множеством составных компонентов, не укладывающаяся в требуемые тайминги. В этих условиях было также сложно поддерживать качество вердиктов на достаточном уровне.

Они решили написать новую модерацию с нуля на основе стримингового фреймворка поверх YTsaurus. В результате они полностью переехали на новую систему, по пути наткнувшись на множество проблем, которые не были видны со старта. В докладе будет рассказано, с какими проблемами им пришлось столкнуться, и как они их решили.

Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
С Алексеем Дмитриевым поговорим про особенности шин данных для очень больших инсталляций на примере YDB Topics.

Шины передачи данных используются практически везде, но использование шин данных в очень больших инсталляциях на тысячи серверов накладывает особые требования для работы и приводит к отличиям в работе систем. Поговорим на примере YDB Topics, в чем заключаются эти отличия, как они влияют на архитектуру и эксплуатацию.

Встречаемся уже совсем скоро на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1🤩1