HighLoad++
6.01K subscribers
2.3K photos
138 videos
15 files
2.14K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
Эволюцию сервисов и средств разработки рассмотрим на докладе Сергея Бережного.

В 1997 году в интернете сидели около 400 тысяч россиян, а сейчас среднемесячная аудитория рунета составляет более 100 миллионов пользователей. Вместе с количеством пользователей за 25+ лет выросло количество интернет-сервисов, объемы обрабатываемых и хранимых данных, сложность используемых технологий.

В докладе Сергея мы рассмотрим технологии, которые использовались для создания сервисов раньше, сравним их с технологиями, пришедшими им на замену при росте нагрузок, а также узнаем, какую роль в этом прогрессе сыграл опенсорс.

Мы вспомним, как менялись технологии разработки — от Apache и PHP на отдельных железных серверах, до текущего многообразия способов написать веб-сервис и облачных технологий. Проследим путь от проприетарных универсальных СУБД до появления специализированных опенсорсных систем обработки и хранения, от ручной проверки и выкладки по FTP до масштабных систем CI/CD и многое другое.

Также в докладе вас ждет большая новость о новой инициативе от Yandex Open Source.

Присоединяйтесь к нам на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
Антон Барабанов в своём докладе расскажет про петабайт в YDB over HDD в процессингах Яндекс.Метрики.

Вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.

- Антон кратко расскажет про процессинги аналитических продуктов и как устроен в них стейт.
- Нагрузки и требования.
- Как они пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
- Как они на этом сэкономили.
- Какие были варианты.
- Какие были трудности при записи и при чтении.
- Ложка дегтя в смысле загрузки ресурсов.
- Как они выбирают, куда поместить данные, и как именно это делают.
- Как управляют этим стейтом.
- Как справляются с нагрузкой (12 gbit/sec).

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
Open Source для компаний и разработчиков на примере Boost, C++, userver обсудим с Антоном Полухиным.

Движение Open Source имеет огромные масштабы, оно разношёрстное и даже выгоду от него получают по-разному!

Про выгоду и будет рассказ! Представим себя начинающим разработчиком, погрузимся в дивный мир «бесплатной работы» и поймём, зачем оно нам. Дорастём до разработчика в большой компании, приятно удивимся и осознаем, что всё базируется на Open Source. Ну, а напоследок — уже выложим корпоративный проект в Open Source и осознаем плюсы от такого шага.

Ждём вас на HighLoad++ 2023 🖐

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍1
Про 200 интеграций на 5 разработчиков расскажет Денис Божок.

Среди компаний можно выделить такие, где ценностью является большое количество поставщиков, закрытое одним интерфейсом. Примерами таких компаний могут быть платёжные системы, сервис заправок или продажи отелей. Ostrovok оперирует больше, чем 200 поставщиками для предоставления лучших цен нашим клиентам. Такое количество накладывает ограничения на то, как должны быть выстроены процессы работы с ними: подключение, мониторинг, организация кода.

В своём докладе Денис расскажет о том, к каким практикам они пришли на своём объёме и почему типовые решения «1 сервис — 1 поставщик» не так хороши, как кажется.

🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩2
Высокая нагрузка или/и низкая задержка — на докладе Максима Юнусова удастся заглянуть за кулисы работы Госуслуг и узнать про работу СМЭВ4 (и что это, вообще, такое).

Поставлена задача на переработку реальной системы: требуется на имеющемся железе кратно увеличить пропускную способность и при этом уменьшить время отклика.

Метод — архитектурный редизайн.

Результат — успех.

В докладе представлено пошаговое решение с обоснованиями и демонстрацией модели производительности.

Ждём вас на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21
Когда нужно делать свою базу данных? Александр Бирюков в своём докладе прольёт свет на сложный выбор между использованием готовых решений и созданием собственного в условиях рынка, на котором уже присутствует множество конкурентов.

Все программисты любят велосипеды, но любой сеньор скажет вам, что их следует избегать. Как же тогда на свет появляются новые продукты? С какими проблемами должна столкнуться компания, чтобы стало понятно — пора?

В докладе поговорим про текущие и перспективные решения хранения логов, обсудим архитектуру, положительные стороны и недостатки, почему все делают одно и то же, но немного по-разному и почему R&D-разработка — это сложно.

В конце мы рассмотрим некоторые интересные особенности эффективного хранения и поиска в их базе данных SageDB, которые позволяют экономить терабайты памяти и трафика.

Ждём вас на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥41
Media is too big
VIEW IN TELEGRAM
Если вы интересуетесь распределенными системами, тогда это видео для вас. Доклад Сергея Останевича, с которым он выступил на HighLoad++ 2022, это отличная возможность освежить в памяти понимание работы протокола RAFT, узнать проблемы, присущие канонической реализации, послушать про улучшения протокола, которые пришлось реализовать в Tarantool.

#ТопДокладовHighLoad2022
🔥3
Compute/Storage separation в Greenplum обсудим на докладе с Андреем Бородиным.

Yezzey — открытое расширение GreenplumDB, которое позволяет перенести таблицу в S3, но при этом сохранить нативный формат данных. При таком подходе производительность многих запросов оказывается сходной с производительностью запросов к таблицам на локальных SSD-дисках.

Эта технология — очередной шаг в направлении облачной аналитической СУБД для Greenplum, при этом весь код доступен в open source. В докладе Андрей хотел бы также рассказать и о будущих шагах на этом пути.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel
👍1
Максим Кита расскажет про YDB-оптимизации производительности под ARM.

Узнаем, с какими проблемами они столкнулись и как их решили при оптимизации YDB под архитектуру ARM. Детально рассмотрим основные проблемы оптимизаций высоконагруженных приложений под ARM. Максим расскажет про методы и инструменты, с помощью которых они тестировали производительность, находили места для оптимизации, сравнивали производительность ARM и X86-64.

Доклад будет полезен всем разработчикам высокопроизводительных систем, которые планируют оптимизировать систему под ARM.

Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023.Это будет юбилейная, 20-я и самая масштабная из всех прошедших конференций HighLoad++ 🔥

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Внутри S3 — Павел Левдик раскроет внутреннее устройство современных облаков, что у них под капотом.

Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объемы данных, а также огромные объемы метаданных. Для хранения метаданных используется множество шардов postgres. Они научились использовать умное шардирование, сами управляют распределением занятого места и нагрузкой между шардами.

Павел расскажет, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил ваш сервис.

🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Как выйти в опенсорс и не сойти с ума: Андрей Ривкин поделится опытом YTsaurus.

Андрей расскажет, как пройти путь от создания технологии внутри компании до выхода в опенсорс на примере YTsaurus — платформы для работы с большими данными, одной из ключевых частей инфраструктуры Яндекса. Подробно расскажет про все подводные камни: как привести в порядок код, как сделать внешнюю документацию, как убедиться в том, что технология действительно может быть полезна пользователям вне компании, а главное — что делать дальше.

Встречаемся на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Media is too big
VIEW IN TELEGRAM
Алексей Миловидов — разработчик и создатель технологии ClickHouse. Проект получил больше $2 млрд инвестиций.

Эта распределенная аналитическая система управления базами данных с открытым исходным кодом используется компаниями со всего мира. Она столбцовая и позволяет онлайн обрабатывать аналитические запросы. Значения из разных столбцов хранятся отдельно, а данные одного столбца - вместе.

За этот вклад в Open Source сообщество Алексея наградили Премией HighLoad++. Мы узнали у лауреата, каким был его путь, что помогло ему создать такой сложный и успешный продукт.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/773584/
🔥9👍21
Из доклада Ильи Дружинина узнаем про уязвимости платформы Hyperledger Fabric.

Илья расскажет про:

- Уязвимости консенсусов платформы Hyperledger Fabric (Raft, Kafka, SmartBFT).
- Уязвимости и архитектурные особенности платформы Hyperledger Fabric.
- Потенциальные атаки на протоколы и компоненты платформы.

До скорой встречи на HighLoad++ 2023 🙌

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥3👍3🤩21
Олег Сиротюк в своём докладе расскажет про Open Source-экосистему Китая: историю, настоящее и будущее.

Компании Китая начали использовать Open Source-технологии еще в далёком 2000 году, и к 2022 году Китай стал вторым крупнейшим Open Source-контрибьютором Open Source-проектов в мире.

В 2013 году был создан репозиторий Gitee как национальная альтернатива Github. К 2023 году на Gitee было зарегистрировано более 7 миллионов активных разработчиков, более 25 миллионов репозиториев и подключено более 2000 университетов Китая. Это сделало Gitee вторым крупнейшим репозиторием Open Source-проектов в мире после Github.

В 2020 году ведущие компании Китая — Alibaba, Baidu, Huawei, Inspur, 360, Tencent и China Merchants Bank — создали национальный фонд OpenAtom для поддержки развития проектов с открытым исходным кодом в Китае. Сегодня проекты этого фонда, такие как openEuler и OpenHarmony, объединяют десятки тысяч индивидуальных разработчиков и тысячи китайских компаний, что делает их крупнейшими Open Source-сообществами в мире и основой национального IТ-суверенитета Китая.

В данном докладе мы рассмотрим историю, настоящее и попробуем сделать прогноз будущего Open Source в Китае. Мы обсудим подходы, которые позволили китайским компаниям совместно развивать Open Source-проекты, а также рассмотрим, как опыт и достижения Китая могут быть полезны для России.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3🔥2
В своём докладе Валерий Ильин расскажет, как устроена система сканирования робота Spectro.

Доклад описывает принцип работы системы сканирования на роботе Spectro (на уровне компьютерного зрения), челленджи, с которыми они столкнулись по Perfomance во время разработки, как выполняется базовая бизнес-логика для проведения инвентаризации робота, а также какие результаты собирает робот, и как склад ими пользуется уже сейчас.

🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1🔥1
О миграции витрины данных с СУБД Teradata в СУБД Greenplum поговорим со Станиславом Свириденко.

Миграция СУБД с одной технологии на другую — достаточно сложный процесс, который связан не только с конвертацией кода и переливкой данных, хотя и здесь есть неочевидные нюансы.

В своем докладе Станислав хочет рассказать об одном опыте миграции витрины данных с СУБД Teradata на СУБД GreenPlum, о задачах, которые приходилось решать в процессе этой миграции, и тех подводных камнях, на которые они периодически натыкались.

Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
Как разрабатываются свободные проекты в команде ALT? Узнаем из доклада Евгения Синельникова.

ALT Linux Team — это международная команда разработчиков, объединённая вокруг репозитория свободного ПО — проекта Сизиф. Ключевая особенность деятельности команды ALT заключается в открытом подходе к разработке. Все, в том числе и проприетарные продукты компании «Базальт СПО» — дистрибутивы семейства Альт — поставляются в исходном коде, а компоненты, составляющие эти продукты, доступны по свободным или открытым лицензиям (за исключением закрытых драйверов и программных решений некоторых известных компаний).

Евгений расскажет:

- Где и как можно встретить наработки команды ALT.
- Какие свободные проекты разрабатывает команда ALT для корпоративных задач.
- Как, вообще, работает модель разработки «бесплатных» программ с точки зрения разработчика.

🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
Domain Driven Design — это больно, когда из красивых книг переходит в реальный проект. Дмитрий Анисов расскажет об этой боли на своем опыте, какими решениями она вызвана, про непростые выборы в архитектуре, и как Go-специфика влияет на реализации DDD на практике.

Узнаем о необходимости DDD, о его плюсах и минусах, зачем стоит использовать данный подход в разработке, и с какими трудностями они столкнулись. Как проектировать внутреннюю архитектуру сервиса так, чтобы было удобно и эффективно работать с ним в будущем.

Рассмотрим пример одного из сервисов на Go, на основе которого будут разбираться основные детали. Разберём наиболее частые вопросы, которые возникают в процессе внутреннего проектирования сервисов, и проблемы, с которыми сталкиваются разработчики.

Те, кто не знаком или не имеют опыта работы и написания кода в стиле DDD, узнают, как можно и нужно проектировать сервисы, какие практики и архитектурные стили существуют, если это не обычный CRUD. А те, кто знаком, смогут почерпнуть новые идеи, а также, возможно, получат ответы на вопросы, которые возникали при использовании данного подхода в разработке.

Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой проёдет Golang Conf 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Басель Дарвиш расскажет, как они в 1С сделали с нуля веб-фреймворк и панель управления облака на нем.

Всем нужны платформы для организации своей разработки, чтобы повысить управляемость зоопарком технологий, упростить поддержку своих сервисов (особенно микросервисов), стандартизировать решение одних и тех же задач при запуске каждого нового сервиса, тем самым повысить скорость и качество разработки.

В 1С уже очень давно строят фреймворки для своих пользователей. И, конечно, при создании своего PaaS-облака, при разработке его слоя управления (админки и control plane) решили использовать свой веб-фреймворк, в котором решены такие вопросы, как управление пользователями и правами доступа, есть встроенный BI для очень наглядных графиков и многое другое.

Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐

Программа конференции и билеты на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Как вложиться в Open Source и не прогореть? Узнаем из доклада Антона Виноградова.

В основе их сервисов лежит Open Source-распределенная база данных — Apache Ignite, точнее, их продукт, на ней основанный.

Для обеспечения гарантий быстродействия, их кастомерам потребовалось хранить как можно больше данных в оперативной памяти, и они доработали свой продукт. Пошли по пути компромисса между донейшеном в Open Source и приватной фичей и получили плюсы от обоих подходов.

В докладе пройдем весь путь от постановки задачи до её решения — разработки механизма сжатия данных в памяти. Разберем все варианты реализации сжатия данных в Apache Ignite, включая уже существовавшие, проанализируем подводные камни и бонусы каждого из вариантов, в том числе неожиданные.

Встречаемся на HighLoad++ 2023 🙌

Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41👍1