Александр Лукьянченко расскажет, как сделать платформу удобной, или Авито PaaS спустя 5 лет.
⠀
В последние годы многие компании и команды внедрили DevOps-подход, который позволяет владеть полным жизненным циклом разработки без необходимости что-то дополнительно запрашивать у платформенных/инфраструктурных команд. В то же время уровень сервиса, удобство и возможности, которые предоставляются в продуктовые команды, очень сильно варьируется.
⠀
Мы поговорим о парадигмах и подходах, которые позволяют построить удобную и эффективную платформу, решающую потребности бизнеса. Посмотрим, какие ключевые идеи лежат в основе Авито PaaS и с помощью каких технологий их получается реализовывать.
⠀
Пройдем по самым востребованным направлениям и проблемам в рамках SDLC, посмотрим, какой уровень сервиса можно предоставлять на каждом этапе жизненного цикла. Какая архитектура и подходы позволяют масштабировать платформу по функциональности.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

А знаете ли вы, что вы насчитали? Про автоматическую проверку точности численных расчётов расскажет Игорь Нетай.
⠀
Существуют проблемы, возникающие при вычислениях со значениями с плавающей точкой: все операции имеют погрешности, которые накапливаются. При достаточно большом накоплении ошибок под сомнением могут оказаться все результаты вычислений, особенно в случаях, связанных с обработкой больших данных, с численным дифференцированием, с моделированием длительных процессов и машинным обучением, в частности, при обучении нейросетей. Особую важность оценка точности имеет в приложениях с большой ценой ошибки, таких как вычисления в медицине и биометрических системах безопасности.
⠀
Игорь расскажет, как сделать наличие проблем с точностью видимым, на примере реализации их раcширения XNumPy библиотеки NumPy на Rust и Cython, автоматически вычисляющего точность расчётов. Это почти не требует изменений в коде и снабжает те же результаты математической оценкой их точности. Расскажет, какие математические и программистские приёмы позволили сделать расширение производительным.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Эволюцию сервисов и средств разработки рассмотрим на докладе Сергея Бережного.
⠀
В 1997 году в интернете сидели около 400 тысяч россиян, а сейчас среднемесячная аудитория рунета составляет более 100 миллионов пользователей. Вместе с количеством пользователей за 25+ лет выросло количество интернет-сервисов, объемы обрабатываемых и хранимых данных, сложность используемых технологий.
⠀
В докладе Сергея мы рассмотрим технологии, которые использовались для создания сервисов раньше, сравним их с технологиями, пришедшими им на замену при росте нагрузок, а также узнаем, какую роль в этом прогрессе сыграл опенсорс.
⠀
Мы вспомним, как менялись технологии разработки — от Apache и PHP на отдельных железных серверах, до текущего многообразия способов написать веб-сервис и облачных технологий. Проследим путь от проприетарных универсальных СУБД до появления специализированных опенсорсных систем обработки и хранения, от ручной проверки и выкладки по FTP до масштабных систем CI/CD и многое другое.
⠀
Также в докладе вас ждет большая новость о новой инициативе от Yandex Open Source.
⠀
Присоединяйтесь к нам на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Антон Барабанов в своём докладе расскажет про петабайт в YDB over HDD в процессингах Яндекс.Метрики.
⠀
Вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.
⠀
- Антон кратко расскажет про процессинги аналитических продуктов и как устроен в них стейт.
- Нагрузки и требования.
- Как они пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
- Как они на этом сэкономили.
- Какие были варианты.
- Какие были трудности при записи и при чтении.
- Ложка дегтя в смысле загрузки ресурсов.
- Как они выбирают, куда поместить данные, и как именно это делают.
- Как управляют этим стейтом.
- Как справляются с нагрузкой (12 gbit/sec).
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Open Source для компаний и разработчиков на примере Boost, C++, userver обсудим с Антоном Полухиным.
⠀
Движение Open Source имеет огромные масштабы, оно разношёрстное и даже выгоду от него получают по-разному!
⠀
Про выгоду и будет рассказ! Представим себя начинающим разработчиком, погрузимся в дивный мир «бесплатной работы» и поймём, зачем оно нам. Дорастём до разработчика в большой компании, приятно удивимся и осознаем, что всё базируется на Open Source. Ну, а напоследок — уже выложим корпоративный проект в Open Source и осознаем плюсы от такого шага.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Про 200 интеграций на 5 разработчиков расскажет Денис Божок.
⠀
Среди компаний можно выделить такие, где ценностью является большое количество поставщиков, закрытое одним интерфейсом. Примерами таких компаний могут быть платёжные системы, сервис заправок или продажи отелей. Ostrovok оперирует больше, чем 200 поставщиками для предоставления лучших цен нашим клиентам. Такое количество накладывает ограничения на то, как должны быть выстроены процессы работы с ними: подключение, мониторинг, организация кода.
⠀
В своём докладе Денис расскажет о том, к каким практикам они пришли на своём объёме и почему типовые решения «1 сервис — 1 поставщик» не так хороши, как кажется.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Высокая нагрузка или/и низкая задержка — на докладе Максима Юнусова удастся заглянуть за кулисы работы Госуслуг и узнать про работу СМЭВ4 (и что это, вообще, такое).
⠀
Поставлена задача на переработку реальной системы: требуется на имеющемся железе кратно увеличить пропускную способность и при этом уменьшить время отклика.
⠀
Метод — архитектурный редизайн.
⠀
Результат — успех.
⠀
В докладе представлено пошаговое решение с обоснованиями и демонстрацией модели производительности.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Когда нужно делать свою базу данных? Александр Бирюков в своём докладе прольёт свет на сложный выбор между использованием готовых решений и созданием собственного в условиях рынка, на котором уже присутствует множество конкурентов.
⠀
Все программисты любят велосипеды, но любой сеньор скажет вам, что их следует избегать. Как же тогда на свет появляются новые продукты? С какими проблемами должна столкнуться компания, чтобы стало понятно — пора?
⠀
В докладе поговорим про текущие и перспективные решения хранения логов, обсудим архитектуру, положительные стороны и недостатки, почему все делают одно и то же, но немного по-разному и почему R&D-разработка — это сложно.
⠀
В конце мы рассмотрим некоторые интересные особенности эффективного хранения и поиска в их базе данных SageDB, которые позволяют экономить терабайты памяти и трафика.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Ильи Дружинина узнаем про уязвимости платформы Hyperledger Fabric.
⠀
Илья расскажет про:
⠀
- Уязвимости консенсусов платформы Hyperledger Fabric (Raft, Kafka, SmartBFT).
- Уязвимости и архитектурные особенности платформы Hyperledger Fabric.
- Потенциальные атаки на протоколы и компоненты платформы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Олег Сиротюк в своём докладе расскажет про Open Source-экосистему Китая: историю, настоящее и будущее.
⠀
Компании Китая начали использовать Open Source-технологии еще в далёком 2000 году, и к 2022 году Китай стал вторым крупнейшим Open Source-контрибьютором Open Source-проектов в мире.
⠀
В 2013 году был создан репозиторий Gitee как национальная альтернатива Github. К 2023 году на Gitee было зарегистрировано более 7 миллионов активных разработчиков, более 25 миллионов репозиториев и подключено более 2000 университетов Китая. Это сделало Gitee вторым крупнейшим репозиторием Open Source-проектов в мире после Github.
⠀
В 2020 году ведущие компании Китая — Alibaba, Baidu, Huawei, Inspur, 360, Tencent и China Merchants Bank — создали национальный фонд OpenAtom для поддержки развития проектов с открытым исходным кодом в Китае. Сегодня проекты этого фонда, такие как openEuler и OpenHarmony, объединяют десятки тысяч индивидуальных разработчиков и тысячи китайских компаний, что делает их крупнейшими Open Source-сообществами в мире и основой национального IТ-суверенитета Китая.
⠀
В данном докладе мы рассмотрим историю, настоящее и попробуем сделать прогноз будущего Open Source в Китае. Мы обсудим подходы, которые позволили китайским компаниям совместно развивать Open Source-проекты, а также рассмотрим, как опыт и достижения Китая могут быть полезны для России.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

В своём докладе Валерий Ильин расскажет, как устроена система сканирования робота Spectro.
⠀
Доклад описывает принцип работы системы сканирования на роботе Spectro (на уровне компьютерного зрения), челленджи, с которыми они столкнулись по Perfomance во время разработки, как выполняется базовая бизнес-логика для проведения инвентаризации робота, а также какие результаты собирает робот, и как склад ими пользуется уже сейчас.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

О миграции витрины данных с СУБД Teradata в СУБД Greenplum поговорим со Станиславом Свириденко.
⠀
Миграция СУБД с одной технологии на другую — достаточно сложный процесс, который связан не только с конвертацией кода и переливкой данных, хотя и здесь есть неочевидные нюансы.
⠀
В своем докладе Станислав хочет рассказать об одном опыте миграции витрины данных с СУБД Teradata на СУБД GreenPlum, о задачах, которые приходилось решать в процессе этой миграции, и тех подводных камнях, на которые они периодически натыкались.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как разрабатываются свободные проекты в команде ALT? Узнаем из доклада Евгения Синельникова.
⠀
ALT Linux Team — это международная команда разработчиков, объединённая вокруг репозитория свободного ПО — проекта Сизиф. Ключевая особенность деятельности команды ALT заключается в открытом подходе к разработке. Все, в том числе и проприетарные продукты компании «Базальт СПО» — дистрибутивы семейства Альт — поставляются в исходном коде, а компоненты, составляющие эти продукты, доступны по свободным или открытым лицензиям (за исключением закрытых драйверов и программных решений некоторых известных компаний).
⠀
Евгений расскажет:
⠀
- Где и как можно встретить наработки команды ALT.
- Какие свободные проекты разрабатывает команда ALT для корпоративных задач.
- Как, вообще, работает модель разработки «бесплатных» программ с точки зрения разработчика.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Domain Driven Design — это больно, когда из красивых книг переходит в реальный проект. Дмитрий Анисов расскажет об этой боли на своем опыте, какими решениями она вызвана, про непростые выборы в архитектуре, и как Go-специфика влияет на реализации DDD на практике.
⠀
Узнаем о необходимости DDD, о его плюсах и минусах, зачем стоит использовать данный подход в разработке, и с какими трудностями они столкнулись. Как проектировать внутреннюю архитектуру сервиса так, чтобы было удобно и эффективно работать с ним в будущем.
⠀
Рассмотрим пример одного из сервисов на Go, на основе которого будут разбираться основные детали. Разберём наиболее частые вопросы, которые возникают в процессе внутреннего проектирования сервисов, и проблемы, с которыми сталкиваются разработчики.
⠀
Те, кто не знаком или не имеют опыта работы и написания кода в стиле DDD, узнают, как можно и нужно проектировать сервисы, какие практики и архитектурные стили существуют, если это не обычный CRUD. А те, кто знаком, смогут почерпнуть новые идеи, а также, возможно, получат ответы на вопросы, которые возникали при использовании данного подхода в разработке.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой проёдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel