Андрей Серебрянский расскажет 5 новых способов использовать данные в вашей Kafka.
⠀
Хотите получить крутой дашборд, который меняется каждую секунду? А может, вам интересно в реальном времени определять, является ли операция мошенничеством? Или вы просто хотите быстро и надежно отобразить клиенту ленту его операций? Все это можно легко сделать, если ваши данные есть в Kafka.
⠀
В своем докладе Андрей расскажет, как можно данные в Kafka поставить, как их можно между собой джоинить и как потом визуализировать.
⠀
На правах product owner'а стриминговой платформы в Райффайзен Банке Андрей также покажет, как для всех этих целей они используют свою платформу, поделится реальными примерами кода и расскажет про грабли, на которые им самим пришлось наступить.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сообщества вокруг технологии: почему быть бесплатным недостаточно? Расскажет в своем докладе Ксения Романова.
⠀
Важные составляющие успеха опенсорс‑проекта — это сообщество пользователей и сотворчество контрибьюторов. Ксения расскажет, как с помощью инструментов DevRel и маркетинга развивать сообщество, поддерживать совместное творчество и наращивать популярность проекта. А еще поделится списком метрик здоровья опенсорс-сообщества, который она составила и проверила на практике за время работы с Apache Ignite.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Александр Лукьянченко расскажет, как сделать платформу удобной, или Авито PaaS спустя 5 лет.
⠀
В последние годы многие компании и команды внедрили DevOps-подход, который позволяет владеть полным жизненным циклом разработки без необходимости что-то дополнительно запрашивать у платформенных/инфраструктурных команд. В то же время уровень сервиса, удобство и возможности, которые предоставляются в продуктовые команды, очень сильно варьируется.
⠀
Мы поговорим о парадигмах и подходах, которые позволяют построить удобную и эффективную платформу, решающую потребности бизнеса. Посмотрим, какие ключевые идеи лежат в основе Авито PaaS и с помощью каких технологий их получается реализовывать.
⠀
Пройдем по самым востребованным направлениям и проблемам в рамках SDLC, посмотрим, какой уровень сервиса можно предоставлять на каждом этапе жизненного цикла. Какая архитектура и подходы позволяют масштабировать платформу по функциональности.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

А знаете ли вы, что вы насчитали? Про автоматическую проверку точности численных расчётов расскажет Игорь Нетай.
⠀
Существуют проблемы, возникающие при вычислениях со значениями с плавающей точкой: все операции имеют погрешности, которые накапливаются. При достаточно большом накоплении ошибок под сомнением могут оказаться все результаты вычислений, особенно в случаях, связанных с обработкой больших данных, с численным дифференцированием, с моделированием длительных процессов и машинным обучением, в частности, при обучении нейросетей. Особую важность оценка точности имеет в приложениях с большой ценой ошибки, таких как вычисления в медицине и биометрических системах безопасности.
⠀
Игорь расскажет, как сделать наличие проблем с точностью видимым, на примере реализации их раcширения XNumPy библиотеки NumPy на Rust и Cython, автоматически вычисляющего точность расчётов. Это почти не требует изменений в коде и снабжает те же результаты математической оценкой их точности. Расскажет, какие математические и программистские приёмы позволили сделать расширение производительным.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Эволюцию сервисов и средств разработки рассмотрим на докладе Сергея Бережного.
⠀
В 1997 году в интернете сидели около 400 тысяч россиян, а сейчас среднемесячная аудитория рунета составляет более 100 миллионов пользователей. Вместе с количеством пользователей за 25+ лет выросло количество интернет-сервисов, объемы обрабатываемых и хранимых данных, сложность используемых технологий.
⠀
В докладе Сергея мы рассмотрим технологии, которые использовались для создания сервисов раньше, сравним их с технологиями, пришедшими им на замену при росте нагрузок, а также узнаем, какую роль в этом прогрессе сыграл опенсорс.
⠀
Мы вспомним, как менялись технологии разработки — от Apache и PHP на отдельных железных серверах, до текущего многообразия способов написать веб-сервис и облачных технологий. Проследим путь от проприетарных универсальных СУБД до появления специализированных опенсорсных систем обработки и хранения, от ручной проверки и выкладки по FTP до масштабных систем CI/CD и многое другое.
⠀
Также в докладе вас ждет большая новость о новой инициативе от Yandex Open Source.
⠀
Присоединяйтесь к нам на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Антон Барабанов в своём докладе расскажет про петабайт в YDB over HDD в процессингах Яндекс.Метрики.
⠀
Вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.
⠀
- Антон кратко расскажет про процессинги аналитических продуктов и как устроен в них стейт.
- Нагрузки и требования.
- Как они пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
- Как они на этом сэкономили.
- Какие были варианты.
- Какие были трудности при записи и при чтении.
- Ложка дегтя в смысле загрузки ресурсов.
- Как они выбирают, куда поместить данные, и как именно это делают.
- Как управляют этим стейтом.
- Как справляются с нагрузкой (12 gbit/sec).
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Open Source для компаний и разработчиков на примере Boost, C++, userver обсудим с Антоном Полухиным.
⠀
Движение Open Source имеет огромные масштабы, оно разношёрстное и даже выгоду от него получают по-разному!
⠀
Про выгоду и будет рассказ! Представим себя начинающим разработчиком, погрузимся в дивный мир «бесплатной работы» и поймём, зачем оно нам. Дорастём до разработчика в большой компании, приятно удивимся и осознаем, что всё базируется на Open Source. Ну, а напоследок — уже выложим корпоративный проект в Open Source и осознаем плюсы от такого шага.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Про 200 интеграций на 5 разработчиков расскажет Денис Божок.
⠀
Среди компаний можно выделить такие, где ценностью является большое количество поставщиков, закрытое одним интерфейсом. Примерами таких компаний могут быть платёжные системы, сервис заправок или продажи отелей. Ostrovok оперирует больше, чем 200 поставщиками для предоставления лучших цен нашим клиентам. Такое количество накладывает ограничения на то, как должны быть выстроены процессы работы с ними: подключение, мониторинг, организация кода.
⠀
В своём докладе Денис расскажет о том, к каким практикам они пришли на своём объёме и почему типовые решения «1 сервис — 1 поставщик» не так хороши, как кажется.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Высокая нагрузка или/и низкая задержка — на докладе Максима Юнусова удастся заглянуть за кулисы работы Госуслуг и узнать про работу СМЭВ4 (и что это, вообще, такое).
⠀
Поставлена задача на переработку реальной системы: требуется на имеющемся железе кратно увеличить пропускную способность и при этом уменьшить время отклика.
⠀
Метод — архитектурный редизайн.
⠀
Результат — успех.
⠀
В докладе представлено пошаговое решение с обоснованиями и демонстрацией модели производительности.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Когда нужно делать свою базу данных? Александр Бирюков в своём докладе прольёт свет на сложный выбор между использованием готовых решений и созданием собственного в условиях рынка, на котором уже присутствует множество конкурентов.
⠀
Все программисты любят велосипеды, но любой сеньор скажет вам, что их следует избегать. Как же тогда на свет появляются новые продукты? С какими проблемами должна столкнуться компания, чтобы стало понятно — пора?
⠀
В докладе поговорим про текущие и перспективные решения хранения логов, обсудим архитектуру, положительные стороны и недостатки, почему все делают одно и то же, но немного по-разному и почему R&D-разработка — это сложно.
⠀
В конце мы рассмотрим некоторые интересные особенности эффективного хранения и поиска в их базе данных SageDB, которые позволяют экономить терабайты памяти и трафика.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Ильи Дружинина узнаем про уязвимости платформы Hyperledger Fabric.
⠀
Илья расскажет про:
⠀
- Уязвимости консенсусов платформы Hyperledger Fabric (Raft, Kafka, SmartBFT).
- Уязвимости и архитектурные особенности платформы Hyperledger Fabric.
- Потенциальные атаки на протоколы и компоненты платформы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Олег Сиротюк в своём докладе расскажет про Open Source-экосистему Китая: историю, настоящее и будущее.
⠀
Компании Китая начали использовать Open Source-технологии еще в далёком 2000 году, и к 2022 году Китай стал вторым крупнейшим Open Source-контрибьютором Open Source-проектов в мире.
⠀
В 2013 году был создан репозиторий Gitee как национальная альтернатива Github. К 2023 году на Gitee было зарегистрировано более 7 миллионов активных разработчиков, более 25 миллионов репозиториев и подключено более 2000 университетов Китая. Это сделало Gitee вторым крупнейшим репозиторием Open Source-проектов в мире после Github.
⠀
В 2020 году ведущие компании Китая — Alibaba, Baidu, Huawei, Inspur, 360, Tencent и China Merchants Bank — создали национальный фонд OpenAtom для поддержки развития проектов с открытым исходным кодом в Китае. Сегодня проекты этого фонда, такие как openEuler и OpenHarmony, объединяют десятки тысяч индивидуальных разработчиков и тысячи китайских компаний, что делает их крупнейшими Open Source-сообществами в мире и основой национального IТ-суверенитета Китая.
⠀
В данном докладе мы рассмотрим историю, настоящее и попробуем сделать прогноз будущего Open Source в Китае. Мы обсудим подходы, которые позволили китайским компаниям совместно развивать Open Source-проекты, а также рассмотрим, как опыт и достижения Китая могут быть полезны для России.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

В своём докладе Валерий Ильин расскажет, как устроена система сканирования робота Spectro.
⠀
Доклад описывает принцип работы системы сканирования на роботе Spectro (на уровне компьютерного зрения), челленджи, с которыми они столкнулись по Perfomance во время разработки, как выполняется базовая бизнес-логика для проведения инвентаризации робота, а также какие результаты собирает робот, и как склад ими пользуется уже сейчас.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

О миграции витрины данных с СУБД Teradata в СУБД Greenplum поговорим со Станиславом Свириденко.
⠀
Миграция СУБД с одной технологии на другую — достаточно сложный процесс, который связан не только с конвертацией кода и переливкой данных, хотя и здесь есть неочевидные нюансы.
⠀
В своем докладе Станислав хочет рассказать об одном опыте миграции витрины данных с СУБД Teradata на СУБД GreenPlum, о задачах, которые приходилось решать в процессе этой миграции, и тех подводных камнях, на которые они периодически натыкались.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel