Мы начинаем знакомить вас со спикерами HighLoad++ 2023 🖐️
⠀
Илья Нечаев в своем докладе расскажет, как они построили платформу данных из 300 витрин общим размером 10,5 ПТб на базе Hadoop и GreenPlum со стабильной обработкой ежедневного инкремента в 15Тб
⠀
Узнаем:
⠀
1. Какую цель решает подразделение и почему без данных эту цель не решить
2. Какая задача стояла перед командой при старте построения дата-платформы
3. Описание реализованного решения - Архитектура и Тех. стек реализации решения
4. Как решали проблемы скорости, надежности и качества расчета
5. Результат, какое велью принесла реализация этого решения
⠀
Встречаемся в Москве 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Ставим облачное решение на сервера заказчику: как начать продавать SaaS как on-prem и не сойти с ума? Узнаем из доклада Андрея Чернопятова
⠀
Однажды вы поняли, что чудо-софт, который вы написали для компании, можно продавать таким же серьезным компаниям. Что может быть проще: давайте обменяем программу на деньги! В этом докладе Андрей расскажет, насколько глубока эта кроличья нора:
⠀
• почему технология - это еще не продукт?
• что нужно кроме ПО для энтерпрайз заказчиков?
• как происходят большие внедрения?
⠀
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем HighLoad++ 2023 пройдет в Москве 27 и 28 ноября 🙌
⠀
✅ Подробнее о конференции и билеты на сайте в описании канала @HighLoadChannel

С Глебом Гончаровым поговорим о SRE-практиках как управлении многоквартирным домом
⠀
Управление инфраструктурой ИТ и управление многоквартирным домом — это сравнимые процессы, которые имеют общие цели: обеспечить бесперебойную работу системы и удовлетворить потребности конечного пользователя. Обе эти задачи подразумевают работу со сложными и многокомпонентными системами, в которых важны безопасность, мониторинг и анализ данных, оптимизация процессов и ремонтоспособность.
⠀
Глеб на своём личном опыте председателя ТСЖ расскажет об общности и разности подходов, а также чему может научиться DevOps или SRE в эксплуатации собственных систем из реального мира.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐️
⠀
✅ Ознакомиться с уже принятыми докладами в программу и купить можно на сайте в описании канала @HighLoadChannel

Как мигрировать hadoop в облака и не умереть? Узнаем из доклада Михаила Марюфича, руководителя Data Platform в Одноклассниках.
⠀
Для OK Hadoop это ключевой компонент инфраструктуры, он активно используется как для реализации продуктовой аналитики, так и для продакшена рекомендательных систем. С точки зрения объемов это более 200 PB в hdfs, 50k vcores, 200 TB RAM.
⠀
Михаил расскажет об устройстве кластеров в ОК, миграции кластеров во внутреннее контейнерное облако. В докладе ожидаются детали итогового решения, обзор граблей в ходе миграции и преимуществ подхода.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Узнать подробнее о конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Никита Рьянов расскажет о поставке данных, имеющих сложную иерархическую структуру, в Greenplum

Поставка данных в Greenplum может превратиться в нетривиальную задачу, если речь идет о поставке данных, которые имеют иерархическую структуру и которые нужно атомарно и консистентно разложить по множеству таблиц. Сложности также добавляет необходимость в поддержке DDL-миграций и то, что набор источников может динамически меняться, а поставку останавливать не хочется. Еще интереснее становится, когда источников данных становится другая СУБД.
⠀
В этом докладе Никита хотел бы рассказать о том, как они организовали подобную поставку данных, используя формат данных Avro, Apache Flink, микро-gpfdist'ы и self-service, который позволяет всем этим управлять.
⠀

Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔺 От дощечки к компьютеру. О пути от ткачества к ЭВМ узнаем из доклада Ирины Шахтариной и Павла Архипова
⠀
Невозможно однозначно судить о времени зарождения искусства и ремесел, корни которых теряются в глубине тысячелетий, а материальные следы непрочны и недолговечны. Но можно попробовать проследить одну из ветвей развития человечества, которая привела к созданию компьютеров и дальнейшему их повсеместному распространению.
⠀
Ирина с Павлом расскажут о развитии такого ремесла как ткачество (процесс переплетения нитей и создания ткани), в результате оптимизации которого был создан ткацкий станок с перфокартами… а там и до ЭВМ пара шагов: вычислительная машина Бэббиджа, язык Ады Лавлейс для её программирования, калькулятор Шойца, табулятор Холлерита, аналоговый компьютер Буша и машина Тьюринга, ну а дальше семимильными шагами в 21 век.
⠀
Также можно будет попробовать работать с ткацкими инструментами и за станком.
⠀
Ждем вас на профессиональной конференции разработчиков высоконагруженных систем HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

🫥 Как из Python и палок собрать детектор аномалий для highload? Расскажет в своем докладе Евгений Россинский
⠀
При эксплуатации любого сервиса рано или поздно появляются сотни и тысячи графиков, за которыми надо следить, это и RPS, и время ответа, и количество открытых сокетов, и многие другие. В каждом из них могут появляться аномалии, о которых очень хочется своевременно узнавать.
⠀
Евгений расскажет о том, как на коленке написать детектор аномалий, который будет перемалывать несколько тысяч метрик в минуту и работать одновременно с данными из Zabbix, Graphite, Prometheus, Clickhose да и вообще любой БД или системой мониторинга.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️Сейчас самая выгодная цена билетов
⠀
Друзья, с 1 сентября у нас первое повышение стоимости билетов, сейчас самая минимальная цена. Если забронировать билет до 31 августа, текущая стоимость зафиксируется, а оплатить можно будет в течение нескольких дней.
⠀
Ждем вас на юбилейной, 20-й конференции HighLoad++ 2023 🥳. В этом раз мы объединили две конференции – в рамках HighLoad++ 2023 пройдет конференция для Go-разработчиков Golang Conf 2023.
⠀
И, конечно, первый день традиционно завершим афтепати: фуршет, обсуждение полученной информации, кейсов, собственных задач и все это в неформальной обстановке в кругу единомышленников 😎
⠀
✅ Ознакомиться подробнее с программой конференции и забронировать билет можно на сайте

▶️Всем привет!
⠀
Подготовили для вас полезную подборку видеозаписей докладов Saint HighLoad++ 2022 из секции «Архитектуры, масштабируемость», которые набрали наибольшее количество просмотров.
⠀
1) От 0 до 200 000 000 игроков — об эволюции бэкенда за 40 мин. Андрей Михеев (Pixonic)
⠀
2) Микросервисы через боль и превозмогание. Филипп Дельгядо (lekton.io)
⠀
3) Гибридная архитектура: разделяемый на микросервисы монолит. Станислав Сидристый (ЦРТ)
⠀
4) Граф компонентов: как отобразить 100 компонентов и 500 связей. Анастасия Некрашевич (ЦФТ)
⠀
5) Без A/B — результат XЗ, или Как мы построили платформу A/B-тестов в Ozon. Евгений Пак (Ozon)

Продуктивного просмотра 🙌

Как наши системы приобретают устойчивость, почему ошибки полезны и как начать их использовать во благо? Узнаем из доклада Сергея Реусина
⠀
На текущий день не так легко найти человека, который постоянно работает только над небольшой частью кода и не затрагивает остальных частей системы вокруг него. В такой ситуации возможность ошибки или конфликта велика, а значит мы вынуждены уметь с ними бороться.
⠀
В докладе, на примере существующих информационных систем, Сергей раскроет понятие самой "системы" и процессов взаимодействия с ней, а также поможет с новой стороны посмотреть на природу отказоустойчивости. С примерами и ссылками расскажет о том, какую реальную пользу могут принести инциденты и как эффективнее извлекать уроки из подобных событий. Не ограничимся стандартными "пишите post-mortem (с)", а затронем тему практической пользы анализа.
⠀
🖐 Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023
⠀
⏺Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🗣С Максимом Кокряшкиным поговорим про Exception Handling: сквозь мультивселенные интероперабельности
⠀
Tarantool -- это платформа для in-memory-вычислений, написанная на C/C++ и Lua. Миры Lua и С/C++ очень тесно связаны: у Tarantool есть модули на Lua, модули на Lua могут использовать модули, написанные на C/C++. В процессе исполнения и в Lua коде, и в C/C++ коде могут возникать исключения, которые иногда необходимо обрабатывать в другой компоненте, может быть написанной на другом языке.
⠀
Максим расскажет о том, как можно реализовать интероперабельность исключений между двумя языками на примере Lua и C. Разберемся, какие есть способы реализации механизма исключений на разных платформах, посмотрим на специфичные для них сложности, а также рассмотрим реализацию интероперабельности на примере LuaJIT, с помощью которого исполняется весь Lua код в Tarantool.
⠀
🖐 Ждем вас 27 и 28 ноября на HighLoad++ 2023
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️До повышения цены осталось 7 дней
⠀
Друзья, с 1 сентября стоимость билетов на HighLoad++ 2023 вырастет. Сейчас самая выгодная цена, которую можно зафиксировать, если забронировать билет до 31 августа. После брони оплатить можно будет в течение нескольких дней.
⠀
Конференция пройдет в двух форматах:
⠀
▪️офлайн. Стоимость сейчас 48000 руб., с 1 сентября 56000 руб. На площадке у вас будет возможность охватить и погрузиться в широкий спектр тем, новых технологий и хардкорных решений. И весь этот спектр будет представлен только реальными и максимально прикладными темами без маркетинга и пустых разговоров.
⠀
▫️онлайн. Стоимость сейчас 24000 руб., с 1 сентября 28000 руб.
⠀
Для онлайн-участников будет доступно:
⠀
трансляция залов с докладами. Кроме залов с митапами и мастер-классами
видео из фойе и выступления партнёров с демо-сцены;
события, подготовленные специально для онлайна.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Забронировать билет и узнать подробнее о конференции можно на сайте в описании канала @HighLoadChannel

👁 Как делать бинарно-совместимые API на компилируемых языках? Расскажет Александр Туренко
⠀
Скажем, мы разрабатываем продукт на компилируемом языке. Рано или поздно наступает момент, когда нужно разделить продукт на несколько компонентов, развивающихся независимо. Или дать возможность расширять функциональность плагинами, разрабатываемыми отдельными коллективами или сообществом.
⠀
Здесь мы сталкиваемся с проблемой обеспечения прямой и обратной совместимости: что произойдет с продуктом при обновлении одного из компонентов независимо от другого?
⠀
Если бы компоненты были микросервисами, в качестве интерфейса выступал бы JSON поверх HTTP или другой высокоуровневый протокол RPC. Но мы хотим сочетать независимость развития компонентов с нативным вызовом функций и нативным представлением структур.
⠀
Доклад дает обзор подходов к этой проблеме и набор практических приемов.
⠀
Встречаемся в Москве 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel