Зачем делать прожорливый софт. Георгий Меликов расскажет принципы reconcillation loop (привет, K8s!).
⠀
Мир не идеален — любая крупная система состоит из множества отдельных подсистем. Не все из них мы можем контролировать при работе над нашей задачей. А согласно закону Мёрфи, если что-нибудь может пойти не так, оно обязательно пойдёт не так. Применительно к созданию распределённых систем это означает, что абсолютно всё вокруг когда-нибудь сломается.
⠀
И вот в таких условиях нам нужно разрабатывать софт, который не потребует постоянного внимания со стороны своего создателя.
⠀
Георгий расскажет про практики и свой опыт создания софта с self-healing на принципах closed loop automation (что является основной причиной высокой стабильности всеми любимого K8s), сравним с привычным в индустрии event-based-подходом, и честно признаемся об увеличении накладных расходов и излишней трате денег работодателя в счёт своего спокойного сна ночью.
⠀
🙌 До скорой встречи на HighLoad++ 2023 – юбилейной, 20-й и самой масштабной из всех прошедших конференций HighLoad++.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Слишком… много… асинхронщины… На что обращать внимание при работе с фичей из десятка сервисов, обрабатывающих 15 000 асинхронных задач в секунду? Узнаем из доклада Виктора Бурцева.
⠀
В клиент-серверной архитектуре каждый разработчик рано или поздно сталкивается с обработкой асинхронных задач. Это частая практика, но что делать, когда вы разрабатываете новую фичу, которая становится настолько прожорливой, что таких задач становится десятки тысяч в секунду.
⠀
На примере внедрения в Яндекс.Go новой технологии Live Activity от Apple поговорим про:
⠀
- сложность отладки и поиска проблем асинхронных задач;
- почему не нужно пытаться брать слишком много задач на каждую ноду;
- как быть, если асинхронность добавляется еще и на клиенте;
- почему в таких случаях не стоит пользоваться вашей основной базой данных;
- как держать ваше состояние консистентным без возможности сервисам сообщать о своем состоянии друг другу;
- зачем нужно иметь возможность конфигурировать выполнение таких задач.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Под капотом быстрого сплитования трафика для А/B-тестирования: Дмитрий Волков расскажет про оптимизацию производительности и инфраструктурные уроки.
⠀
В эпоху быстро меняющихся потребностей пользователей, платформа A/B-тестирования становится ключевым инструментом принятия решений в любом продуктовом сервисе. С учетом того, что онлайн-кинотеатр Okko обслуживает миллионы пользователей по всей России и имеет нагрузку в несколько тысяч запросов каждую секунду, они стремятся к тому, чтобы сервис сплитования трафика для А/B экспериментов был максимально незаметным для пользователей.
Отсюда и цель: время ответа при расчете групп для А/В-экспериментов должно быть не более 10 мс. Поэтому возникает вопрос: как именно они достигают такой эффективности, и что может пойти не так?
⠀
В своём докладе Дмитрий поделится:
⠀
- что такое A/B-эксперименты, и как происходит сплитование трафика в них;
- как они искали узкие места в производительности сервиса на Python и устраняли их;
- как им удалось разогнать сервис до времени ответа в 5 мс в 99,9% запросов, но всё равно наблюдать большой процент запросов, отвалившихся по тайм-ауту;
- как они расследовали причины тайм-аутов к своему сервису и нашли проблемы там, где не ждали — в инфраструктуре. И как это обнаружение помогло другим сервисам компании;
- что бы они сказали сами себе, если бы встретились полгода назад.
⠀
Ждём вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Алексей Морозов расскажет про Zero-cost I/O и fault tolerance в распределенном глубоком обучении.
⠀
Узнаем, как они в Яндексе сделали zero-cost-инфраструктуру распределенного обучения поверх распределенной транзакционной файловой системы:
⠀
1. Никаких модификаций однопоточного однопроцессного кода обучения на Python — экономим время DataScientist’а. Не нужно быть бэкендером-профессионалом, чтобы писать распределенный код обучения.
⠀
2. Никакого дополнительного оверхеда по производительности под Python GIL при переходе к распределенному обучению — улучшаем утилизацию железа.
⠀
3. Автоматическое масштабирование обучений с 1 GPU на сотни видеокарт, I/O на чтение/запись в десятки GB/s — улучшаем общую емкость систем обучения.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Дани Эль-Айясс и Александром Абрамовым кратко обсудим историю NLP: от T9 до ChatGPT.
⠀
В рамках доклада спикеры осветят историческую хронологию того, как человечество пришло к текущему состоянию NLP-индустрии (появление ChatGPT и других LLM), какие челленджи, сложности и препятствия стояли перед сообществом и что нас может ждать дальше.
⠀
Обсудим следующее:
⠀
1. Состояние NLP до появления модели трансформера в 2017 году.
2. Что такое языковые модели.
3. Появление GPT-1, BERT, и как transfer learning изменил индустрию.
4. Появление GPT-2 и zero-shot.
5. Появление GPT-3, больших языковых моделей и few-shot.
6. Появление инструктивных моделей Flan-T5, Instruct-GPT, ChatGPT.
7. Их возможности, ограничения и перспективы.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

LLMops: Ирина Николаева расскажет, что есть, кроме ChatGPT, и как вы можете развернуть это.
⠀
Из доклада Ирины вы узнаете:
⠀
1. ML-ликбез. Про используемые в дальнейшем термины простыми словами.
2. Классический MLops и его принципы.
3. Почему Large Language Models действительно такие крутые.
4. Эволюция генерации языка. Как мир пришел к LLM.
5. Многообразие LLM: основные модели и их особенности.
6. Развернуть LLM и радоваться жизни: обзор способов, лицензий и требований к железу.
7. Квантизация и файн тьюнинг — убрать нельзя использовать.
8. Векторные базы данных и LangChain.
9. LLM всегда ли нужен?
10. Заключение.
⠀
Встречаемся уже совсем скоро на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Prompt engineering: путь к эффективной работе с ChatGPT разберём на мастер-классе от Ильи Козырева.

Мы начнем с основных принципов работы языковых моделей и детально разберем роль промптов во взаимодействии с ChatGPT. Особое внимание уделим мастерству формулировки промптов, которое является ключевым для извлечения максимальной пользы из возможностей искусственного интеллекта.
⠀
На мастер-классе рассмотрим как аспекты применения ИИ в разработке и тестировании, так и методы работы с ChatGPT для проектирования архитектуры. Разберем конкретную архитектурную задачу, вместе спроектируем архитектуру решения, используя ChatGPT в качестве copilot ассистента архитектора.
⠀
Участники мастер-класса смогут на практике улучшить свои промпты и получить ценный навык для работы с современными языковыми моделями.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️Друзья, на HighLoad++ 2023 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в telegram-чате
- Доступ к трансляции для одного пользователя
⠀
Купить онлайн-билет
⠀
Ждем вас в эфире 27 и 28 ноября 🙌

🔥Открытая трансляция Главного зала HighLoad++ 2023!

Самая крутая новость ноября: 27 и 28 ноября пройдет открытая трансляция Главного зала HighLoad++ 2023. Это стало возможным благодаря поддержке нашего генерального партнёра, компании Яндекс.

✅ Просто зарегистрируйтесь и смотрите

⭐ В программе доклады лучших спикеров:

Павел Капля (Яндекс) - Алиса 6 лет спустя.

Александр Кирсанов (VK, ВКонтакте) - Математический хайлоад: большие, очень большие и немыслимо большие числа.

Евгений Россинский (ИВИ) - Как из Python и палок собрать детектор аномалий для highload.

Вы сможете не только посмотреть интересные доклады ТОПовых разработчиков, но и задать им вопросы.

Регистрируйтесь и присоединяйтесь к просмотру 🙌

Как выглядит борьба со спамерами в Антифроде билайн глазами Data Scientist? Узнаем из доклада Наталии Багровой.

Команда Антиспам (подразделение Антифрод) занимается созданием услуги по защите абонентов от нежелательных (навязчивых, рекламных) спам-вызовов, а также повышением информированности абонентов о таких звонках.

Услуга работает на уровне сети, не задействуя устройство абонента, и блокирует подозрительные звонки, перенаправляя их на голосового ассистента, а абонент получает SMS или push-уведомление о характере звонка.

Наталия начнет доклад с краткого обзора рынка антиспам-услуг и существующих решений, сравнит их с целевым дизайном, к которому они пришли в билайн. Обрисует текущую ситуацию на цифрах в терминах количества звонков, приходящихся на их базу, и их распределении внутри дня, активных номеров и их лайф-тайма, особенности трафика спам-номеров.

Перед тем, как мы сконцентрируемся на сердце услуги — алгоритмах машинного обучения, отвечающих за обнаружение токсичного трафика, мы рассмотрим доступные им способы получения таргета и их ограничения, а также технические (подмена номеров, задержка данных) и логические (использование одного номера под разные цели) сложности определения спама.

Затем проведем обзор комплекса существующих моделей и офлайн- и онлайн-метрик, которые они отслеживают. Наталия пояснит, почему была выбрана именно такая конфигурация и какие альтернативы были отброшены — и почему.

Далее расскажет про то, как устроено А/В-тестирование у них в команде, и поделится краткими результатами первых пилотов.

И в завершение мы пройдемся по ближайшими планам, которые им предстоят для поддержания качества алгоритмов с учетом изменения поведения спамерами (появление номеров-однодневок, перевод трафика в WhatsApp, маскировка под положительный трафик).


Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐️

✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel

Сергей Жемжицкий расскажет про Data Sketches — как съесть слона целиком (даже если он бесконечный).
⠀
При обработке и анализе данных часто возникают задачи, которые сложно масштабировать из-за огромного количества требуемых вычислительных ресурсов или значительного количества времени для получения точных результатов. Примеры таких задач — подсчет уникальных элементов, подсчет распределения элементов, определение частоты тех или иных элементов и т. д.
⠀
Если приблизительные результаты при решении подобных задач допустимы, то существует класс алгоритмов, называемых потоковыми или скетчами, которые позволяют получить результат (в заданных пределах погрешности) на несколько порядков быстрее. В случае пакетной обработки данных, жизнеспособных альтернатив часто может и не быть, а в случае потоковой обработки данных скетчи — единственное известное жизнеспособное решение.
⠀
Дата-скетчи (HyperLogLog, CPC, Theta, Count-min, Fdt, KLL и др.) могут стать отличным инструментом для всех, кому необходимо извлекать полезную информацию из больших объемов данных на ежедневной основе, используя приемлемое количество времени и ресурсов.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel

Денис Антюхов и Прохор Гладких расскажут о внедрении GigaChat LLM в виртуального ассистента Сбера: техническая реализация.
⠀
Обсудим следующие вопросы:
⠀
- цель. Зачем LLM в виртуальном ассистенте;
- использование внешних навыков;
- процесс обработки запроса;
- структура промпта;
- эксперименты и результаты.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel

Magnit Tech: сервисы остатков и цен на Go. Как справиться с большими потоками данных, быть гибким и консистентным? Узнаем из доклада Дмитрия Жаворонкова.
⠀
Дмитрий расскажет, как они делали систему управления остатками и ценами:
⠀
- какие технические сложности возникают при больших объемах данных (3̰0̰к̰ м̰а̰г̰а̰з̰и̰н̰о̰в̰,̰ 10-20к SKU, ~ 500 млн строк, 150к/рпс на запись);
- монолит vs микросервисы. Что выбрали и с каким сложностями столкнулись;
- Postgres vs Tarantool. Не самый очевидный выбор;
- работа с Kafka: конфигурация, графики, семантика «exactly-once», драйвер kafka-go от segmentio;
- согласованность в конечном счете — когда и зачем ее можно применять, как достичь;
- извечный вопрос: предподготовить данные или рассчитать на лету? Они выбрали гибридный подход;
- на какие метрики ориентировались: технические и бизнесовые;
- покажет их дашборды, расскажет, как они мониторят асинхронную систему и проводят нагрузочное тестирование, графики ТТХ, нагрузки, таймингов.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023.
⠀
✅ Программа конференции на сайте в описании канала @HighLoadChannel

С Константином Козловским рассмотрим точки отказа в хайлоад-системах. Backend.
⠀
Доклад о разработке, эксплуатации и отладке высоконагруженных систем в Газпромбанке. Рассмотрим типовые причины отказа, методы поиска проблем и лучшие инженерные практики, обеспечивающие высокую доступность системы и оперативное расследование инцидентов.
⠀
Константин расскажет вот о чём:
⠀
- Как разработчик видит хайлоад (джун/мидл/сеньор);
- виды точек отказа в хайлоаде с точки зрения backend;
- память сервиса под нагрузкой;
- пулы потоков;
- пулы соединений к базе данных;
- пулы tcp-соединений;
- пулы jms-сессий и соединений;
- реактивность (project reactor) и распространенные ошибки (java/kotlin);
- прокси и балансировщики;
- примеры инцидентов и их решение (как можно было предотвратить);
- диагностика и мониторинг хайлоад-проблем (практические примеры мониторинга).
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и онлайн-билеты на сайте в описании канала @HighLoadChannel

От CRM к DataLake с K8s и микросервисами – тема доклада Андрея Вильмова.
⠀
Как только система начинает разрастаться, появляются различные внешние и внутренние сервисы, с которыми необходимо реализовывать интеграции. Появляются задачи по построению аналитики или построению предиктивных моделей, а система не позволяет это делать без нагрузки? Или необходимо масштабировать систему?
⠀
Ответом на эти вопросы будут микросервисы, которые помогут реализовать всю необходимую логику. Как в этом помогают Kafka и Airflow, и что такое ETL. Все это поможет построить хорошую архитектуру, которую можно будет масштабировать и к которой можно подключать неограниченное число интеграций и внешних сервисов.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и присоединиться к нам онлайн можно на сайте в описании канала @HighLoadChannel