Виктор Васильев и Виль Магсумов расскажут, как они сэкономили бюджет на облачные ресурсы, используя масштабирование и самописный плагин для разворачивания стендов.
⠀
Разработка рекомендательной платформы с использованием ML SOTA-алгоритмов требует больших CPU/RAM-вычислительных ресурсов. К примеру, на одном из экземпляров их рекомендательной платформы до оптимизации использовалось ~ 930 CPU/4,7 Tb RAM только на ML.
⠀
Виль с Виктором расскажут, как при помощи динамического выделения стендов/ресурсов на базе технологий Node Autoscaler, HPA, самописного плагина для автоматического развертывания стендов можно повысить эффективность разработки, сэкономив до 30% стоимости. При этом сохранить темпы роста количества разрабатываемых фич и количества партнёров и сделать так, чтобы разработчики, в том числе и DS, могли проводить свои эксперименты, не мешая друг другу в облаке Cloud.ru.
⠀
О чем пойдёт речь:
⠀
1. Об их рекомендательной системе и основном техническом стеке.
2. Как они сделали feature-окружения для разработки моделей.
3. Как они настроили масштабируемую систему в облаке для сокращения стоимости и в результате получили до 30% суммарной экономии на всех стендах.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про тернистый путь инструмента цифрового проектирования узнаем из доклада Виктора Выскребенцева.
⠀
Почему C4-модели мало и сколько слоёв архитектуры нужно большой организации.
⠀
Они начали с попытки описания API и контрактов, поняли, что не хватает описания взаимодействий между системами, перешли к автоматизации стандартов и описанию детальной архитектуры своих АС и, наконец-то, добрались до открытия доступа по описанной архитектуре.
⠀
В дальнейших планах — связать все слои архитектуры в прозрачную модель на любом уровне.
⠀
Виктор расскажет о тяжёлом пути развития инструментов архитектурного проектирования в Банке.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Степан Полохин расскажет про Arc — внутренней VCS для монорепозитория Яндекса.
⠀
Репозиторий Яндекса просто громадный и для того, чтобы с ним вообще можно было работать, приходится прибегать к куче хитростей.
⠀
В докладе Степан расскажет:
⠀
- Какие системы контроля они перепробовали, прежде чем прийти к своей собственной.
- Что такое виртуализация файловой системы, как она помогает в борьбе с большим количеством файлов и какие у нее есть подводные камни.
- Как они вычисляют лог файла на графе из десятков миллионов коммитов за пару секунд, и почему так не может git.
- Что делать, если поверх вашей VCS не работает rsync и XCode.
- Как свести интерфейс к трем командам и перестать думать о ветках и коммитах.
⠀
До встречи на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️2 дня до повышения цены.
⠀
Друзья, 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас будет несколько дней для оплаты.
⠀
Актуальные цены сейчас:
⠀
Офлайн-участие = 60 000 руб., с 1 ноября = 64 000 руб.

Онлайн-участие = 30 000 руб., с 1 ноября = 32 000 руб.

Что вы получите на конференции:
⠀
- участие в самой масштабной за всю историю HighLoad++;
- участие сразу в двух конференциях на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023;
- освежите мысли, найдете новые идеи и решите собственные задачи после 150+ докладов и общения с коллегами;
- первыми поймаете тренды и узнаете изменения в индустрии;
- значительно вырастите профессионально;
- отлично проведете время в крупнейшей тусовке единомышленников.
⠀
Ждем вас 27 и 28 ноября в Москве на юбилейной, 20-ой конференции HighLoad++ 🙌
⠀
✅Забронировать билет можно на сайте в описании канала @HighLoadChannel

Что стоит за дженериками в Go? Расскажет в своем докладе Илья Горкун.
⠀
Дженерики, которые ранее были темой для холивара, плотно вошли в нашу жизнь, но вы когда-нибудь задумывались, что стоит за [T any]? Почему дженерики Go именно такие, и чем они отличаются от других языков? Какой магией они обладают, и что такое «gc shape»?
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Тотальный контроль за сотрудниками через Telegram обсудим со Станиславом Жуковским и Василием Шалимовым.
⠀
Крупная федеральная сеть салонов красоты. До 20 000 сотрудников, занятых в процессе украшения мира, но дисциплина прихрамывает. Задача: собирать фотоотчеты от каждого сотрудника и проверять их за 10 минут до утренней планерки в разных часовых поясах... или о том, как Telegram боты спасают топ-менеджеров в 2023 году.
⠀
Из доклада узнаем:
⠀
- Как не напугать сотрудников и подключить их к сервису слежки и контроля.
- Про кучу контента для SMM как приятном бонусе при реализации чат-бота.
- Какие есть реальные ограничения Telegram, и как этично их можно преодолеть. Реальные цифры требуемого железа под сервисы.
- О нейронках в проде, или как по фото определить соблюдение корп. стандартов.
- Про интеграцию YClients и особенностях работы API.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Рекомендации медиаконтента ВКонтакте очень интересны как с инженерной стороны, так и со стороны ML: Степан Малькевич расскажет, как они строят персонализированную ленту «Для Вас».

Мы рассмотрим полный путь построения новой ленты рекомендаций ВКонтакте с фокусом на персонализированном медиаконтенте. Особое внимание уделим ML, аналитической и бэкендной части задачи.

Вместе узнаем, какие алгоритмы машинного обучения применимы в данной задаче, как с ними работать в рамках огромного массива данных (терабайтов). Как контролируемо ставить множество А/B-тестов и тестировать сразу много гипотез в каждый момент времени, чтобы как можно быстрее двигаться к нашей конечной цели — новой ленте.

А также выясним, как построить бэкенд-архитектуру вокруг такого высоконагруженного продукта, как лента рекомендаций ВКонтакте.

🙌 Встречаемся на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.

✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Марк Паненко расскажет о новых возможностях в HR tech. Узнаем, как решать генеративные задачи с помощью: Transformer + LoRA + RLHF.
⠀
Успех ChatGPT вдохновил многих исследователей попробовать технологии, которые лежат в основе обучения подобных моделей. Подход к Fine-tuning больших моделей с помощью LoRA-адаптеров, а также механизм RLHF для учета мнения людей существенно упростили решение генеративных задач. А Instruction tuning позволил использовать генеративные модели в кейсах, в которых сложно формализовать задачу заранее.
⠀
В Работа.ру давно планировали решить несколько генеративных задач, но с классическим подходом к обучению моделей это было слишком ресурсозатратно. Сейчас же несколько кейсов уже реализованы и ушли в прод.
⠀
В своем докладе Марк:
⠀
- расскажет о самих технологиях SFT, LoRA, RLHF, Instruction tuning;
- покажет примеры реализации и расскажет о некоторых особенностях и подводных камнях этих технологий;
- подробно расскажет о реализованных ими кейсах в сфере HR tech;
- поделится архитектурными решениями;
- расскажет о ближайших планах.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Виталием Шутовым детально рассмотрим архитектурные различия между CPU и GPU: когда ядра решают.
⠀
GPU — революция в вычислениях или просто модный тренд? Узнаете, как GPU стали краеугольным камнем современных вычислительных технологий, и в каких ситуациях они могут стать вашими верными спутниками.
⠀
В этом докладе мы поймем, что делает GPU столь эффективным в определенных задачах. Специфичные примеры, детальный анализ и практические советы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как стать сеньором? Узнаем из доклада Василия Романова, одного из самых сеньорных инженеров Golang-сообщества.
⠀
Какой уровень Golang нужен сеньорам? Разберем, чем сеньор отличается от других грейдов и какие есть сеньор-антипаттерны. Поймем, что сеньоры бывают разные. И придем к выводу, что знать алгоритмы GC нашей гошечки нужно не каждому сеньору.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Рустема Гафарова узнаем про устройство индексов в почте Mail.ru.
⠀
Рустем расскажет о технических особенностях индексирования писем в почте Mail. ru. Остановится на проблемах, с которыми столкнулись, и как эти проблемы решали.
⠀
Их задачи:
⠀
- эффективная утилизация аппаратных ресурсов: уменьшение IOPS на терабайт хранилища, CPU — уменьшение % загруженности ядер;
- уменьшение и, как следствие, удешевление инфраструктуры без потери качества сервиса за счет более эффективной утилизации аппаратных ресурсов;
- обеспечение SLA на уровне 99.999%;
- автоматическое сохранение полноценного рабочего состояния сервиса при отключении дата-центра.
⠀
Архитектура хранения почты эволюционировала и адаптировалась к обновляющимся требованиям пользователей. Количество ящиков и писем в них растет в каждый момент времени, индексы ящиков и писем, хранящихся в них, не помещаются в память. Рустем расскажет о том, как шардируются ящики, как данные в ящике всегда остаются консистентными, и как происходит кэширование и перестроение индексов почты.
⠀
Встречаемся 27 и 28 ноября на юбилейной, 20-й конференции HighLoad++ в Москве 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Генеративные модели у всех на слуху, а примеров реального использования не так много, особенно мало информации о подводных камнях, которые встречаются при внедрении. Александр Прошунин готов поделиться своими трюками по обузданию моделей в задачах поиска, чат-ботов, борьбы с галлюцинациями и не только.
⠀
В данном докладе будет рассмотрено развитие идей NLP от вероятностных моделей в прошлом до современных больших языковым моделей. Мы поговорим об интересных архитектурах и путях развития.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

На мастер-классе от Алексея Лосева обсудим асинхронное взаимодействие в распределенных системах.
⠀
Разберем реальную задачу из жизни маркетплейсов по донесению товарных предложений от продавцов до покупателей. Обсудим возможные варианты реализации асинхронной передачи данных в распределенной системе, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel