Степан Полохин расскажет про Arc — внутренней VCS для монорепозитория Яндекса.
⠀
Репозиторий Яндекса просто громадный и для того, чтобы с ним вообще можно было работать, приходится прибегать к куче хитростей.
⠀
В докладе Степан расскажет:
⠀
- Какие системы контроля они перепробовали, прежде чем прийти к своей собственной.
- Что такое виртуализация файловой системы, как она помогает в борьбе с большим количеством файлов и какие у нее есть подводные камни.
- Как они вычисляют лог файла на графе из десятков миллионов коммитов за пару секунд, и почему так не может git.
- Что делать, если поверх вашей VCS не работает rsync и XCode.
- Как свести интерфейс к трем командам и перестать думать о ветках и коммитах.
⠀
До встречи на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️2 дня до повышения цены.
⠀
Друзья, 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас будет несколько дней для оплаты.
⠀
Актуальные цены сейчас:
⠀
Офлайн-участие = 60 000 руб., с 1 ноября = 64 000 руб.

Онлайн-участие = 30 000 руб., с 1 ноября = 32 000 руб.

Что вы получите на конференции:
⠀
- участие в самой масштабной за всю историю HighLoad++;
- участие сразу в двух конференциях на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023;
- освежите мысли, найдете новые идеи и решите собственные задачи после 150+ докладов и общения с коллегами;
- первыми поймаете тренды и узнаете изменения в индустрии;
- значительно вырастите профессионально;
- отлично проведете время в крупнейшей тусовке единомышленников.
⠀
Ждем вас 27 и 28 ноября в Москве на юбилейной, 20-ой конференции HighLoad++ 🙌
⠀
✅Забронировать билет можно на сайте в описании канала @HighLoadChannel

Что стоит за дженериками в Go? Расскажет в своем докладе Илья Горкун.
⠀
Дженерики, которые ранее были темой для холивара, плотно вошли в нашу жизнь, но вы когда-нибудь задумывались, что стоит за [T any]? Почему дженерики Go именно такие, и чем они отличаются от других языков? Какой магией они обладают, и что такое «gc shape»?
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Тотальный контроль за сотрудниками через Telegram обсудим со Станиславом Жуковским и Василием Шалимовым.
⠀
Крупная федеральная сеть салонов красоты. До 20 000 сотрудников, занятых в процессе украшения мира, но дисциплина прихрамывает. Задача: собирать фотоотчеты от каждого сотрудника и проверять их за 10 минут до утренней планерки в разных часовых поясах... или о том, как Telegram боты спасают топ-менеджеров в 2023 году.
⠀
Из доклада узнаем:
⠀
- Как не напугать сотрудников и подключить их к сервису слежки и контроля.
- Про кучу контента для SMM как приятном бонусе при реализации чат-бота.
- Какие есть реальные ограничения Telegram, и как этично их можно преодолеть. Реальные цифры требуемого железа под сервисы.
- О нейронках в проде, или как по фото определить соблюдение корп. стандартов.
- Про интеграцию YClients и особенностях работы API.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Рекомендации медиаконтента ВКонтакте очень интересны как с инженерной стороны, так и со стороны ML: Степан Малькевич расскажет, как они строят персонализированную ленту «Для Вас».

Мы рассмотрим полный путь построения новой ленты рекомендаций ВКонтакте с фокусом на персонализированном медиаконтенте. Особое внимание уделим ML, аналитической и бэкендной части задачи.

Вместе узнаем, какие алгоритмы машинного обучения применимы в данной задаче, как с ними работать в рамках огромного массива данных (терабайтов). Как контролируемо ставить множество А/B-тестов и тестировать сразу много гипотез в каждый момент времени, чтобы как можно быстрее двигаться к нашей конечной цели — новой ленте.

А также выясним, как построить бэкенд-архитектуру вокруг такого высоконагруженного продукта, как лента рекомендаций ВКонтакте.

🙌 Встречаемся на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.

✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Марк Паненко расскажет о новых возможностях в HR tech. Узнаем, как решать генеративные задачи с помощью: Transformer + LoRA + RLHF.
⠀
Успех ChatGPT вдохновил многих исследователей попробовать технологии, которые лежат в основе обучения подобных моделей. Подход к Fine-tuning больших моделей с помощью LoRA-адаптеров, а также механизм RLHF для учета мнения людей существенно упростили решение генеративных задач. А Instruction tuning позволил использовать генеративные модели в кейсах, в которых сложно формализовать задачу заранее.
⠀
В Работа.ру давно планировали решить несколько генеративных задач, но с классическим подходом к обучению моделей это было слишком ресурсозатратно. Сейчас же несколько кейсов уже реализованы и ушли в прод.
⠀
В своем докладе Марк:
⠀
- расскажет о самих технологиях SFT, LoRA, RLHF, Instruction tuning;
- покажет примеры реализации и расскажет о некоторых особенностях и подводных камнях этих технологий;
- подробно расскажет о реализованных ими кейсах в сфере HR tech;
- поделится архитектурными решениями;
- расскажет о ближайших планах.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Виталием Шутовым детально рассмотрим архитектурные различия между CPU и GPU: когда ядра решают.
⠀
GPU — революция в вычислениях или просто модный тренд? Узнаете, как GPU стали краеугольным камнем современных вычислительных технологий, и в каких ситуациях они могут стать вашими верными спутниками.
⠀
В этом докладе мы поймем, что делает GPU столь эффективным в определенных задачах. Специфичные примеры, детальный анализ и практические советы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как стать сеньором? Узнаем из доклада Василия Романова, одного из самых сеньорных инженеров Golang-сообщества.
⠀
Какой уровень Golang нужен сеньорам? Разберем, чем сеньор отличается от других грейдов и какие есть сеньор-антипаттерны. Поймем, что сеньоры бывают разные. И придем к выводу, что знать алгоритмы GC нашей гошечки нужно не каждому сеньору.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Рустема Гафарова узнаем про устройство индексов в почте Mail.ru.
⠀
Рустем расскажет о технических особенностях индексирования писем в почте Mail. ru. Остановится на проблемах, с которыми столкнулись, и как эти проблемы решали.
⠀
Их задачи:
⠀
- эффективная утилизация аппаратных ресурсов: уменьшение IOPS на терабайт хранилища, CPU — уменьшение % загруженности ядер;
- уменьшение и, как следствие, удешевление инфраструктуры без потери качества сервиса за счет более эффективной утилизации аппаратных ресурсов;
- обеспечение SLA на уровне 99.999%;
- автоматическое сохранение полноценного рабочего состояния сервиса при отключении дата-центра.
⠀
Архитектура хранения почты эволюционировала и адаптировалась к обновляющимся требованиям пользователей. Количество ящиков и писем в них растет в каждый момент времени, индексы ящиков и писем, хранящихся в них, не помещаются в память. Рустем расскажет о том, как шардируются ящики, как данные в ящике всегда остаются консистентными, и как происходит кэширование и перестроение индексов почты.
⠀
Встречаемся 27 и 28 ноября на юбилейной, 20-й конференции HighLoad++ в Москве 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Генеративные модели у всех на слуху, а примеров реального использования не так много, особенно мало информации о подводных камнях, которые встречаются при внедрении. Александр Прошунин готов поделиться своими трюками по обузданию моделей в задачах поиска, чат-ботов, борьбы с галлюцинациями и не только.
⠀
В данном докладе будет рассмотрено развитие идей NLP от вероятностных моделей в прошлом до современных больших языковым моделей. Мы поговорим об интересных архитектурах и путях развития.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

На мастер-классе от Алексея Лосева обсудим асинхронное взаимодействие в распределенных системах.
⠀
Разберем реальную задачу из жизни маркетплейсов по донесению товарных предложений от продавцов до покупателей. Обсудим возможные варианты реализации асинхронной передачи данных в распределенной системе, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сергей Скородумов поделится опытом масштабирования пропускной способности поиска Яндекса в 4 раза.
⠀
Мир постоянно меняется, Яндекс потерял кластер в Мантсале, поставки железа усложнены. Поэтому они озаботились подготовкой к растущим нагрузкам при меньшем объеме железа.
⠀
Сергей расскажет:
⠀
- как они увеличили пропускную способность Яндекс Поиска в 4 раза, огромного продукта с десятками внутренних сервисов;
- как добились этого почти без использования дополнительного железа;
- как наладили процесс поиска узких мест;
- как оптимизировали кучу железа;
- какие проблемы они нашли и решили в процессе масштабирования;
- какие механизмы деградации они внедрили в процессе масштабирования.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как CV помогает пользователю найти товар мечты по визуальному образу? Узнаем из доклада Дмитрия Малахова.
⠀
Дмитрий расскажет, как они вдохновились игрой «Акинатор», которая угадывает загаданного вами персонажа с помощью наводящих вопросов, а они взяли за основу похожий подход и создали продукт, который помогает их пользователям находить товар мечты.
⠀
«Хочу новую футболку, но не знаю какую...»
⠀
Как же это работает на практике, когда в голове пользователя запрос звучит не слишком конкретно? За всем этим стоит применение машинного обучения и Computer Vision, которые позволяют определять атрибуты товаров и искать похожие на них.
⠀
Заглянем под капот Laкинатора (да-да, именно так они его и назвали) и узнаем, как путем проб и ошибок они выстраивали логику обучения, какие бизнес-результаты принесли.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel