Марк Паненко расскажет о новых возможностях в HR tech. Узнаем, как решать генеративные задачи с помощью: Transformer + LoRA + RLHF.
⠀
Успех ChatGPT вдохновил многих исследователей попробовать технологии, которые лежат в основе обучения подобных моделей. Подход к Fine-tuning больших моделей с помощью LoRA-адаптеров, а также механизм RLHF для учета мнения людей существенно упростили решение генеративных задач. А Instruction tuning позволил использовать генеративные модели в кейсах, в которых сложно формализовать задачу заранее.
⠀
В Работа.ру давно планировали решить несколько генеративных задач, но с классическим подходом к обучению моделей это было слишком ресурсозатратно. Сейчас же несколько кейсов уже реализованы и ушли в прод.
⠀
В своем докладе Марк:
⠀
- расскажет о самих технологиях SFT, LoRA, RLHF, Instruction tuning;
- покажет примеры реализации и расскажет о некоторых особенностях и подводных камнях этих технологий;
- подробно расскажет о реализованных ими кейсах в сфере HR tech;
- поделится архитектурными решениями;
- расскажет о ближайших планах.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Виталием Шутовым детально рассмотрим архитектурные различия между CPU и GPU: когда ядра решают.
⠀
GPU — революция в вычислениях или просто модный тренд? Узнаете, как GPU стали краеугольным камнем современных вычислительных технологий, и в каких ситуациях они могут стать вашими верными спутниками.
⠀
В этом докладе мы поймем, что делает GPU столь эффективным в определенных задачах. Специфичные примеры, детальный анализ и практические советы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как стать сеньором? Узнаем из доклада Василия Романова, одного из самых сеньорных инженеров Golang-сообщества.
⠀
Какой уровень Golang нужен сеньорам? Разберем, чем сеньор отличается от других грейдов и какие есть сеньор-антипаттерны. Поймем, что сеньоры бывают разные. И придем к выводу, что знать алгоритмы GC нашей гошечки нужно не каждому сеньору.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Рустема Гафарова узнаем про устройство индексов в почте Mail.ru.
⠀
Рустем расскажет о технических особенностях индексирования писем в почте Mail. ru. Остановится на проблемах, с которыми столкнулись, и как эти проблемы решали.
⠀
Их задачи:
⠀
- эффективная утилизация аппаратных ресурсов: уменьшение IOPS на терабайт хранилища, CPU — уменьшение % загруженности ядер;
- уменьшение и, как следствие, удешевление инфраструктуры без потери качества сервиса за счет более эффективной утилизации аппаратных ресурсов;
- обеспечение SLA на уровне 99.999%;
- автоматическое сохранение полноценного рабочего состояния сервиса при отключении дата-центра.
⠀
Архитектура хранения почты эволюционировала и адаптировалась к обновляющимся требованиям пользователей. Количество ящиков и писем в них растет в каждый момент времени, индексы ящиков и писем, хранящихся в них, не помещаются в память. Рустем расскажет о том, как шардируются ящики, как данные в ящике всегда остаются консистентными, и как происходит кэширование и перестроение индексов почты.
⠀
Встречаемся 27 и 28 ноября на юбилейной, 20-й конференции HighLoad++ в Москве 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Генеративные модели у всех на слуху, а примеров реального использования не так много, особенно мало информации о подводных камнях, которые встречаются при внедрении. Александр Прошунин готов поделиться своими трюками по обузданию моделей в задачах поиска, чат-ботов, борьбы с галлюцинациями и не только.
⠀
В данном докладе будет рассмотрено развитие идей NLP от вероятностных моделей в прошлом до современных больших языковым моделей. Мы поговорим об интересных архитектурах и путях развития.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

На мастер-классе от Алексея Лосева обсудим асинхронное взаимодействие в распределенных системах.
⠀
Разберем реальную задачу из жизни маркетплейсов по донесению товарных предложений от продавцов до покупателей. Обсудим возможные варианты реализации асинхронной передачи данных в распределенной системе, применимость различных паттернов, плюсы и минусы различных реализаций.
⠀
Ждем вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Сергей Скородумов поделится опытом масштабирования пропускной способности поиска Яндекса в 4 раза.
⠀
Мир постоянно меняется, Яндекс потерял кластер в Мантсале, поставки железа усложнены. Поэтому они озаботились подготовкой к растущим нагрузкам при меньшем объеме железа.
⠀
Сергей расскажет:
⠀
- как они увеличили пропускную способность Яндекс Поиска в 4 раза, огромного продукта с десятками внутренних сервисов;
- как добились этого почти без использования дополнительного железа;
- как наладили процесс поиска узких мест;
- как оптимизировали кучу железа;
- какие проблемы они нашли и решили в процессе масштабирования;
- какие механизмы деградации они внедрили в процессе масштабирования.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как CV помогает пользователю найти товар мечты по визуальному образу? Узнаем из доклада Дмитрия Малахова.
⠀
Дмитрий расскажет, как они вдохновились игрой «Акинатор», которая угадывает загаданного вами персонажа с помощью наводящих вопросов, а они взяли за основу похожий подход и создали продукт, который помогает их пользователям находить товар мечты.
⠀
«Хочу новую футболку, но не знаю какую...»
⠀
Как же это работает на практике, когда в голове пользователя запрос звучит не слишком конкретно? За всем этим стоит применение машинного обучения и Computer Vision, которые позволяют определять атрибуты товаров и искать похожие на них.
⠀
Заглянем под капот Laкинатора (да-да, именно так они его и назвали) и узнаем, как путем проб и ошибок они выстраивали логику обучения, какие бизнес-результаты принесли.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Внутренняя платежная система Яндекса: что под капотом? Расскажет об этом в своем докладе Антон Куранда.
⠀
Узнаем, как устроена платежная система Яндекса, которая обрабатывает платежи от всех сервисов компании. А также о том, что FinOps — это:
⠀
- не бывшие Яндекс.Деньги, а отдельная система;
- высоконагруженная платежная система, обрабатывающая до 1,2 тыс. платежей в секунду;
- повышенные требования к надежности и отказоустойчивости (они должны быть ещё более надежными, чем самый надежный сервис Яндекса). Минуты простоя — это убытки в миллионы денег;
- широкая география приема платежей — от Перу до Эмиратов;
- event sourcing-система, написанная на Golang, работающая в 3 ДЦ, использующая YDB.
⠀
И ещё много чего полезного.
⠀
Встречаемся на юбилейной, 20-й и самой масштабной из всех прошедших конференций HighLoad++ 💥
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Деревья на собеседованиях: на мастер-классе от Максима Фатина разберемся, как подготовиться к алгоритмическому интервью (в одну большую компанию).
⠀
Как попасть в Big Tech? Этим вопросом задается большое число разработчиков, поэтому Максим решил рассказать о бинарных деревьях, которые встречаются на собеседованиях топовых Big Tech-компаний в России.
⠀
Мы начнем с базовой терминологии, чтобы всем было комфортно, а закончим разбором задач с собеседований, и за время доклада вы:
⠀
- узнаете о 5 разных обходах деревьев;
- решите 3 задачи с собеседования;
- разберётесь в решении 9 задач.
⠀
✋ Чтобы получить максимум пользы от мастер-класса нужны:
⠀
- с собой ноутбук,
- регистрация на leetcode.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Павел Капля в своём докладе рассмотрит эволюцию Алисы от начала до наших дней и детально разберет текущую итерацию редизайна системы.
⠀
Алисе исполнилось 6 лет. Это надежный высоконагруженный сервис с десятками миллионов пользователей в месяц, который каждые несколько лет приходится переписывать, чтобы двигаться дальше.
⠀
Павел расскажет о том, как развивалась Алиса, какие нестандартные архитектурные решения в ней применены и почему именно такие, покажет, как устроен современный персональный ассистент, его разработка и масштабирование.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Семён Барышников расскажет о высоконагруженной VDI из Open Source для платформы киберучений «CyberCamp» в облачном Kubernetes.
⠀
Для проведения Cybercamp (это созданная ими платформа киберучений, где участники выполняют задания в формате CTF) необходимо было предоставить доступ к платформе (создать рабочие места, изолировать команды друг от друга, выдать необходимые сетевые доступы) 500 участникам. Эти рабочие места содержат в себе целый арсенал инструментов для отработки навыков Red и Blue Team.
⠀
Для экономии ресурсов и улучшения управляемости они упаковали эти рабочие места в контейнеры и расположили их в Managed Kubernetes от Яндекс.Облако, а доступ из браузера организовали с помощью Guacamole. Семён расскажет, как они обеспечивали безопасность, что ещё расположили в Kubernetes и почему была выбрана именно контейнеризация с использованием оркестратора, а не виртуализация.
⠀
В результате им удалось 2 года подряд проводить киберучения без инцидентов ИБ и каких-либо простоев, затрачивая минимум усилий на поддержку мероприятия во время его проведения.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

О расширении возможностей отладчика GDB при помощи Python узнаем из доклада Михаила Ельхимова.
⠀
Довольно часто при разборе проблем с проектами в контурах заказчика они сталкиваются с необходимостью использовать отладчик. Одним из типичных сценариев является, например, падение, при котором генерится coredump, и в дальнейшем они используют его, чтобы разобраться с причиной падения. При этом у них нет возможности использовать код самого Tarantool, а некоторые типовые для Тарантула действия просто неудобно делать, если использовать только базовый функционал отладчика.
⠀
К счастью, в отладчике предусмотрен механизм, с помощью которого можно расширить его возможности и упростить отладку. К тому же, зачастую по соображениям безопасности они не имеют прямого доступа, собственно, к «корке» и вынуждены работать с ней удаленно, что также требует максимального упрощения взаимодействия с отладчиком для минимизации ошибок.
⠀
В частности, им нужен удобный способ для:
⠀
- работы с файберами: список, стек вызовов произвольного (не текущего) файбера;
- работы с различными списками: итерирование, просмотр/поиск элементов;
- просмотра msgpack с тарантульными расширениями;
- просмотра тапла и его формата;
- различных манипуляций с виртуальной машиной LuaJIT.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Дмитрий Варенов и Владимир Павлов поделятся опытом изучения передовых китайских СПО-решений для построения сложных IТ-инфраструктур на базе единой программной платформы OpenScaler/openEuler.
⠀
В данном докладе мы рассмотрим опыт их сообщества в изучении передовых китайских СПО-решений, которые отсутствуют в составе широко известных Linux-дистрибутивов. Дмитрий с Владимиром также представят обзор этих решений и описание их функционально-технических возможностей.
⠀
В рамках доклада мы сфокусируемся на их опыте и увидим примеры следующих технологий:
⠀
1. Сравнительное тестирование фирменного решения контейнерной виртуализации iSula с решениями Docker/Podman. Они провели тестирование, включающее измерение временных затрат на ключевые операции при запуске 10, 100 и 1000 контейнеров как последовательно, так и параллельно.
⠀
2. Их опыт использования единой кодовой базы OpenScaler/openEuler для создания специализированных дистрибутивов для Edge-устройств архитектур X86/ARM/RISC-V.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Hazelcast, который смог: Прохор Крылов расскажет, как получить молниеносный ответ на сотни запросов в секунду с использованием бесплатной библиотеки. От первых восторгов до хладнокровия.
⠀
Дано: распределённая сервисно-ориентированная система с сотнями пользовательских запросов в секунду.
⠀
Цель: получать молниеносный ответ на пользовательские запросы без исполнения задач в IT-инфраструктуре.
⠀
Прохор расскажет, как решали задачу с помощью бесплатной версии библиотеки Hazelcast. Почему выбор пал именно на неё, о первых восторгах, борьбе со скудной документацией, набитых шишках и выстраданных рецептах.
⠀
Внутри доклада:
⠀
- Подходы к работе с обработкой запросов в микросервисной архитектуре.
- Варианты доступных на рынке решений (Redis, Hazelcast, Apache Ignite, Memcached).
- Опции Hazelcast: критерии выбора Open Source vs Enterprise.
- Опыт использования: примеры проблем и рекомендации.
- Границы применимости бесплатной библиотеки Hazelcast.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про качество и контроль в большом Open Source-проекте поговорим с Александром Макаровым.
⠀
Проект вырос, окреп, популярен. Планы были амбициозные. Они это сделали. А вот поддерживать и развивать... как?
⠀
Про то, как эффективно управляться с популярным проектом при недостатке ресурсов. Что заменить автоматикой, где нужны регламенты, где лучше работает доверие.
⠀
Всё на примере популярного PHP-фреймворка Yii.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

О масштабировании OpenAPI в API-first-компании узнаем из доклада Максима Лапшина.
⠀
Они в Flussonic два года назад резко перешли на API-first-подход к построению систем, и это было необходимо для возможности расти и развиваться. Они внедрили OpenAPI 3.1 для коммуникации сложных систем на Erlang, Golang, Python, Rust, Rails, C, Node.js. Репозиторий со схемами стал местом, где бизнес может договариваться с разработкой на простом и формальном языке. В нём сейчас 56 тыс. строк кода в YML-файлах и 140 тыс. строк кода в результирующих json-файлах.
⠀
Поддержание его читаемым, понятным, лаконичным инструментом, позволяющим согласовывать сущности между различными командами, потребовало собственных доработок кодогенераторов, валидаторов и прочего инструментария для работы с OpenAPI.
⠀
В докладе будет рассказано про доработки инструментов вокруг такого репозитория с OpenAPI-схемами, который становится главным местом сборки целой компании.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel