Карина Кванчиани и Александр Капитанов поделятся рецептом идеальной разметки в Computer Vision.
⠀
За последний год они собрали, разметили и выложили в открытый доступ 3 больших датасета для различных задач компьютерного зрения (Computer Vision, CV): HaGRID, EasyPortrait и Slovo. Использование краудсорсинга платформ для разметки этих данных подвигло их создать методы агрегации разметки, которые позволили добиться максимальной точности.
⠀
Решение обобщить эти методы на другие CV-задачи привело их к созданию фреймворка агрегации, о котором и пойдет речь в докладе. Карина с Александром расскажут:
⠀
- самые популярные способы разметки больших данных в CV: о краудсорсинге и нейронных сетях;
- о необходимости агрегировать разметку на примере HaGRID, EasyPortrait и Slovo;
- о мотивации создания фреймворка агрегации и о его реализации.
⠀
В конце доклада увидим работу фреймворка для различных типов CV-разметки. Фреймворк доступен в Open Source, и они планируют его поддерживать и обновлять, в том числе ориентируясь на пожелания комьюнити!
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об актуальных угрозах безопасности в Large Language Model Applications поговорим с Артемом Бачевским.
⠀
LLM превращается из игрушки в полноценный рабочий инструмент, а значит настало время погрузиться во все аспекты безопасности моделей и приложений их использующих.
⠀
В рамках доклада рассмотрим топ-10 угроз для LLMA, кейсы атак и способы предотвращения угроз. Проведем приоритизацию, соотнесем со знакомыми примерами и в кулуарах поделимся своими находками и «случаями на производстве».
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как протестировать код на Go с базой данных? Узнаем из доклада Василия Василюка.
⠀
Когда кодовая база меняется с большим трудом, а моки в тестах требуют изменений на каждое изменение кода, развитие проекта сильно осложняется и для возвращения гибкости изменений и улучшения гарантий, предоставляемых тестами, можно применить интеграционное тестирование.
⠀
Василий расскажет об опыте запуска интеграционных тестов на Go с базой данных на примере PostgreSQL, как ускорить тесты в два раза и не думать над тем, «как удалить мусор из базы данных», а удалить её со всем мусором. Какие инструменты хороши для запуска и подключения к базе данных при работе в команде.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Ознакомиться подробно с программой конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Виктор Васильев и Виль Магсумов расскажут, как они сэкономили бюджет на облачные ресурсы, используя масштабирование и самописный плагин для разворачивания стендов.
⠀
Разработка рекомендательной платформы с использованием ML SOTA-алгоритмов требует больших CPU/RAM-вычислительных ресурсов. К примеру, на одном из экземпляров их рекомендательной платформы до оптимизации использовалось ~ 930 CPU/4,7 Tb RAM только на ML.
⠀
Виль с Виктором расскажут, как при помощи динамического выделения стендов/ресурсов на базе технологий Node Autoscaler, HPA, самописного плагина для автоматического развертывания стендов можно повысить эффективность разработки, сэкономив до 30% стоимости. При этом сохранить темпы роста количества разрабатываемых фич и количества партнёров и сделать так, чтобы разработчики, в том числе и DS, могли проводить свои эксперименты, не мешая друг другу в облаке Cloud.ru.
⠀
О чем пойдёт речь:
⠀
1. Об их рекомендательной системе и основном техническом стеке.
2. Как они сделали feature-окружения для разработки моделей.
3. Как они настроили масштабируемую систему в облаке для сокращения стоимости и в результате получили до 30% суммарной экономии на всех стендах.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про тернистый путь инструмента цифрового проектирования узнаем из доклада Виктора Выскребенцева.
⠀
Почему C4-модели мало и сколько слоёв архитектуры нужно большой организации.
⠀
Они начали с попытки описания API и контрактов, поняли, что не хватает описания взаимодействий между системами, перешли к автоматизации стандартов и описанию детальной архитектуры своих АС и, наконец-то, добрались до открытия доступа по описанной архитектуре.
⠀
В дальнейших планах — связать все слои архитектуры в прозрачную модель на любом уровне.
⠀
Виктор расскажет о тяжёлом пути развития инструментов архитектурного проектирования в Банке.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Степан Полохин расскажет про Arc — внутренней VCS для монорепозитория Яндекса.
⠀
Репозиторий Яндекса просто громадный и для того, чтобы с ним вообще можно было работать, приходится прибегать к куче хитростей.
⠀
В докладе Степан расскажет:
⠀
- Какие системы контроля они перепробовали, прежде чем прийти к своей собственной.
- Что такое виртуализация файловой системы, как она помогает в борьбе с большим количеством файлов и какие у нее есть подводные камни.
- Как они вычисляют лог файла на графе из десятков миллионов коммитов за пару секунд, и почему так не может git.
- Что делать, если поверх вашей VCS не работает rsync и XCode.
- Как свести интерфейс к трем командам и перестать думать о ветках и коммитах.
⠀
До встречи на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️2 дня до повышения цены.
⠀
Друзья, 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас будет несколько дней для оплаты.
⠀
Актуальные цены сейчас:
⠀
Офлайн-участие = 60 000 руб., с 1 ноября = 64 000 руб.

Онлайн-участие = 30 000 руб., с 1 ноября = 32 000 руб.

Что вы получите на конференции:
⠀
- участие в самой масштабной за всю историю HighLoad++;
- участие сразу в двух конференциях на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023;
- освежите мысли, найдете новые идеи и решите собственные задачи после 150+ докладов и общения с коллегами;
- первыми поймаете тренды и узнаете изменения в индустрии;
- значительно вырастите профессионально;
- отлично проведете время в крупнейшей тусовке единомышленников.
⠀
Ждем вас 27 и 28 ноября в Москве на юбилейной, 20-ой конференции HighLoad++ 🙌
⠀
✅Забронировать билет можно на сайте в описании канала @HighLoadChannel

Что стоит за дженериками в Go? Расскажет в своем докладе Илья Горкун.
⠀
Дженерики, которые ранее были темой для холивара, плотно вошли в нашу жизнь, но вы когда-нибудь задумывались, что стоит за [T any]? Почему дженерики Go именно такие, и чем они отличаются от других языков? Какой магией они обладают, и что такое «gc shape»?
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Тотальный контроль за сотрудниками через Telegram обсудим со Станиславом Жуковским и Василием Шалимовым.
⠀
Крупная федеральная сеть салонов красоты. До 20 000 сотрудников, занятых в процессе украшения мира, но дисциплина прихрамывает. Задача: собирать фотоотчеты от каждого сотрудника и проверять их за 10 минут до утренней планерки в разных часовых поясах... или о том, как Telegram боты спасают топ-менеджеров в 2023 году.
⠀
Из доклада узнаем:
⠀
- Как не напугать сотрудников и подключить их к сервису слежки и контроля.
- Про кучу контента для SMM как приятном бонусе при реализации чат-бота.
- Какие есть реальные ограничения Telegram, и как этично их можно преодолеть. Реальные цифры требуемого железа под сервисы.
- О нейронках в проде, или как по фото определить соблюдение корп. стандартов.
- Про интеграцию YClients и особенностях работы API.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Рекомендации медиаконтента ВКонтакте очень интересны как с инженерной стороны, так и со стороны ML: Степан Малькевич расскажет, как они строят персонализированную ленту «Для Вас».

Мы рассмотрим полный путь построения новой ленты рекомендаций ВКонтакте с фокусом на персонализированном медиаконтенте. Особое внимание уделим ML, аналитической и бэкендной части задачи.

Вместе узнаем, какие алгоритмы машинного обучения применимы в данной задаче, как с ними работать в рамках огромного массива данных (терабайтов). Как контролируемо ставить множество А/B-тестов и тестировать сразу много гипотез в каждый момент времени, чтобы как можно быстрее двигаться к нашей конечной цели — новой ленте.

А также выясним, как построить бэкенд-архитектуру вокруг такого высоконагруженного продукта, как лента рекомендаций ВКонтакте.

🙌 Встречаемся на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.

✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Марк Паненко расскажет о новых возможностях в HR tech. Узнаем, как решать генеративные задачи с помощью: Transformer + LoRA + RLHF.
⠀
Успех ChatGPT вдохновил многих исследователей попробовать технологии, которые лежат в основе обучения подобных моделей. Подход к Fine-tuning больших моделей с помощью LoRA-адаптеров, а также механизм RLHF для учета мнения людей существенно упростили решение генеративных задач. А Instruction tuning позволил использовать генеративные модели в кейсах, в которых сложно формализовать задачу заранее.
⠀
В Работа.ру давно планировали решить несколько генеративных задач, но с классическим подходом к обучению моделей это было слишком ресурсозатратно. Сейчас же несколько кейсов уже реализованы и ушли в прод.
⠀
В своем докладе Марк:
⠀
- расскажет о самих технологиях SFT, LoRA, RLHF, Instruction tuning;
- покажет примеры реализации и расскажет о некоторых особенностях и подводных камнях этих технологий;
- подробно расскажет о реализованных ими кейсах в сфере HR tech;
- поделится архитектурными решениями;
- расскажет о ближайших планах.
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Виталием Шутовым детально рассмотрим архитектурные различия между CPU и GPU: когда ядра решают.
⠀
GPU — революция в вычислениях или просто модный тренд? Узнаете, как GPU стали краеугольным камнем современных вычислительных технологий, и в каких ситуациях они могут стать вашими верными спутниками.
⠀
В этом докладе мы поймем, что делает GPU столь эффективным в определенных задачах. Специфичные примеры, детальный анализ и практические советы.
⠀
До скорой встречи на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как стать сеньором? Узнаем из доклада Василия Романова, одного из самых сеньорных инженеров Golang-сообщества.
⠀
Какой уровень Golang нужен сеньорам? Разберем, чем сеньор отличается от других грейдов и какие есть сеньор-антипаттерны. Поймем, что сеньоры бывают разные. И придем к выводу, что знать алгоритмы GC нашей гошечки нужно не каждому сеньору.
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel