Владимир Озеров расскажет, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake.
⠀
Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в озере данных, что позволяет компаниям более гибко и эффективно анализировать свои данные за счет уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище.
⠀
Подобные продукты используют принцип разделения compute и storage, при котором обработка и хранение данных происходит на разных серверах. Несмотря на многочисленные преимущества, разделение compute и storage приводит к серьезному вызову: как обеспечить высокую производительность обработки информации, хранящейся на удаленных серверах? Конкурентоспособен ли такой подход по сравнению с классическими хранилищами данных?
⠀
В докладе мы рассмотрим реализацию ключевых оптимизаций, которые позволяют Trino, Presto и Dremio быстро «перемалывать» данные из вашего озера: использование метаданных Parquet и ORC для уменьшения количества зачитываемых данных (partition pruning, project/filter/aggregate pushdown), динамическая фильтрация (runtime filtering), материализованные представления (materialized views), а также многочисленные кэши: кэш метаданных, кэш данных и кэш промежуточных результатов запросов.
⠀
🖐 Ждем вас на HighLoad++ 2023 в Москве.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Филипп Бочаров в своем докладе расскажет о распределенной трассировке с Jaeger и Clickhouse.
⠀
МТС — это огромная экосистема продуктов, в которой каждую секунду происходят тысячи взаимодействий между компонентами. В 2019 году они запустили внутренний сервис распределенной трассировки, чтобы помочь командам отслеживать ошибки в работе экосистемы. За это время они прошли длинный путь, подключив 1000+ сервисов, научившись обрабатывать 150 тысяч спанов в секунду и несколько раз поменяв архитектуру решения.
⠀
В докладе Филипп расскажет, как они мигрировали с Elasticsearch на Clickhouse для хранения распределенной трассировки. Как на собственных ошибках нарабатывали экспертизу по Clickhouse и дорабатывали Open Source-решения под свои нагрузки. Как дали возможность выполнять аналитические запросы к Clickhouse и строить дашборды по данным трассировки.
⠀
Встречаемся на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С++ и безопасность: можно ли сделать лучше? Узнаем из доклада Сергея Талантова.
⠀
По следам гайда от Агентства национальной безопасности (NSA), в котором языки С/C+ признаются «опасными» и требующими перехода на «безопасные» C#, Go, Java, Ruby и Swift. Поймем, так ли плохо обстоят дела с безопасностью в С++ на самом деле, и что современная индустрия предлагает для решения данного вопроса.
⠀
Собираемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Темные боги корпоративной архитектуры. Истории из недр варпа расскажет в своем докладе Андрей Жуков.
⠀
Как так оказывается, что совершенно разные подходы к организации корпоративной архитектуры порождают одинаково отвратительных демонов реализации? Почему рожденные в идеальном порядке или искренней любви дизайн-документы все равно приводят нас в пучины отчаяния? Как приключение на один спринт обращается в падение в черную дыру техдолга?
⠀
Андрей расскажет разные истории о впадении разработки в ересь в разных обстоятельствах, иногда даже идеальных.
⠀
🖐 Встречаемся на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔥 6 дней до повышения цены билетов на HighLoad++ 2023.
⠀
Друзья, 27 и 28 ноября мы встречаемся на особенной HighLoad++ 2023. Это будет больше, чем конференция.
⠀
Чем же HighLoad++ этого года отличается от всех предыдущих и почему ее нельзя пропустить разработчику высоконагруженных систем? Рассказываем:
⠀
1. Самое главное отличие в том, что это наша юбилейная, 20-я конференция HighLoad++. Она будет самой масштабной, самой большой и по участникам, и по программе (150+ докладов, 5+ мастер-классов, 11 треков)
⠀
2. У нас будет более 50 партнеров - все компании, которые как-то представлены в российском интернете. И вы с ними сможете познакомиться и пообщаться. Это будет самый простой способ за 2 дня понять весь рынок, все, что на нем происходит к 2023 году.
⠀
3. Мы возрождаем премию HighLoad++. 27 ноября пройдет церемония награждения лидеров IT за вклад в развитие экосистемы интернет–разработки в России.
⠀
4. Мы впервые глубоко копнем в опенсорс. Мы будем говорить про то, как создавать опенсорс, как его раскручивать, как опенсорс работает, как сделать опенсорс-проект. С этой точки зрения опенсорс не рассматривался еще никогда и нигде. Если вы как разработчик хотите сделать опенсорс-проект, то вам просто необходимо быть на этой конференции.
⠀
5. Две конференции на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023. Это один из самых модных современных языков, на котором очень часто строятся высоконагруженные системы. Мы будем говорить и о производительности Golang, и про применение его в высоконагруженных системах, и про то, как строить сложные системы, сложную бизнес-логику на Golang.
⠀
И, конечно, особенной будет и программа докладов.
⠀
Если вы планировали, раздумывали присоединиться к нам, но еще не купили билет, то сейчас самое время это сделать, чтобы успеть до повышения цены. С 1 ноября стоимость билетов станет максимальной.
⠀
✅ Ознакомиться подробнее с программой и купить билет можно на сайте
⠀
До встречи на юбилейной HighLoad++ 2023 🙌

Карина Кванчиани и Александр Капитанов поделятся рецептом идеальной разметки в Computer Vision.
⠀
За последний год они собрали, разметили и выложили в открытый доступ 3 больших датасета для различных задач компьютерного зрения (Computer Vision, CV): HaGRID, EasyPortrait и Slovo. Использование краудсорсинга платформ для разметки этих данных подвигло их создать методы агрегации разметки, которые позволили добиться максимальной точности.
⠀
Решение обобщить эти методы на другие CV-задачи привело их к созданию фреймворка агрегации, о котором и пойдет речь в докладе. Карина с Александром расскажут:
⠀
- самые популярные способы разметки больших данных в CV: о краудсорсинге и нейронных сетях;
- о необходимости агрегировать разметку на примере HaGRID, EasyPortrait и Slovo;
- о мотивации создания фреймворка агрегации и о его реализации.
⠀
В конце доклада увидим работу фреймворка для различных типов CV-разметки. Фреймворк доступен в Open Source, и они планируют его поддерживать и обновлять, в том числе ориентируясь на пожелания комьюнити!
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об актуальных угрозах безопасности в Large Language Model Applications поговорим с Артемом Бачевским.
⠀
LLM превращается из игрушки в полноценный рабочий инструмент, а значит настало время погрузиться во все аспекты безопасности моделей и приложений их использующих.
⠀
В рамках доклада рассмотрим топ-10 угроз для LLMA, кейсы атак и способы предотвращения угроз. Проведем приоритизацию, соотнесем со знакомыми примерами и в кулуарах поделимся своими находками и «случаями на производстве».
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как протестировать код на Go с базой данных? Узнаем из доклада Василия Василюка.
⠀
Когда кодовая база меняется с большим трудом, а моки в тестах требуют изменений на каждое изменение кода, развитие проекта сильно осложняется и для возвращения гибкости изменений и улучшения гарантий, предоставляемых тестами, можно применить интеграционное тестирование.
⠀
Василий расскажет об опыте запуска интеграционных тестов на Go с базой данных на примере PostgreSQL, как ускорить тесты в два раза и не думать над тем, «как удалить мусор из базы данных», а удалить её со всем мусором. Какие инструменты хороши для запуска и подключения к базе данных при работе в команде.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Ознакомиться подробно с программой конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Виктор Васильев и Виль Магсумов расскажут, как они сэкономили бюджет на облачные ресурсы, используя масштабирование и самописный плагин для разворачивания стендов.
⠀
Разработка рекомендательной платформы с использованием ML SOTA-алгоритмов требует больших CPU/RAM-вычислительных ресурсов. К примеру, на одном из экземпляров их рекомендательной платформы до оптимизации использовалось ~ 930 CPU/4,7 Tb RAM только на ML.
⠀
Виль с Виктором расскажут, как при помощи динамического выделения стендов/ресурсов на базе технологий Node Autoscaler, HPA, самописного плагина для автоматического развертывания стендов можно повысить эффективность разработки, сэкономив до 30% стоимости. При этом сохранить темпы роста количества разрабатываемых фич и количества партнёров и сделать так, чтобы разработчики, в том числе и DS, могли проводить свои эксперименты, не мешая друг другу в облаке Cloud.ru.
⠀
О чем пойдёт речь:
⠀
1. Об их рекомендательной системе и основном техническом стеке.
2. Как они сделали feature-окружения для разработки моделей.
3. Как они настроили масштабируемую систему в облаке для сокращения стоимости и в результате получили до 30% суммарной экономии на всех стендах.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про тернистый путь инструмента цифрового проектирования узнаем из доклада Виктора Выскребенцева.
⠀
Почему C4-модели мало и сколько слоёв архитектуры нужно большой организации.
⠀
Они начали с попытки описания API и контрактов, поняли, что не хватает описания взаимодействий между системами, перешли к автоматизации стандартов и описанию детальной архитектуры своих АС и, наконец-то, добрались до открытия доступа по описанной архитектуре.
⠀
В дальнейших планах — связать все слои архитектуры в прозрачную модель на любом уровне.
⠀
Виктор расскажет о тяжёлом пути развития инструментов архитектурного проектирования в Банке.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Степан Полохин расскажет про Arc — внутренней VCS для монорепозитория Яндекса.
⠀
Репозиторий Яндекса просто громадный и для того, чтобы с ним вообще можно было работать, приходится прибегать к куче хитростей.
⠀
В докладе Степан расскажет:
⠀
- Какие системы контроля они перепробовали, прежде чем прийти к своей собственной.
- Что такое виртуализация файловой системы, как она помогает в борьбе с большим количеством файлов и какие у нее есть подводные камни.
- Как они вычисляют лог файла на графе из десятков миллионов коммитов за пару секунд, и почему так не может git.
- Что делать, если поверх вашей VCS не работает rsync и XCode.
- Как свести интерфейс к трем командам и перестать думать о ветках и коммитах.
⠀
До встречи на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️2 дня до повышения цены.
⠀
Друзья, 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас будет несколько дней для оплаты.
⠀
Актуальные цены сейчас:
⠀
Офлайн-участие = 60 000 руб., с 1 ноября = 64 000 руб.

Онлайн-участие = 30 000 руб., с 1 ноября = 32 000 руб.

Что вы получите на конференции:
⠀
- участие в самой масштабной за всю историю HighLoad++;
- участие сразу в двух конференциях на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023;
- освежите мысли, найдете новые идеи и решите собственные задачи после 150+ докладов и общения с коллегами;
- первыми поймаете тренды и узнаете изменения в индустрии;
- значительно вырастите профессионально;
- отлично проведете время в крупнейшей тусовке единомышленников.
⠀
Ждем вас 27 и 28 ноября в Москве на юбилейной, 20-ой конференции HighLoad++ 🙌
⠀
✅Забронировать билет можно на сайте в описании канала @HighLoadChannel

Что стоит за дженериками в Go? Расскажет в своем докладе Илья Горкун.
⠀
Дженерики, которые ранее были темой для холивара, плотно вошли в нашу жизнь, но вы когда-нибудь задумывались, что стоит за [T any]? Почему дженерики Go именно такие, и чем они отличаются от других языков? Какой магией они обладают, и что такое «gc shape»?
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Тотальный контроль за сотрудниками через Telegram обсудим со Станиславом Жуковским и Василием Шалимовым.
⠀
Крупная федеральная сеть салонов красоты. До 20 000 сотрудников, занятых в процессе украшения мира, но дисциплина прихрамывает. Задача: собирать фотоотчеты от каждого сотрудника и проверять их за 10 минут до утренней планерки в разных часовых поясах... или о том, как Telegram боты спасают топ-менеджеров в 2023 году.
⠀
Из доклада узнаем:
⠀
- Как не напугать сотрудников и подключить их к сервису слежки и контроля.
- Про кучу контента для SMM как приятном бонусе при реализации чат-бота.
- Какие есть реальные ограничения Telegram, и как этично их можно преодолеть. Реальные цифры требуемого железа под сервисы.
- О нейронках в проде, или как по фото определить соблюдение корп. стандартов.
- Про интеграцию YClients и особенностях работы API.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Рекомендации медиаконтента ВКонтакте очень интересны как с инженерной стороны, так и со стороны ML: Степан Малькевич расскажет, как они строят персонализированную ленту «Для Вас».

Мы рассмотрим полный путь построения новой ленты рекомендаций ВКонтакте с фокусом на персонализированном медиаконтенте. Особое внимание уделим ML, аналитической и бэкендной части задачи.

Вместе узнаем, какие алгоритмы машинного обучения применимы в данной задаче, как с ними работать в рамках огромного массива данных (терабайтов). Как контролируемо ставить множество А/B-тестов и тестировать сразу много гипотез в каждый момент времени, чтобы как можно быстрее двигаться к нашей конечной цели — новой ленте.

А также выясним, как построить бэкенд-архитектуру вокруг такого высоконагруженного продукта, как лента рекомендаций ВКонтакте.

🙌 Встречаемся на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.

✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel