HighLoad++
6K subscribers
2.28K photos
137 videos
15 files
2.11K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Встречаемся 6 и 7 ноября в Москве на HighLoad++ 2025: https://highload.ru/moscow/2025

Общаемся в чатике https://t.iss.one/HighLoadTalks
Download Telegram
Всем привет!

Мы уже начали подготовку к Saint HighLoad++ 2022, который пройдёт 27 и 28 июня. И сейчас мы ищем спикеров, готовых рассказать о своём опыте построения и эксплуатации высоконагруженных систем. 

💥 Мы ищем спикеров!

По этой ссылке вы найдёте все подробности о тематике конференции, о том, как лучше сформулировать тезисы, как Программный комитет работает со спикерами и какие бонусы получают те, кто выступает на конференции.

📌 Заявки принимаем до 18 февраля. До 18 марта Программный комитет примет решение по вашей заявке, и сразу же начнётся подготовка к выступлению.

Подавайте заявку!
Всем привет!

ВКонтакте презентовали переезд на интернет-протокол QUIC и ускорение в два раза 🚀 Это значит, что обмен фотографиями, видео и другим контентом в соцсети стал гораздо быстрее. Даже при слабом интернете, например, на даче или в метро.

Подробнее про переезд читайте в статье технического директора ВКонтакте Александра Тоболя. Он рассказал, на что заменить устаревшие JPEG и JSON, с какими эффектами приходится иметь дело на сетевом уровне, что из критики в адрес QUIC имеет под собой реальные основания и как жить в условиях сетевой конкуренции.

Спойлер: свою реализацию поддержки QUIC Команда ВКонтакте выложила в открытый доступ. Так что, если хотите внедрить протокол в свой проект и оптимизировать доставку контента — в конце статьи найдёте ссылки на решение.

Читать📍https://habr.com/ru/company/vk/blog/594633/
Привет, друзья!

💥 Одним из спикеров HighLoad++ Foundation будет Александр Кривощеков из компании Яндекс.Еда.
https://clck.ru/an8k2

Александр занимается разработкой сервисов, обслуживающих одну из самых нагруженных и комплексных частей системы — главный экран Еды. Ежедневно эти сервисы подбирают лучшие предложения для пользователей и обрабатывают трафик со всех приложений, где представлена Яндекс.Еда.

Перебои и ошибки в работе распределённых систем (будь то Web или IoT) — совершенно обычная ситуация. Проблемы в работе с сетью, перебои в работе зависимостей и банальный человеческий фактор — та цена, которую мы платим за общую стабильность системы, лёгкую масштабируемость и гибкость в разработке.

На примере эволюции одного вымышленного (ну, почти вымышленного) сервиса по доставке напитков, Александр рассмотрит проблемы, с которыми он сталкивался, и решения, которые помогли с ними справиться.

В своем докладе он разберёт паттерны построения отказоустойчивой системы и примеры их реализации в реальной жизни, которые позволяют нашей системе переживать самые критические моменты. Начав с простейших таймаутов, мы проделаем путь до толстых клиентов и тыкв.

⚡️Подробное расписание опубликовано на сайте - https://clck.ru/an8j4

Забронировать билет можно здесь 👉 https://clck.ru/an8Lw
💥Премия Highload++ Award 2022 — наивысшая благодарность профессионалам и лидерам интернет-разработки.

Среди победителей прошлых лет — Денис Крючков (Хабрахабр), Пётр Зайцев (Percona), Андрей Бреслав (Kotlin), Олег Бартунов (PostgreSQL), Константин Осипов (Tarantool).

Победителей определяет экспертный совет из 157 представителей IT-отрасли и народное онлайн-голосование.

Заявки на участие в премии принимаются до 1 февраля 2022 г.
Начало голосования — 7 февраля 2022 г.
Голосование завершится 20 февраля 2022 г. У вас будет 2 недели, чтобы выбрать лучших.

Награждение победителей состоится во время конференции HighLoad++ Foundation 17 марта 2022 в Крокус-Экспо, Москва.

Принять участие в премии может каждый, кто приложил свою руку к разработке высоконагруженных систем. Все, что нужно сделать - это отправить заявку на сайте премии — https://clck.ru/ZCL3u. Будьте смелыми и заявите о себе или о том, кого считаете достойным!
Привет, друзья!

Как клиенты Тинькофф-Банка в 2018 году могли легко обналичить несколько миллионов рублей, не заплатив при этом ни рубля комиссии – узнаем у Тимура Габец из Тинькофф.
📋 https://clck.ru/aoAXZ

Он расскажет фродовую схему в деталях и объяснит, как такое могло быть технически возможно, а после этого посвятит в детали реализации системы, которую написали разработчики, чтобы закрыть эту дырку.
Спойлер: это многотредовый монолит на C, без виртуализации, но с Redis, protobuf и кэшированием внутри приложения.
И это работает, и не падает (почти)

⚡️Если вы еще не забронировали билет, то самое время это сделать, так как с 1 февраля будет повышение цен.

До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/aoAY5
Всем привет!

Бывает, совершая оплату, на счету видишь сообщение, что средства "заморожены", "заблокированы" или ещё что-то. А бывает, что списание происходит только через несколько дней после платежа.

Юрий Бабак - тимлид в компании НСПК. Более 13 лет занимается разработкой различных enterprise-платформ.
📋 https://clck.ru/aoaDy

В своем выступлении он расскажет, что делает команда разработчиков в платежной системе "Мир", чтобы средства не были заблокированы "вечность". Также поделится, как происходят взаиморасчеты между банками и как считаются чистые позиции за операционный день.

Иными словами, в этом докладе мы узнаем, как устроена и работает клиринговая система ПС "Мир".

Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!

⚡️Купить билет уже сейчас можно на сайте - https://clck.ru/aoaEi
Всем привет!

Как Почта России обрабатывает миллионы отправлений в сутки – узнаем у нашего спикера Александра Коптина из Почтатех.
📋 https://clck.ru/ap8ts

Основные тезисы выступления:
* Как выглядит жизненный цикл посылки от заказа в интернет-магазине до доставки в почтовое отделение;
* Что такое автоматизированная сортировка и зачем она нужна;
* Как мы управляем сортировочным оборудованием;
* Как мы взаимодействуем с Федеральной Таможенной Службой;
* Какие информационные системы за этим стоят.

🔹Полный список тем и тезисов, а также подробное расписание смотрите на нашем сайте https://clck.ru/ap8vs

Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!
⚡️Если вы еще не забронировали билет, то сделайте это сейчас, так как с 1 февраля будет повышение цен - https://clck.ru/ap8vs
Всем привет!

Как сделать стрим в PostgreSQL?

Раньше, когда пытались стримить в PostgreSQL, то сталкивались с тем, что рос WAL-трафик и на стрим тратилось гигантское время.

Но всё меняется, и команда Postgres оптимизировала TOAST так, что теперь возможна быстрая запись потока бинарных данных. Об этой оптимизации (ее планируется закоммитить для следующей версии PG15) — сегодняшняя статья Олега Бартунова.

Читать📍https://habr.com/ru/company/oleg-bunin/blog/646981/
👍2
Всем привет!
Продолжаем знакомить вас с нашими спикерами. На конференции Highload++ выступит Алексей Петруняка из MTS Digital.
Алексей обсудит тему: «Таргетирование в МТС Маркетолог: ClickHouse, C++ и битовые маски».
📋 https://clck.ru/apedp

Рекламу нельзя слать слишком часто, поэтому нужно сделать интерфейс, где менеджеры смогут "бронировать" миллионы выбранных по таргетам профилей из 100-миллионной базы.

В своем докладе Алексей расскажет, как они сначала реализовали сервис на основе ClickHouse, сложив в него около 60 миллиардов фактов о сегментах аудитории, а потом из-за того, что запрос на такое "бронирование" выполняется слишком долго, плюс нужно пересчитывать результаты по каждому клику в интерфейсе, перешли на быстрое in-memory-хранение и обработку данных для этих операций, оставляя ClickHouse только в качестве персистентного хранилища.

Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!

⚡️Купить билет уже сейчас можно на сайте — https://clck.ru/apeeF
💥 С 1 февраля цены на Highload++ Foundation вырастут!
Вы можете забронировать билет, зафиксировать цену ещё на несколько дней и оплатить позже.
 
Чем ближе к конференции, тем дороже!
 
Переходите на сайт , изучайте программу и бронируйте билет до повышения 👉🏻 https://clck.ru/apwSu
Всем привет!

Евгений Ненахов расскажет про потоковую обработку данных в центре BigData MTS Digital.
Евгений занимается разработкой на Scala, Java преимущественно в проектах BigData. Участвовал в разработке DataLake для нескольких крупных компаний. Преподаватель фундаментальной информатики и информационных технологий в вузе.
📋 https://clck.ru/aq5Ly

В своем докладе Евгений расскажет, как они в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Даст проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет, как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.

Встречаемся 17 и 18 марта в Москве, в Крокус Экспо!

👉 Купить билет уже сейчас можно на сайте — https://clck.ru/aq5LJ
👍3
Друзья, всем привет!

💥 Мы запускаем открытое голосование по лучшим Open Source решениям.

Эксперты отобрали 16 OpenSource-решений, авторы которых продолжат борьбу за право заявить о своем решении многотысячной аудитории хайлоадеров!

В голосовании могут принять участие абсолютно все, так что зовите своих коллег, друзей и знакомых 😊

26 февраля мы подведем итоги и выберем 5 лучших авторов (по итогам голосования).

👉 https://opensource.highload.ru/
Всем привет!

О том, как построили платформу для рассылок таргетированных уведомлений пользователям AliExpress Россия – узнаем на выступлении нашего спикера Руслана Гилемзянова (AliExpress Россия).
📋 https://clck.ru/aqnK8

На конференции Руслан расскажет, как используя гетерогенные источники данных внутри AliExpress Россия, они построили платформу на базе семейства продуктов Apache (Hadoop, Hive, Flink, Kafka, HBase и т.д.), позволяющую отсылать персонализированные уведомления пользователям.

Также в ходе доклада затронет следующие вопросы:
* как они пришли к созданию собственной платформы и почему не взяли что-то готовое на рынке;
* как платформа работает под капотом;
* и можно ли построить собственную платформу обработки данных на аудиторию в десятки миллионов пользователей, не имея в запасе внушительных вычислительных мощностей AliExpress Россия (спойлер: можно).

До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/aqnL4
👍2
Привет, друзья!

💥 Одним из спикеров HighLoad++ Foundation будет Александр Елисеев.
Александр в данный момент системный архитектор в DINS, занимается архитектурой внутренних сервисов, инфраструктурой и автоматизацией.
📋 https://clck.ru/aqy6S

Инфраструктура телекоммуникационных сервисов, в разработке которых участвует DINS, включает десятки тысяч серверов в более чем 20 дата-центрах на 5 континентах, как в собственных дата-центрах, так и в публичных облаках.

Деплоймент, мониторинг, обеспечение безопасности и другие задачи эксплуатации таких больших и неоднородных информационных систем требуют наличия продвинутых систем управления конфигурацией — configuration management databases (CMDB), являющейся "единым источником правды" обо всём многообразии элементов инфраструктуры и их взаимосвязях.

В своем докладе Александр расскажет об их опыте построения универсальной системы управления конфигурациями на основе графовой базы данных Neo4J, покажет, какие преимущества дает использование Онтологии на основе языка OWL для описания информационной модели инфраструктуры и как на её основе предоставить универсальный API для доступа к инфраструктурным данным.

Помимо этого, рассмотрит реальные практические кейсы применения CMDB, такие как: организация "продвинутого" мониторинга бизнес-сервисов с возможностью агрегации событий и поиском первопричин; построение heat-map'ов работоспособности сервиса; безопасное планирование сервисных работ и другие.

Встречаемся 17 и 18 марта в Москве в Крокус Экспо!

Расписание уже на сайте! Планируйте свое участие. Купить билет можно тут 👉 https://clck.ru/aqy73
Всем привет!

💥 В рамках Highload++ Foundation приглашаем вас в экосистему Яндекса!

Трек Яндекс - это 2 полных дня, объединенные разными темами.
🔹 17 марта мы погрузимся в надежность и отказоустойчивость (проблемы больших систем).
🔹 18 марта обсудим Machine learning в Highload.

В следующих публикациях будем знакомить вас со спикерами и программой Трек Яндекса более подробно.

⚡️Расписание зала Трантор уже опубликовано на сайте - https://clck.ru/arTWW

Если вы еще не забронировали билет, то самое время это сделать - https://clck.ru/arRAU
Привет, друзья!

💥 Приходите послушать выступление Евгения Россинского (ivi), который выступит в рамках Яндекс трека с докладом «Генерация хайлайтов».
📋 https://clck.ru/arKxU

Highlight — небольшое видео, показывающее наиболее яркие моменты из фильма. В ivi научились создавать highlight'ы автоматически, используя модели computer vision и pipeline подготовки видео к стримингу.
О том, каким образом это получается, Евгений расскажет в своем докладе.

Highlight очень похож на трейлер, однако трейлер, как правило, длиннее, в то время как длительность highlight’а обычно не превышает пары десятков секунд. Highlight’ы применяются в интерфейсах для того, чтобы лучше раскрыть содержание контента и заманить пользователя в просмотр.

На выступлении Евгений раскроет аспекты алгоритмической и инженерной частей создания Highlight’ов. Особое внимание он планирует уделить эксплуатационной и оптимизационной составляющим и масштабированию, поскольку обработка одного видео требует больших вычислительных ресурсов. А также расскажет о том, как они подключали внешние облака, когда ресурсов своего облака не хватило, затронет вопрос интеграции моделей требующих больших вычислительных ресурсов и времени в системы массового обслуживания.

До встречи на HighLoad++ 17 и 18 марта в Москве. Подробная информация и билеты на сайте – https://clck.ru/arKvS