➡️ Антон Колесов расскажет, как они защищают при перегрузках миллионы клиентов посредством динамического троттлинга в высоконагруженных системах
⠀
📋 https://bx.vc/9r01na
⠀
Антон с командой часто сталкивались с проблемами, когда излишняя нагрузка на один компонент системы может влиять на другие, причем на первый взгляд не очень-то и связанные. В особо тяжелых случаях подобные перекрестные влияния могут начать каскадно утягивать за собой в недоступность значимые части комплекса.
⠀
- Как обезопасить себя и свои сервисы от разрушительных последствий сбоев или перегрузок?
- Как автоматически выявить деградирующую по производительности функцию API и что с ней делать дальше?
- Какие стратегии троттлинга уместно применить в случае с частыми перегрузками компонентов в распределенной системе?
⠀
Узнаем ответы на эти и другие вопросы из доклада Антона, также коснемся темы, как данное решение эксплуатируется и мониторится.
⠀
До встречи 22 и 23 сентября 🙌
⠀
✅ Программа конференции и билеты по ссылке - https://bx.vc/3vms08

🔺Внимание
⠀
С 1 сентября финальное повышение цены билетов на конференцию Saint HighLoad++, а это значит, что цена станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билеты до 31 августа. После брони у вас будет еще несколько дней для оплаты.
⠀
В программе Saint HighLoad++ 2022:
⠀
▪️Самые интересные и актуальные темы: Архитектуры, масштабируемость; Базы данных и системы хранения; Технологии будущего; Платформенная разработка; Фейл-секция и другие
▪️80 докладов
▪️5 потоков

⠀
✅ Узнать программу подробнее и забронировать билет здесь – https://bx.vc/kh5clu
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге и онлайн по всему миру 🙌

Про эволюцию распределенных атак в Интернете: 1994 - настоящее время узнаем из доклада Георгия Тарасова, владельца продукта Bot Protection в Qrator Labs
⠀
📋 https://bx.vc/tqxw8k
⠀
Предметная область работы команды Георгия предполагает изучение DDoS-атак, бот-активности и методов их реализации.

Из доклада узнаем:

- о путях развития DDoS с важнейшими временными вехами как с точки зрения техники, так и в публичном восприятии проблемы: Panix, Sony, XboxLive/PSN, Mirai, memcached, а также значимые случаи в Рунете
- как параллельно с DDoS возникал и развивался инструментарий для парсинга веб-страниц и API, создавались боты для скрэпинга и росла их массовость
- о технологиях и новшествах, которые улучшают нашу жизнь в Интернете и открывают новые пути для DDoS и бот-атак
- об уроках, которые преподнесла история, и выводах, которые удалось сделать из 11-летнего опыта Георгия в данной сфере
⠀
✋ Ждем вас 22 и 23 сентября на Saint HighLoad++
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/2heu5z

🔥 Друзья, уже через 3 недели мы встретимся с вами в Питере. Каждый год у нас на площадке собираются лучшие специалисты IT-отрасли, чтобы обменяться знаниями о технологиях, решить насущные профессиональные задачи и зарядиться мощной энергией.
⠀
➡️ В программу приняты только лучшие доклады на самые интересные и актуальные темы отрасли. И сегодня представляем вам следующую подборку докладов Saint HighLoad++ 2022, на этот раз в категории «Самые ожидаемые доклады»
⠀
1) Как выжить под нагрузкой, имея 100ТБ в нешардированной MongoDB. Андрей Комягин (STM Labs) https://bx.vc/cmdvbh
⠀
2) OpenSource как источник атаки. Чем опасно? Как лечить? Алексей Морозов (Тинькофф) https://bx.vc/0e90f6
⠀
3) Микросервисы через боль и превозмогание. Филипп Дельгядо (lekton.io) https://bx.vc/w21hjq
⠀
⤵️

4) Общий флоу разработки в Ozon. Как сделать жизнь разработчиков проще? Даниил Разумов (Ozon) https://bx.vc/l5om5c
⠀
5) «ML свадьба» между миллионами товаров, или как выдержать нагрузку в потоке. Ван Хачатрян (Ozon) https://bx.vc/gsrkgp
⠀
6) OK S3: Строим Систему Сами. Вадим Цесько (Одноклассники) https://bx.vc/jqo3wp
⠀
7) Распознавание речи для субтитров в VK Видео. Виталий Шутов (ВКонтакте) https://bx.vc/xfi3rb
⠀
✋ Ждем вас 22 и 23 сентября в Санкт-Петербурге - https://bx.vc/i1loa6

🔹 Дедупликация 5 миллионов событий в секунду на YDB в АппМетрике – тема доклада Артема Исмагилова
⠀
📋 https://bx.vc/3d15tm
⠀
Артем кратко расскажет про конвейер обработки событий аппметрики:
⠀
- какие задачи он решает;
- общая архитектура: примерно 50 микросервисов, передающие информацию через ClickHouse и ZooKeeper;
- нагрузка в числах — 250 миллиардов событий в день, до 7 миллионов RPS в пике;
- зачем нужен сервис дедупликации.
⠀
Про сервис дедупликации узнаем:
⠀
- как была устроена прошлая версия сервиса: физические сервера с состоянием в оперативной памяти, сохраняемым на диск и самодельной репликацией;
- подходы к реализации новой версии, которые рассматривали;
- почему выбрали именно YDB для реализации новой версии сервиса;
- с какими трудностями столкнулись и как их преодолели;
- как уменьшили нагрузку на YDB в 10 раз, добавив фильтр блума в виде отдельной таблицы YDB;
- что еще предстоит сделать.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/v8qdsb
⠀
До встречи в Питере 🙌

✋ Владимир Меркулов и Василий Вологдин расскажут, как они подружили биореакторы и ML
⠀
📋 https://bx.vc/vo1m77
⠀
Когда речь заходит о машинном обучении в фармацевтических компаниях, таких как BIOCAD, то большинство специалистов подразумевает участие Data Scientist'ов в процессе разработки лекарственных препаратов. В докладе Владимир и Василий посмотрят на этот вопрос немного под другим углом и расскажут о том, какие еще задачи решаются при помощи машинного обучения в фармацевтических компаниях, в том числе как алгоритмы машинного обучения помогают решать задачи на производственных линиях и какую архитектуру они для этого используют.
⠀
Также узнаем о том, с какими трудностями они столкнулись при разработке, и каким образом выстраивалось взаимодействие между специалистами службы АСУ ТП и специалистами по машинному обучению.
⠀
Ждем вас 22 и 23 сентября в Петербурге 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/0kh5bt

👉 Без АВ - результат ХЗ или как мы построили платформу АВ-тестов в Ozon – расскажет Евгений Пак
⠀
📋 https://bx.vc/qzoaf0
⠀
Евгений расскажет про техническую реализацию платформы А/B-тестов в компании Озон. А именно:
⠀
- об эволюции A/B-тестов в компании. О том, как они шли от простого к сложному длиной в несколько лет;
- как построена архитектура платформы A/B-тестов в общей экосистеме Ozon;
- как они обеспечили интеграцию любого сервиса в компании. Интегрировано более 150 сервисов, причем каждый сервис работает с уникальным набором атрибутов для тестирования;
- и даже секрет молниеносного ответа при высоком RPS. Каждый запрос на сайт Ozon.ru идет в платформу A/B-тестов, а вы этого даже не замечаете.
⠀
Также узнаем о том, как платформа A/B-тестов повлияла на бизнеc-процессы важнейших направлений компании. Так как это не просто технический инструмент, а путь продуктового мышления.
⠀
✅ Узнать программу конференции и купить билеты по ссылке – https://bx.vc/wl5s3i
⠀
До встречи 🙌

🔹 Общий флоу разработки в Ozon. Как сделать жизнь разработчиков проще? Обсудим с Даниилом Разумовым
⠀
📋 https://bx.vc/cevs1u
⠀
Тезисы доклада:
⠀
- Рассказ о том, как раньше жили разработчики в Ozon и почему жить было не так просто.
- C чего начали проектировку общего flow разработки.
- Как все устроено внутри архитектурно.
- Как внедряли flow и с какими проблемами столкнулись при разработке и внедрении.
- Что изменилось и что стало лучше?
- Сделаем выводы, что стоит использовать, а на какие грабли лучше не наступать.
⠀
📍Ждем вас на Saint HighLoad++ 22 и 23 сентября
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/g3lux5

💥 Евгений Россинский из ivi, участник Программного комитета Saint HighLoad++, в коротком интервью отвечает на вопросы:

- Что для Вас значит конференция HighLoad++
- Что сейчас заботит разработчиков? Какие вызовы и перспективы
- Какую пользу от конференции Вы получили
- Что запомнилось и впечатлило больше всего

✅ Ждем вас 22 и 23 сентября на Saint HighLoad++ 2022 https://bx.vc/wn4tem

Могут ли данные управлять аппаратной конфигурацией дата-центра? Узнаем из доклада Павла Лавренко и Антона Катенева
⠀
📋 https://bx.vc/exzwnl
⠀
Как не сделать ошибку при выборе платформы и как выжать все из производительности вашего железа и емкости ваших систем хранения? А что, если позволить данным управлять вычислительной конфигурацией сервера, каналами связи, системами хранения и резервирования?
⠀
Они разработали универсальную платформу, позволяющую соединить управление аппаратной конфигурацией, создание систем хранения "по запросу", управления данными и задачами обработки в едином подходе. И это только часть того, чем она может управлять.
⠀
Как это работает, чего они достигли и с какими сложностями столкнулись — расскажут о своем опыте решения сложной задачи построения платформы обработки данных с Большого Адронного Коллайдера (LHC) в Открытом Институте Ядерных Исследований в г. Дубна.
⠀
✅ Информация о конференции, расписание и билеты по ссылке – https://bx.vc/d6drfs
⠀
Встречаемся 22 и 23 сентября ✋

Одним из спикеров Saint HighLoad++ будет Михаил Кабищев, он расскажет про одну платформу, чтобы править всеми
⠀
📋 https://bx.vc/qavcci
⠀
За последние 4 года Ozon пережил не только бизнес, но и технологическую революцию: на замену нескольким огромных монолитам пришли тысячи микросервисов, написанных на разных языках. В процессе бурного роста Михаил с командой не хотели тратить ценное время инженеров и получить десяток решений для одной и той же проблемы, которые впоследствии нам нужно было бы поддерживать. Поэтому им было важно создать набор строительных кубиков, правил и процессов, на основе которых строятся все системы и продукты в компании.
⠀
Михаил расскажет про их платформу:
⠀
- что это такое и зачем она нужна;
- конвенции и стандарты;
- на чем они пишут сервисы: языки и фреймворки;
- как они их запускают: CI/CD и прочие прелести;
- все-as-a-service: S3, kafka, cache и т.д.
⠀
И многое другое.
⠀
Присоединяйтесь к нам 22 и 23 сентября 🙌
⠀
✅ Подробно о конференции и билеты по ссылке - https://bx.vc/6stc84

Вторая космическая: как преодолеть притяжение внутренней платформы разработки и выйти в открытый код? Расскажет в своем докладе Анастасия Абрашитова
⠀
📋 https://bx.vc/2k8j1e
⠀
Внутренняя платформа разработки — мощный инфраструктурный двигатель. Проекты запускаются быстро, легко взаимодействуют друг с другом и расширяются, а эксперты по инфраструктуре сидят за соседними столами и готовы помочь. Тепло, лампово, уютно. Но вот проект решил выйти в open source, и тут внутренняя платформа начинает нам скорее мешать, чем помогать.
⠀
Из доклада узнаем об экосистеме инструментов разработки, созданной в Яндексе. Анастасия подсветит проблемы, которые нужно преодолеть, чтобы выйти в мир открытого кода. Покажет, как преодолевают их они, и какие планы на развитие системы опенсорсного синка ждут нас в будущем.
⠀
✅ Подробная информация, расписание и билеты на сайте – https://bx.vc/w9h59b
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге и онлайн по всему миру 🙌

👉 Какие есть границы в PHP? Синтаксические они или это рантайм, или же просто ограничения языка, которые нельзя обойти. Почему они существуют? Хотите преодолеть границы живого языка и взломать его изнутри? Вроде бы интересно, но непонятно зачем это нужно?
⠀
Загибайте пальцы: более быстрый доступ к оборудованию (CUDA, GPU), нативному машинному коду (SSE, AVX), создание библиотек для эффективных матричных операций и машинного обучения, стабильный API для пользовательских расширений PHP, манипуляции с OpCode, операции поддержки высокоэффективного железа и многое другое. Обо всем этом можно узнать из статьи ⤵️
⠀
https://bx.vc/6aa37u

Про историю и будущее поиска расскажет Андрей Аксенов
⠀
📋 https://bx.vc/ekfont
⠀
Поисковым системам, на минуточку, уже больше 60 лет, и вымирать они не собираются. За это время человечество придумало и опробовало много разных теорий и техник. Что-то застряло в вечности практически навсегда, что-то напрочь уже забылось. Попробуем пробежать все эти 60 лет за 30 минут!
⠀
Обзорно поговорим про историю и современность технологий "просто" поиска (матчинга документов об слова), ранжирования наматченного, сжатия индексов, нехитрой прикладной лингвистики. Пробежимся по нескольким десяткам важных ключевых слов, и по топ-3 победивших на сегодня (и нет, это не Google плюс Elastic плюс хзчто, это IF плюс BM25 плюс PFD).
⠀
И попробуем на полсекунды заглянуть в будущее с пониманием, что там сделано и делается в настоящем.
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге ✋
⠀
✅ Подробно о конференции, программа и билеты здесь - https://bx.vc/e7htmj

👉 Как легче всего в чём-то разобраться? Попробовать сделать своими руками под руководством специалиста. Руководитель центра мониторинга и наблюдаемости в МТС Digital, Филипп Бочаров, предлагает вместе спроектировать коммунальную систему и собрать в ней распределенную трассировку всей экосистемы МТС.
⠀
Потом отмасштабировать ее от 0 до 50 тысяч документов в секунду и посмотреть, как изменится архитектура, откуда берутся потери и пиковые нагрузки, какие есть пределы и ограничения. Все на примере реальной распределенной трассировки экосистемы МТС ⤵️
⠀
https://bx.vc/4rf71z

📝 Авторы в Дзене и как мы ищем их аудиторию – тема доклада Анастасии Павловской
⠀
📋 https://bx.vc/7sg0fc
⠀
Дзен — это площадка, где пользователь находит контент для себя, а авторы — свою аудиторию. Задача Анастасии и команды — с помощью механизмов рекомендаций облегчить поиск аудитории для креатора.
⠀
На первый взгляд, задача очень похожа на задачу рекомендаций холодного контента, однако на практике она оказывается на порядок сложнее.
⠀
Если в «холодном старте» контента можно использовать статистики взаимодействия автора с пользователями и реакции подписчиков, которые первые видят айтем, то в их задаче такой коллаборативной информации нет. Стандартные контентные похожести айтемов использовать «из коробки» тоже не получится.
⠀
Анастасия расскажет, как они сталкивались с проблемами и решали их: как научились определять похожести авторов и автоматически подбирать для них подходящую аудиторию.
⠀
📍Встречаемся 22 и 23 сентября в Петербурге.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/9k55qi

🔥 Email-курс для тех, кто только входит в тему высоких нагрузок
⠀
Друзья, если ваш проект совсем недавно стал высоконагруженным, и вы уже хватаетесь за голову — как масштабироваться дальше, как поддерживать отказоустойчивость — подписывайтесь на курс HighLoad++ Junior.

➡️ 30 простых и логичных лекций от топовых разработчиков помогут вам понять базовые основы разработки highload-систем. Вы пройдете все этапы от самых общих вещей проектирования до понимания деталей разработки крупных систем и начнёте думать как разработчик высоконагруженных проектов.

Поговорим вот о чём:

- Логика проектирования и архитектура крупных проектов.
- Проблемы нагрузки на базу данных.
- Масштабирование базы данных через шардирование и партиционирование.
- Кеширование, NoSQL, очереди.
- Поиск, Hadoop и бинарные хранилища.
⠀
А если вы и так уже всё понимаете про высокие нагрузки, перешлите этот пост менее опытным коллегам.
⠀
✅ Подписаться на курс HighLoad++ Junior - https://bx.vc/3p2i4n

➡️ О применении машинного обучения в анализе научных данных расскажет Александр Прошунин
⠀
📋 https://bx.vc/zn2zii
⠀
Методы искусственного интеллекта (ИИ) демонстрируют свою эффективность не только в области современных IT-технологий, но и в области фундаментальных научных исследований. Распознавание образов для обработки большого числа изображений, удаление шумов из сигнала и многое другое — базовые задачи в области ИИ.
⠀
Александр продемонстрирует применение МО в области анализа спектров в сравнении с классическими подходами. Будет описан полный путь от сбора данных, их подготовки и построения решения задачи с нетипичным функционалом ошибки, который полностью строится, исходя из задачи.
⠀
Второй задачей будет рассмотрена классификация режимов сложных динамических систем. Применение метода показателей Ляпунова полностью отвечает на этот вопрос.
⠀
✅ Подробная информация о конференции, расписание и билеты по ссылке – https://bx.vc/ihv62w
⠀
До скорой встречи в Питере, друзья 🙌

Архитектура: история и будущее на примере ВКонтакте обсудим с Александром Тоболем, техническим директором ВКонтакте, VK Видео и VK Звонков

📋 https://bx.vc/bq0iv6

В докладе рассмотрим, как эволюционировали архитектуры нагруженных проектов: от общих принципов до подходов к реализации отдельных паттернов и выбора инструментов. Разберём, как это отражалось на архитектуре ВКонтакте, и посмотрим, как развивался проект с 15-летней историей, кодовой базой в восемь миллионов строк и ежемесячной аудиторией в 100 млн пользователей:

- эволюция архитектур
- как устроена архитектура ВКонтакте
- как они эксплуатируют систему с более чем 20 000 серверов
- где и как они хранят данные пользователей
- как доставляют данные
- зачем им свой компилятор
- баланс uptime и time-to-market
и много другое.

Также Александр затронет проблемы, которые можно более эффективно решать не на уровне архитектуры.
⠀
Присоединяйтесь к нам на Saint HighLoad++ 22 и 23 сентября ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/3bz8q3