H264 жив – тема доклада Ивана Емельянова
⠀
📋 https://bx.vc/6gl4er
⠀
Видео — основная часть трафика в интернете, для Дзена важно уметь контролировать его рост, ограничивать сверху.
⠀
Иван расскажет про механизмы экономии трафика, которые они реализовали. Для этого пришлось применять такие подходы:
⠀
- подобрать набор оптимальных пресетов для видео;
- уметь быстро категоризировать видео в один из пресетов;
- не ухудшить визуальное качество.
⠀
Целевая аудитория: разработчики видеоплатформ, онлайн-кинотеатров. Разработчики видеокодеков и работающие в сфере обработки видео.
⠀
✋ Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2022.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/et47z3

С Дмитрием Евдокимовым поговорим про сочетание несочетаемого в Kubernetes: удобство, производительность, безопасность
⠀
📋 https://bx.vc/znhstq
⠀
В докладе Дмитрий хочет развенчать миф что из 3-х качеств (удобство, производительность, безопасность) одновременно можно выбрать только 2. И все это благодаря новым решениям, подходам, инструментам, которые дружно уживаются и дополняют друг друга в Kubernetes! Поговорим об immutable infrastructure, специализированных Container-Optimized OS, минималистичных образах для микросервисов и многом другом.
⠀
Целевая аудитория: 1) Dev 2) Ops 3) Sec 4) И их комбинации 😉
⠀
📍Встречаемся 24 и 25 ноября на HighLoad++ 2022, Москва, Крокус-Экспо 3, зал 20.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/81nxqs

Как доставать цены и наличия со всего интернета и доставлять их за минуту до рантайма Поиска по Товарам? Расскажет Илья Кучумов
⠀
📋 https://bx.vc/foezfz
⠀
Недавно Яндекс запустил Поиск по Товарам https://yandex.ru/products. Он позволяет находить актуальные предложения по магазинам со всего интернета. Как с больших маркетплейсов: Ozon, Wildberries, Яндекс Маркет, так и с небольших магазинов размером десятки-сотни товаров, которые невозможно найти без поиска.
⠀
Узнаем:
⠀
- Как устроен парсинг необходимых данных из DOM-дерева при помощи Catboost модели и легких нейронок
- Как сделать парсинг еще быстрее при помощи похостового кеширования результатов
- Как устроена потоковая архитектура парсинга на базе контент системы Яндекс робота
и другое
⠀
Доклад будет построен вокруг практического кейса запуска Поиска по Товарам.
⠀
✋ До встречи 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pv9nxp

AP и CP: пытаемся усидеть на двух стульях и боремся с последствиями – тема доклада Сергея Петренко
⠀
📋 https://bx.vc/ipx3e9
⠀
Алгоритм Raft является классическим примером CP – обеспечивает линеаризуемость в случае разделения сети, но это в определенных случаях приводит к временной потере доступности и на запись, и на чтение до восстановления связности.
⠀
Да, на бумаге всё хорошо. Берём нечётное количество узлов и наслаждаемся работоспособностью кластера и консистентностью данных до тех пор, пока большая часть узлов работает. Однако, эта схема использования идёт вразрез с самой популярной схемой установки БД: равное число узлов в двух ЦОДах. Для Raft это значит, что потеря одного ЦОДа сразу приведёт к недоступности кластера на запись.
⠀
Узнаем о методах, которые применили Сергей с командой, чтобы обнаруживать расхождения и обеспечивать консистентность данных после периода работы в разделенной сети.
⠀
До встречи на HighLoad++ 2022 ✋
⠀
✅ Подробная программа конференции и билеты на сайте - https://bx.vc/ujbfko

Всем привет! Начинаем пятницу с полезного. Делимся с вами видеозаписями докладов HighLoad++ 2021 из секции «Архитектура, масштабируемость», которые набрали наибольшее количество просмотров. Берите на заметку, делитесь с коллегами 😉
⠀
1) Как правильно выбирать очередь. Владимир Перепелица (Mail.Ru Group) https://bx.vc/9row39
⠀
2) Микросервисы с нуля. Семен Катаев (Авито) https://bx.vc/c9winm
⠀
3) Python и Ruby под нагрузкой: самый низкий уровень. Григорий Петров (Evrone) https://bx.vc/7p5btg
⠀
4) API Gateway: пустая трата сил или полезный инструмент? Василий Сошников (Quantil Inc.) https://bx.vc/77nilm
⠀
5) Отказоустойчивое Такси, или Как мы строим надежный сервис. Максим Педченко (Яндекс.Go) https://bx.vc/xw84ue
⠀
Отличных выходных и продуктивных идей после просмотра 🙌

Илья Устинов расскажет доклад на тему: Bare metal k8s или туда и обратно. История Quadcode
⠀
📋 https://bx.vc/8mwe4x
⠀
В докладе мы проследим эволюцию технических аспектов и процессов вокруг их кластеров и предпосылки тех или иных решений. Узнаем, к каким факапам привёл выбор Kubespray, почему команда Ильи сталкивалась со сменой подхода к управлению инфраструктурой каждые два года, и как они решают эту проблему. На цифрах посмотрим, сколько в разное время занимали процессы по раскатке кластера с нуля, добавлению нод, апгрейду версий кластера. И, конечно, поговорим о планах развития, а также о плюсах и минусах разных подходов по сопровождению вашей инфраструктуры под K8S.
⠀
Целевая аудитория: DevOps-инженеры и системные администраторы, которые пользуются opensource/самописными решениями для сопровождения baremetal k8s или задумываются о его внедрении.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве ✋
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/iby5d2

О трансформации подхода к хранению и синхронизации писем поговорим с Андреем Колесниковым
⠀
📋 https://bx.vc/xwspew
⠀
Компания МойОфис разрабатывает сразу несколько почтовых решений и имеет большой опыт работы на российском рынке. Андрей отвечает за внедрение продуктов компании и хочет поделиться опытом, накопленным за последние 5 лет.
⠀
На примере продуктов МойОфис он расскажет об эволюции почтовых решений в компании. В частности, проиллюстрирует, как менялись, развивались их подходы к хранению и синхронизации данных. Путь от Dovecot dsync, OpenStack Swift до GlusterFS и DOS, собственного объектного хранилища. Не оставим без внимания проблемы, с которыми они сталкиваются на практике и пути их решения.
⠀
Целевая аудитория: системные администраторы, системные инженеры, DevOps-инженеры, системные архитекторы, системные аналитики, менеджеры ИТ-проектов, ИТ-директора.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 ✋
⠀
✅ Посмотреть программу конференции и купить билет можно на сайте - https://bx.vc/v58rqo

Экодиктант 2021: highload проект с 0 за 2 месяца – тема доклада Станислава Жуковского
⠀
📋 https://bx.vc/lavr8i
⠀
Станислав расскажет, как они настроили и отправили почти 10 миллионов писем за одну неделю с двух холодных доменов в рамках проводимого мероприятия Экодиктант 2021.
⠀
Целевая аудитория доклада: от системных администраторов и Dev инженеров, до руководителей IT-подразделений и технических директоров
⠀
✅ Узнать подробно о HighLoad++ 2022 и купить билеты на сайте – https://bx.vc/x42p7g
⠀
Встречаемся 24 и 25 ноября в Москве ✋

Нужно прокачать NER модель, но как? Расскажет в своем докладе Прохор Гладких, Lead Data Scientist в команде SmartNLP Sber.Devices.
⠀
📋 https://bx.vc/3nrrwy
⠀
Основные тезисы доклада:
⠀
- Постановка задачи: повышения качества NER модели
- Как избежать распространенных проблем при подготовке датасета?
- Специальный инструмент анализа ошибок модели
- Улучшение процесса разметки и контроль качества
- 2GIS ❤️ NER
⠀
Целевая аудитория доклада: специалисты по машинному обучению в области NLP
⠀
✅ Полная информация о HighLoad++ 2022 и билеты здесь – https://bx.vc/5hfo1y
⠀
До встречи ✋

Всем привет! У нас готовы видеозаписи докладов конференции Saint HighLoad++, которая прошла 22 и 23 сентября в Санкт-Петербурге. В записи 80 докладов с презентациями на самые интересные и актуальные темы, из которых вы узнаете максимальные пределы технологий.
⠀
✅ Купить записи можно здесь - https://bx.vc/w9srzj
⠀
➡️ Обратите внимание на топ-5 докладов, которые набрали наибольшее количество оценок за содержание и подачу:
⠀
1) Service Mesh на стероидах
(часть 2): Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bx.vc/wwa9dk
⠀
2) Эволюция распределенных атак в Интернете: 1994 - настоящее время. Георгий Тарасов (Qrator Labs) https://bx.vc/pl4dyo
⠀
⤵️⤵️

3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (CryptoWize) https://bx.vc/ypyzdp
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bx.vc/hxy6ac
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bx.vc/1874yg
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/sg90pf

С Ириной Блажиной и Николаем Зайцевым обсудим SSO решение на 5 млн пользователей. Масштабирование от пилотного проекта до федерального уровня
⠀
📋 https://bx.vc/p6g5nf
⠀
У них было порядка 20 клиентских мобильных и веб приложений с локальной аутентификацией, написанных разными командами со своими процессами и уязвимостями. Переключаться между приложениями было сложно, пользователям это не нравилось. Это привело к созданию решения единого входа для клиентов (SSO).
⠀
За 2 месяца внедрили пилот на базе открытого Keycloak и начали постепенно масштабировать его на всю страну. При 300000 сессиях получили даунтайм при обновлениях: пользователи не могли войти в систему около 15 минут. Они снизили время простоя настройками кэширования и модификацией схемы базы данных до 3 минут, но дальше их ждал первый миллион сессий…

⠀
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022 в Москве или онлайн по всему миру.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/jvi4mf

Про архитектуру надёжной In-Memory-СУБД на примере Tarantool расскажет Владимир Перепелица
⠀
📋 https://bx.vc/vooonk
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/sm3qj5

О безопасности ядра Linux: в теории и на практике узнаем из доклада Александра Попова
⠀
📋 https://bx.vc/74p4cu
⠀
Безопасность ядра Linux — очень сложная предметная область. Она включает большое количество взаимосвязанных понятий: классы уязвимостей, техники их эксплуатации для проведения атак, механизмы выявления ошибок, технологии защиты ядра.
⠀
Александр разработал карту средств защиты ядра Linux, которая отражает взаимосвязи между этими понятиями. В докладе он даст обзор текущего состояния безопасности Linux, используя данную карту, и расскажет о своем инструменте kconfig-hardened-check, который помогает управлять ядерными опциями безопасности.
⠀
Целевая аудитория: широкий круг IT-специалистов: разработчики, безопасники, технические лидеры.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/921ewg
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 в Москве 🙌

Александр Кирсанов расскажет про честные модули внутри монолита, или Когда Composer не подходит
⠀
📋 https://bx.vc/txiqgk
⠀
Когда у вас очень много кода, его связность неуклонно растёт. Всё переплетено, и нельзя взять и переместить какую-то часть в отдельный пакет — каждая часть сотнями щупалец склеена с остальным монолитом. Нет-нет да и вставят разработчики новые зависимости, срезая углы, "потому что надо было ещё вчера", и шансы распутать клубок с течением времени стремятся к нулю.
⠀
В докладе Александр покажет новый инструмент, который они создали внутри ВКонтакте, чтобы ограничить разрастание энтропии внутри их монолита — и, традиционно, он будет открыт и может быть использован вне ВК тоже.
⠀
Доклад будет интересен тем, кто имеет дело с большим объёмом связного и запутанного кода, а также кто находится в поисках способа, чтобы эта связность и запутанность росли более контролируемо.
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/sn7971

⚡️Успейте забронировать билет до 31 октября.
⠀
Друзья, напоминаем, чем ближе конференция, тем выше стоимость билетов.
⠀
С 1 ноября цена станет максимальной, но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас еще будет несколько дней для оплаты.
⠀
В результате участия в HighLoad++ вы:
⠀
- будете в курсе тенденций в мире разработки и узнаете, как ведущие компании и их разработчики перестраивают свою работу под новые законы РФ;
- систематизируете, подтянете свои знания и приобретете новые;
- сможете разобрать свой случай на проекте и получить профессиональный совет от коллег;
- отлично и продуктивно проведете время в компании единомышленников
⠀
Присоединяйтесь к нам 24 и 25 ноября 🙌
⠀
✅ Забронируйте билет здесь - https://bx.vc/313944

Почему видеостриминг через 15 лет возвращается с TCP на UDP? Расскажет в своем докладе Максим Лапшин
⠀
📋 https://bx.vc/7wtvtl
⠀
Проникновение флеш-плеера вместе с H264 почти 15 лет назад, а потом и появление HLS привело к тому, что массовая доставка видео в интернете перешла на TCP-протоколы: RTMP, HLS, DASH (и даже HDS).
⠀
Последние годы мы видим обратную тенденцию с возвращением на UDP-протоколы: WebRTC, SRT и эксперименты с WebTransport over HTTP/3.
⠀
Почему это происходит, во что это выливается, как это конфликтует с другими трендами в индустрии интернет-разработки? Почему приходится переизобретать заново TCP-стек 40-летней давности?
⠀
Целевая аудитория: инженеры, архитекторы систем, использующих стриминговое видео.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/gkt6mp

Из доклада Алексея Тюрина, Fullstack-разработчика НЛМК, узнаем, как они построили советчики на микросервисной архитектуре и ML на данных из Legacy MES-систем и инициировали их замещение
⠀
📋 https://bx.vc/67vpy2
⠀
Алексей расскажет:
⠀
1) Как «приладить» микросервисную архитектуру к сталеплавильному агрегату: датчики, АСУТП, MES-системы. Совмещение сетей различных уровней для запуска цифровых продуктов на современном стеке разработки.
⠀
2) О проблеме внедрения ML в Legacy MES-систем: как добывали данные для построения ML (от полуавтоматических инструментов до стриминговых платформ). Как обучить и запустить в продакшн математическую модель на Legacy MES. Решение проблем доставки online-данных для моделей — стриминговые платформы данных.
⠀
3) О модернизации MES — переходим с Legacy на современный стек. Технические, программные и организационных решения для преодоления трудностей внедрения цифровых продуктов.
⠀
До встречи 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pkzf3r

Секреты тестирования версий Web API с помощью Behat узнаем из доклада Антона Золотилина
⠀
📋 https://bx.vc/llzpij
⠀

Антон расскажет о популярном для PHP фреймворке для функционального тестирования Behat и языкe Gherkin. О том, как с их помощью они тестируют поведение эндпоинтов своего API, и как они расширили функционал фреймворка для тестирования поведения разных версий API. Как боролись с ростом времени прохождения тестов, обусловленным ростом числа поддерживаемых версий, и как победили этот рост.
⠀
В первую очередь, доклад ориентирован на разработчиков и архитекторов, перед которыми встал вопрос функционального тестирования версий своих webAPI. Возможно, доклад будет интересен тем, кто уже использует функциональное тестирование версионированного API, но ищет способы оптимизации времени прохождения тестов.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/hcmtja

Друзья, зацените ролик Saint HighLoad++, очень тёплая получилась конференция :)