💬 После февраля 2022 года ничего не остановилось. Люди продолжают пользоваться мобильными сервисами, доставкой еды и маркетплейсами.
⠀
Все это как и прежде работает, а значит нужно заниматься поддержкой и развитием IT-инфраструктуры. Просто надо адаптироваться, забыть, по крайней мере, на время про тех вендоров, что ушли и научиться жить с тем, что осталось.
⠀
Технический директор Selectel Кирилл Малеванов расскажет на основе каких решений и с какими поставщиками можно продолжать развивать свою инфраструктуру, а главное — сколько всё это теперь стоит.
⠀
➡️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

🟦 Feature store: Анастасия Тушканова расскажет, как они совместили высокую производительность и безграничные потребности data scientist’ов
⠀
📋 https://vk.cc/cmWpjv
⠀
Поиск - одна из самых высоконагруженных и одновременно прибыльных систем в Озоне. Какие товары показать пользователю, чтобы он вероятнее что-то купил? Эту задачу решает команда ранжирования поиска, а Анастасия с командой создают для них и их экспериментов инфраструктуру. ML-модели ранжирования становятся сложнее, товаров на маркетплейсе становится больше, а поиск должен работать также быстро.
⠀
Из доклада узнаем:
⠀
- какой путь проходит товар, чтобы оказаться в выдаче поиска,
- зачем им понадобилось создавать целую систему хранения ML-фичей с нуля,
- какие хаки они применили для уменьшения latency всего поиска,
- что сделали, чтобы справляться с миллионами запросов в секунду на терабайтные базы данных,
- как data scientist’ы получили возможность ставить AB-эксперименты не только с разными моделями, но и с по-разному посчитанными фичами,
- как они минимизировали временные затраты разработчиков на добавление новых видов фичей.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️ Чтобы узнать подробнее о конференции и забронировать билет перейдите на сайт: https://vk.cc/cmWpCT

💥 Прокачайте за 4 дня свои hard- и soft-skills и сэкономьте до 30%
⠀
Друзья, у вас есть отличная возможность выгодно купить билеты на две конференции в июне:
⠀
- для разработчиков высоконагруженных систем Saint HighLoad++ 2023
- для тимлидов, руководителей и топ-менеджеров Saint TeamLead Conf 2023
⠀
При покупке мультибилета сразу на обе конференции, вы получаете скидку:
⠀
▪️30% при покупке онлайн-билета
▫️20% при покупке офлайн-билета
⠀
Вас ждут уникальные программы каждой конференции, решения конкретных задач, обмен опытом с лидерами отрасли, общение с единомышленниками, вдохновение, позитив и энергия. Не упустите шанс первыми узнать о новейших технологических решениях IT-индустрии и полезный опыт в управлении ✋
⠀
🙌 Встречаемся в Санкт-Петербурге:
⠀
26 и 27 июня на Saint HighLoad++ 2023
29 и 30 июня на Saint TeamLead Conf 2023


Купить мультибилет здесь ⬇️

🗓 Протокол MirAccept 2.0: что нас ждёт дальше? Расскажет в своем докладе Алексей Касякин
⠀
📋 https://vk.cc/cn0wFE
⠀
Узнаем:
⠀
Сервис MirAccept - что это
Какие задачи решает протокол MirAccept 2.0
Что нового по сравнению с устаревшим протоколом MirAccept 1.0
Верхнеуровневый обзор технологии
Применение систем рискового анализа
Как в будущем изменится клиентский опыт
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️ Узнать подробнее о конференции и забронировать билет на сайте - https://vk.cc/cn0wUj

🔺 Про реинкарнацию одной Zettabyte файловой системы поговорим с Георгием Меликовым
⠀
📋 https://vk.cc/cn2kMC
⠀
Какую файловую систему выбрать? В чём разница? Почему автор доклада стал контрибьютором OpenZFS?
⠀
Поcмотрим на проверенную боем Zettabyte file system, изучим её архитектуру и концепты в сравнении с другими файловыми системами, почему её хочется использовать (кто сказал "деградация данных"?), и когда её использовать не стоит (ммм, zero copy в Copy-on-Write).
⠀
Также не забудем о людях - обсудим коммьюнити, основные драйверы, как ФС может быть по настоящему кроссплатформенной, пережить родную ОС, и как ФС может жить вне ядра, не скатываясь в совсем нишевый продукт.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🖐
⠀
➡️ Узнать подробнее о конференции и забронировать билет на сайте - https://vk.cc/cn2laR

🖥 Давайте разберемся как получилось, что почти 13 лет назад развлекательное видео смигрировало с кодеков mpeg2 и mpeg4 на H264, и на этом остановилось его фактическое развитие, несмотря на наличие альтернатив типа AV1 и H265.
⠀
Почему транспорты видео сначала переехали с UDP к TCP, а сегодня возвращаются обратно на UDP? И в целом какие тренды сейчас есть в индустрии онлайн-видео, откуда они взялись, что скоро отомрёт, а что наоборот продолжит развиваться.
⠀
Обо всём об этом расскажет Максим Лапшин из ООО «Эрливидео». Он давно этим занимается и большая часть развития онлайн-видео технологий происходила прямо на его глазах. Так что ему есть чем поделиться.
⠀
➡️ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728518/

🗣Антон Жаболенко и Павел Пархомец расскажут об управлении доступом в распределённой Linux-инфраструктуре
⠀
📋 https://vk.cc/cn3yJp
⠀
Из доклада узнаем, что такое система управления привилегированным доступом (PAM), зачем она нужна и каким критериям она должна соответствовать. Антон и Павел проведут краткое сравнение различных подходов к управлению доступом в высоконагруженных и распределённых Linux-инфраструктурах.
⠀
Расскажут про свой опыт проектирования и внедрения системы управления доступом на основе open source решений и собственных разработок. Подробно остановятся на том, как внедрение таких систем влияет на изменение процессов эксплуатации, разработки и DevOps, а также разберёмся, влияют ли эти системы на time to market.
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
➡️ Чтобы узнать подробнее о конференции и купить билет пройдите на сайт - https://vk.cc/cn3z8s

🔄 Как организовать разработку, чтобы prod не лежал? Узнаем из доклада Антона Полухина
⠀
📋 https://vk.cc/cn6cTp
⠀
Дано: высокая нагрузка, простои недопустимы. Нужно добавить новую фичу, а мы стажёр/новичок/впервые-видим-проект
⠀
Антон покажет на практике, как им помогают некоторые подходы избежать множества проблем. Большая часть того, о чём пойдёт речь доступно во фреймворке userver, но должно быть легко применимо и для ваших случаев.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Подробнее о конференции здесь - https://vk.cc/cn6dis

📱Через VK Звонки ежедневно общаются миллионы людей и качество звука должно их удовлетворять. И в машине, и со смартфона в гарнитуре или динамиках, и даже при плохом сигнале интернет-соединения. Но как же измерить это самое качество и обеспечить его на таком высоконагруженном проекте?
⠀
Руководитель команды бэкенда VK Звонки Алексей Шпагин расскажет, как они справляются с этой задачей. Как делают последовательные замеры и улучшают качество звука в массовом сервисе звонков, и с использованием стандартных браузеров, и с нативными клиентами. Как оценивают эффективность собственных доработок и улучшений.
⠀
📍Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

🗣Warden - Ильяс Нежибицкий расскажет, зачем им свой service mesh
⠀
📋 https://vk.cc/cn7ISh
⠀
Проблема дискаверинга и балансировки нагрузки в межсервисном взаимодействии не новы. На рынке существует ряд готовых решений, реализующий все виды дискаверинга и балансировки (reversed-proxy, client-side load balancer в связке с control-plane). Из популярных: nginx, isito и ряд других решений. Но около 3 лет назад они в Ozon решили пойти своим путём, реализовав свое решение для service discovery и client-side load balancing.
⠀
В докладе будут рассмотрены основные принципы и механизмы, по которым работают service discovery и load-balancing решения, а также обозначены проблемы, с которыми вы можете столкнуться в ходе эксплуатации готовых решений или реализации собственного и возможные пути их решения.
⠀
Также в докладе пойдет речь о всем функционале, которым собственное решение Ozon отличается от аналогов и что из него оказалось действительно полезным, а что пришлось отложить и пометить как deprecated.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://vk.cc/cn7J4n

🎞 Друзья, подготовили для вас новую пятничную подборку видеозаписей докладов конференции HighLoad++ Foundation 2022. Сегодня из секции «Базы данных и системы хранения». Делитесь с теми, кому эти видео также могут быть полезны 😉
⠀
1) Подсистема I/O в PostgreSQL: архитектура, проблемы, обходные пути. Артем Сергиенко (Wrike) https://bit.ly/3zVJTLg
⠀
2) ClickHouse в Kubernetes — это просто! Александр Зайцев (Altinity) https://bit.ly/3zVgxga
⠀
3) Поиск проблем в базе данных, если вы разработчик. Алексей Лесовский (Coins.ph) https://bit.ly/3zZ0Ft1
⠀
4) Топ-5 провальных решений при разработке на Tarantool. Игорь Золотарев (VK, Tarantool) https://bit.ly/3MKh6ku
⠀
5) Архитектура высокопроизводительных распределенных SQL-движков. Владимир Озеров (Querify Labs), Алексей Гончарук (Querify Labs) https://bit.ly/41nmZYS
⠀
Продуктивного просмотра и отличных выходных 🙌

▶️Алексей Шпагин в своем докладе расскажет про VK Звонки: как они оценивают качество видео объективно
⠀
📋 https://bit.ly/43HjD4T
⠀
Почему иногда во время звонка зависает видео от кого-то из участников? Почему видео может “пикселить” или напоминать слайд-шоу, и что из этого больше расстраивает пользователей видеоконференций? Как оценить качество видео и выразить эту оценку в виде одного числа?
⠀
Алексей постарается раскрыть эти вопросы в своем докладе на примере VK Звонков — высоконагруженного сервиса видеоконференций, в которой ежедневно общаются миллионы людей. В докладе он расскажет, с какими вызовами они сталкиваются при передаче видео от участников звонка, как справляются с ними, а также как измеряют качество видео, чтобы быть уверенным, что действительно предоставляют своим пользователям сервис высокого уровня.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 26 и 27 июня в Санкт-Петербурге 😎
⠀
🔜Перейдите на сайт, чтобы узнать подробнее о конференции и купить билет - https://bit.ly/3UIMsdh

🛡Исследование по методам веб-хакинга, которое будет полезно всем программистам, использующим bbcode/markdown/html-парсеры в своей работе. Ведь сейчас абсолютно все применяют в онлайн общении смайлики и выделяют текст.
⠀
Это есть и в Telegram, и в GitHub, и на форумах, и в Википедии. А дальше парсеры находят в сообщениях специальный код, теги или символы и преобразуют их в красивый текст с помощью HTML. А где HTML — там и XSS-атаки.
⠀
Игорь Сак-Саковский из Positive Technologies расскажет, как можно искать подобные уязвимостям. Как фаззить и обнаруживать проблемы при генерации HTML в сообщениях. Это довольно новая техника, эксплуатирующая логику парсеров, позволила найти в популярных продуктах кучу уязвимостей, которых раньше никто не замечал.
⠀
✅Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

🗓 5GB трейсов в секунду или как устроена система трассировки в Ozon расскажет в своем докладе Владимир Балун, ведущий разработчик в Ozon
⠀
📋 https://vk.cc/cmUzJ0
⠀
Владимир прольет свет на трейсинг внутри Ozon и на то, как у него получается обрабатывать 5GB/s трейсов. Речь пойдёт об архитектуре системы трассировки запросов, пайплайне обработки трейсов, методах хранения такого большого количества данных и, конечно же, о проблемах, с которыми они сталкивались во время разработки и поддержки системы трейсинга.
⠀
Помимо этого, расскажет и покажет, как они строят граф взаимодействия (dependency graph) более 2 тысяч сервисов внутри Ozon, а также, как благодаря трейсингу, они умеют выявлять наиболее ресурсоемкие запросы (critical path), например при загрузке какой-либо тяжелой страницы. Дополнительно затронет тему взаимодействия системы трассировки запросов с другими системами Observability внутри Ozon.
⠀
🖐 Ждем вас 26 и 27 июня на Saint HighLoad++ 2023
⠀
➡️ Подробнее о конференции и билеты на сайте: https://vk.cc/cmUzVZ

🫥Ах как хочется вернуться, ворваться, в монолит! Об этом и поговорим с Павлом Лакосниковым
⠀
📋 https://bit.ly/41Cw7ZP
⠀
Микросервисы это все еще новый черный. Любой продукт станет лучше если в нем есть блютус, блокчейн и микросервисы. Даже бабушка Павла спросила - можно ли сделать микросервисную швейную машинку.
⠀
Но как оно на самом деле? Ждет ли вас “град на холме”?
⠀
В докладе Павел расскажет: о том, как Авито шло к микросервисам. Это будет таймлайн история, где увидим разные этапы микросервисной архитектуры Авито. И на какие компромиссы шли в процессе
⠀
И еще узнаем, что же в итоге получилось, и почему старички все еще грустят по старому доброму монолиту.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Перейдите на сайт, чтобы узнать подробнее о конференции и купить билет - https://bit.ly/41ieU8k

🔺 Андрей Бородин расскажет про эндогенные угрозы физической целостности СУБД
⠀
📋 https://bit.ly/41BVKKj
⠀
От некоторых кодов ошибок в мониторинге начинают шевелится волосы. Их бодрящий эффект понятен. Системы отказоустойчивости и резервного копирования спроектированы со всем вниманием к деталям, ошибкам прошлого и учётом прогнозирования будущего. Но внутренняя ошибка СУБД может иметь драматичный эффект.
⠀
В этом докладе Андрей попробует систематизировать то, что видел при разрушении данных в следствие багов в разных СУБД, преимущественно из семейства Постгреса.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Перейдите на сайт, чтобы узнать подробнее о конференции и купить билет - https://bit.ly/3A86UuH

🧊 Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки узнаем из доклада Константина Касева и Марии Васильевой
⠀
📋 https://bit.ly/41DcX62
⠀
Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов - и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.
⠀
Теперь они живут в облаке, у админов много автоматики и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы.
⠀
В их платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску - это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это - без вовлечения в процесс службы эксплуатации.
⠀
Из доклада Константина и Марии узнаем о трудностях, которые они преодолели при переходе к концепции PaaS:
⠀
- Как переехали с железа в Яндекс Облако: сервера приложений, базы данных, инфраструктурные сервера
- Как выбирали компоненты инфраструктуры под капотом PaaS
- Как перешли от статической конфигурации балансеров руками админов к динамической
- Как писали Shiva - систему деплоя и инструменты автоматизации для упрощения жизни разработки
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Узнайте больше о конференции здесь - https://bit.ly/3oytNEM

🖼 Про архитектуру ленты и рекомендаций ВКонтакте узнаем из доклада Андрея Якушева
⠀
📋 https://bit.ly/3KZ2YBc
⠀
Лента — первый экран и главная точка взаимодействия пользователя с контентом социальной сети. Она должна быстро отображать релевантный контент для всех 100 млн пользователей ВКонтакте, и желательно, независимо от устройств и качества сети.
⠀
В докладе рассмотрим архитектуру Ленты ВКонтакте и проследим путь пользователя по всем компонентам системы: от первого запроса к приложению, до лайка под постом. Андрей расскажет, как и что они шардируют, реплицируют, кешируют, параллелят. Затронет особенности ранжирования записей и устройство рекомендательной системы, которую они научились переиспользовать так, чтобы с нуля за пару недель запускать рекомендации в новой вертикали.
⠀
Доклад позволит составить представление о том, как внедрять и использовать машинное обучение в максимально высоконагруженных проектах.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте: https://bit.ly/43RMinZ

📊 Друзья, вдруг вы пропустили, напоминаем, что у вас есть возможность получить видеозаписи топ-5 докладов конференции HighLoad++ 2022, которая прошла в ноябре. Для этого пройдите, пожалуйста, наше небольшое исследование 🙂
⠀
Тема импортозамещения появилась уже давно, но становится все актуальнее. Как вы справляетесь с уходящими решениями? Нашли уже для себя надежных вендоров? Успели перевезти сервисы и с какими сложностями столкнулись?
⠀
Давайте попробуем оценить общую ситуацию в индустрии на текущий момент. Мы обработаем результаты опроса, оформим в виде краткой аналитики и результаты опубликуем в статье в нашем блоге на Habr

А вендоров самых популярных решений, на которые вы переехали, пригласим на сцену Saint HighLoad++ 2023!
⠀
➡️Пройти опрос здесь: https://bit.ly/3UUJYZf