Всем привет 🖐️
⠀
Друзья, совсем недавно у нас прошла Saint HighLoad++ в Питере, а мы уже вовсю готовимся к HighLoad++ 2022, которая пройдет в Москве 24 и 25 ноября.
⠀
В программе HighLoad++ 2022 более 100 докладов, которые охватывают следующие аспекты веб-разработок:
⠀
- архитектуры крупных проектов
- базы данных и системы хранения
- devops и системное администрирование
- нагрузочное тестирование
- эксплуатация крупных проектов
⠀
и другие направления, связанные с большими и высоконагруженными IT-системами.
⠀
💥Это крупнейшая профессиональная конференция для разработчиков высоконагруженных систем. Присоединяйтесь к нам 24 и 25 ноября 🙌
⠀
✅ Прочитать подробно о конференции и купить билеты на сайте – https://bx.vc/q3r6a5
⠀
До встречи!

💥Мы начинаем знакомить вас со спикерами HighLoad++ 2022, которая пройдет 24 и 25 ноября в Москве


➡️ От MVP к реальности. Проблемы перехода и лекарства для решения – тема доклада Алексея Дашкевича и Андрея Похилы
⠀
📋 https://bx.vc/hnanbr

Запуская MVP, обычно мы жертвуем качеством ради быстрой проверки гипотезы.
⠀
А что же дальше? Как жить и что делать после успешного тестирования гипотезы? С какими техническими вызовами нам придется столкнуться и как их решать? А вдруг можно уже на этапе MVP построить архитектуру, которая нам облегчит жизнь в дальнейшем?
⠀
Этими вопросами и задались Алексей и Андрей, поэтому они хотят поделиться своим опытом технического развития быстрорастущих продуктов:

- Как сохранять баланс развития и техдолга при масштабировании в 10 раз? С какими проблемами они столкнулись и как их решали;
- О чем можно было подумать в начале разработки, чтобы сделать переход от MVP к реальности проще.
⠀
✅ Подробно о конференции и билеты здесь – https://bx.vc/joukc3
⠀
До встречи 🙌

👉 Можно ли с помощью GitHub анализировать работу, не заглядывая в монитор сотрудника — без скриншотов и тайм-трекеров? Хотите узнать?
⠀
Технический директор компании Evrone Александр Кириллов расскажет, как оценивать работу с помощью метрик Git, какие для этого есть индивидуальные и групповые паттерны. Как не нарушая приватность разработчиков, следить за качеством работы на проектах и отслеживать нежелательные паттерны с помощью метрик в Jira и Git. Он больше 20 лет посвятил разработке и поделится опытом собранным за время работы с распределенными командами.
⤵️
⠀
https://bx.vc/2aabtx

Сергей Останевич, архитектор репликации в Tarantool, расскажет доклад на тему: Повышаем живучесть Raft в реальных условиях
⠀
📋 https://bx.vc/yd7cpg
⠀
Сергей расскажет о поддержке работоспособности кластера Tarantool в условиях частичной связности, с реальным примером того, как чистый Raft не справился с задачей. В таких же условиях в какой-то момент в кластере может оказаться два лидера, от чего, казалось бы, прямо обещана защита в Raft.
⠀
Решение проблемы с доступностью кластера при частичной потере связности создает еще одну: при определенных условиях кластер будет не способен выбрать нового лидера, даже при наличии достаточного количества живых и соединенных между собой узлов, в то время как предыдущий лидер уже не имеет достаточного количества живых соединений и более не способен произвести запись. Чтобы это исправить, необходимо, чтобы лидер “слагал полномочия” в случае потери кворума живых соединений.
⠀
✅ Присоединяйтесь к нам 24 и 25 ноября в Москве на HighLoad++ 2022 - https://bx.vc/lqs8tj

Ускоряем хранимые процедуры на Postgres pl/pgSQL по гистограммам или жизнь после импортозамещения – тема доклада Анатолия Анфиногенова
⠀
📋 https://bx.vc/ofujie
⠀
Доклад посвящен особенностям настройки БД и хранимых процедур после успешного перехода с Oracle PL/SQL на Postgres pl/pgSQL, о котором Анатолий рассказывал на прошлогодней конференции.
⠀
С тех пор накопился опыт лечения детских болезней в области производительности БД, плавно перетекающий в профилактику и лечение хронических заболеваний в этой же области.
⠀
В докладе с цифрами и фактами рассматривается опыт борьбы за производительность БД и рассказывается, как в случае использования хранимых процедур управлять производительностью.
⠀
Кроме того, при переходе с Oracle на Postgres обнаружены новые типы лежащих на этом пути граблей отложенного действия, о которых тоже будет с удовольствием рассказано.
⠀
Ждем вас на HighLoad++ 2022 в Москве или онлайн по всему миру 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/75beiu

✅ Каждая компания, принимающая платежи на своем сайте или в магазине, рано или поздно сталкивается с фродом (fraud) и несет убытки. Есть разные методы борьбы с ними. 80% всех задач обычно решаются скриптами, а потом к ним уже докручивается дата-сайнс.
⠀
Если вы в начале или середине пути, пока не готовы внедрять дата-сайнс или его внедрение оказалось не совсем эффективным. Можно попробовать решить типичные проблемы без дата-сайнс. Как это сделать, расскажет разработчик в Sportmaster Lab Александр Сальков с 10 летним опытом в дата инженерии.
⬇️
⠀
https://bx.vc/lw3hmx

Как хакнуть K8s: разбор пэйлоадов и способов защиты – узнаем из доклада Льва Хакимова

📋 https://bx.vc/dq7ezv

Особую роль в построении современной высоконагруженной системы играет Kubernetes, позволяя вам легко управлять тысячами контейнеров при помощи конфигурационных файлов. Но высокий уровень абстракции притупляет наше внимание, а ведь под красивым названием оркестратора скрываются Linux, сети, Go и containerd.

Рассмотрим:

- Reverse-shell или как заставить сервер подключиться к вашему ПК и предоставить вам оболочку
- Docker Escape на практике: опасность привилегированных контейнеров и практическая демонстрация побега при помощи добавления самописного модуля в ядро
- RBAC, права в K8s и к чему приводит выдача слишком широких полномочий Pod-ам
и другие
⠀
Доклад будет интересен как DevOps и DevSecOps специалистам, так и всем увлекающимся пентестами и машинкам на HackTheBox, бывшим и действующим игрокам в CTF
⠀
До встречи на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/ktvfmy

Legacy to platform: как устроена масштабнейшая программа трансформации Сбербанк Онлайн? Узнаем из доклада Артема Арюткина

📋 https://bx.vc/zkvn46

Перед командой Артема стояла задача перевести монолит на микросервисную платформу, при этом у них было:

• Legacy-монолит, которому более 10 лет
• 250 коман
• 18 трайбов,
• 72 млн. активных пользователей
• требования к надежности 99.99
• отсутствие видимых простоев для пользователя

Артем расскажет, как не оказаться в ситуации, когда 60% проекта завершено, а нагрузка на legacy продолжает расти, какие метрики для проекта выбрать на старте и какие ошибки были допущены в проекте.

Целевая аудитория доклада: менеджеры проектов/продуктов, тех-лиды, тим-лиды

📍Ждем вас 24 и 25 ноября в Москве, Крокус-Экспо 3, зал 20

✅ Программа конференции и билеты здесь - https://bx.vc/r9k6vz

VML — нет времени объяснять, создавай виртуалку! Такая тема доклада у Алексея Шабалина на HighLoad++ 2022
⠀
📋 https://bx.vc/3gr1rr

VML — это инструмент для простой и прозрачной работы с виртуальными машинами qemu. VML может инициализировать образы с помощью cloud-init. Виртуальные машины с ALT, Arch Linux, Centos, Debian, Fedora, openSUSE и Ubuntu можно создать всего одной командой.

Изначально VML разрабатывался для тестирования облачных образов, но потом оказался полезен и при решении других задач. Одна из основных фич - древовидность. Практически все команды можно запустить сразу на группу виртуалок. Запустить новую виртуальную машину почти так же просто, как сказать: "Я люблю Linux" - нужно всего 3 слова...

Целевая аудитория доклада: разработчики, тестировщики, DevOps.

Встречаемся 24 и 25 ноября в Москве или онлайн по всему миру 🙌

✅ Программа конференции и билеты здесь - https://bx.vc/r1fnrt

Часто из-за обилия задач на стадии разработки забывают про менеджмент секретов. Задача их хранения уходит на второй план, но через некоторое время всплывает с целой кучей проблем.
⠀
➡️ PHP и Golang Developer Сергей Киммель поделится опытом своей команды и расскажет, как организовать секреты и код так, чтобы работа с ними была более простой и безопасной. О том, как не завязываться на конкретного вендора, и что стоит учитывать при работе с секретами в сервисах с высокой нагрузкой. Ну, и, конечно, несколько ляпов из своего реального опыта, на которых можно поучиться и сделать выводы.
⠀
⬇️
⠀
https://bx.vc/20w2pm

Всем привет!
⠀
🗓 У нас готово предварительное расписание конференции HighLoad++
➡️ https://bx.vc/0kf2sn

(в расписании возможны изменения)
⠀
Планируйте свое участие и до встречи 24 и 25 ноября в Москве 🙌

K8s Security на разных уровнях абстракции обсудим с Александром Сунгуровым
⠀
📋 https://bx.vc/dpiw2m
⠀
▫️Рассмотрим подходы к выстраиванию безопасности K8S с использованием opensource в высоконагруженных кластерах.
▫️Поговорим про обеспечение безопасности K8S в облачных средах.
▫️Узнаем, как безопасно развернуть платежную инфраструктуру в кластере.
▫️Коснемся вопросов 0-trust внутри K8S.
▫️Погрузимся в IaaC и GitOps с точки зрения обеспечения безопасности k8s.
▫️Оценим 0-touch prod с позитивных и негативных сторон.
▫️Разберем применение Opensource Runtime Security

Целевая аудитория доклада: DevOps, Admins, SRE, Infrastructure Security, Application Security, Developers

✅ Программа HighLoad++ 2022 и билеты здесь – https://bx.vc/neysug

Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌

Из доклада Евгения Ермакова и Леонида Кожинова узнаем про миграцию в облачный "Modern Data Stack": выбирай, страдай, люби
⠀
📋 https://bx.vc/6vhpcr
⠀
В рамках этого доклада мы пройдем все стадии работы Евгения и Леонида с Modern Data Stack - выбирай, страдай, люби - и затронем следующие вопросы:
⠀
- что такое современная платформа данных и на каких китах она держится?
- как не утонуть в мире Modern Data Stack решений?
- какие подводные камни интеграции разных систем вас ожидают?
- какие инструменты (из тех, что они попробовали) “must have”, а что можно пробовать заменить?
- как изменилась (и изменилась ли) работа аналитиков?
- что стоит, а что не стоит повторять, если вы пойдете по той же дорожке?
⠀
Доклад будет интересен широкому кругу слушателей, которые работают с данными: аналитикам данных, инженерам данным, архитекторам хранилищ, CDO
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/itcxar

Как собрать огромный датасет (и не потратить годовой бюджет маленькой страны)? Расскажут Александр Капитанов и Карина Кванчиани
⠀
📋 https://bx.vc/7kdjlt
⠀
Узнаем, как собрать и качественно разметить большие объемы данных для задачи компьютерного зрения на примере датасета жестов. В докладе пойдет речь о выстраивании автоматизированного пайплайна в 4 шага: сбор данных - валидация - разметка - обучение нейронных сетей.
⠀
Александр и Карина расскажут основные лайфхаки по работе с краудсорсинг-платформами, как снизить общую стоимость проекта и повысить качество финальной разметки. Результаты работы доступны как open-source проект.
⠀
Целевая аудитория: датасаентисты, ML и Data-инженеры.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/cf1xlv
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 ✋

💥 Друзья, в этом году в рамках конференции HighLoad++ также пройдет крупнейшая конференция по PHP в России, в программе которой вас ждет:
⠀
▪️20+ докладов от лучших спикеров вселенной PHP
▪️самые актуальные тематики сезона, среди которых: реальный опыт и лучшие практики, внутренности РНР, архитектура и масштабируемость, асинхронные приложения и параллельная обработка, OpenSource и другое
⠀
И конечно опыт реализации крупных проектов на PHP, общение с единомышленниками и море идей для вдохновения
⠀
Ждем вас 24 и 25 ноября в Москве на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z4rqdt

Почти все продуктовые и технические решения ВКонтакте принимаются на основе метрик. StatsHouse: метрики ВКонтакте – обсудим с Григорием Петросяном
⠀
📋 https://bx.vc/csfzgj
⠀
ВКонтакте живет метриками. Все запуски происходят с оглядкой на метрики – в реальном времени, во время запуска. ВКонтакте пишет 200 миллионов метрик каждую секунду. И все эти метрики ВКонтакте пишет в свою внутреннюю систему, StatsHouse. Григорий расскажет про технические и архитектурные решения, которые принципиально отличают StatsHouse от существующих Open Source решений – в том числе его уникальную Бесконечную® Масштабируемость™. И еще – сделает пока секретный анонс.
⠀
Целевая аудитория: программисты, системные администраторы, аналитики, менеджеры, CTO - все те, кто каждый день пользуется метриками в своей работе.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/9s2yuh

Как организовать поиск в стартапе, который планирует вырасти до масштабов ВКонтакте? Узнаем из доклада Богдана Гаркушина
⠀
📋 https://bx.vc/m6ewh3
⠀
Когда проект, в котором есть поиск, растет и развивается, растут и требования к поиску. Его нужно менять вместе с усложнением задач.
⠀
В докладе мы вместе с вами попробуем спроектировать архитектуру поисковой системы. Начнем с самой простой, которая позволит быстрее запуститься, и по шагам будем растить проект и вместе с ним модифицировать архитектуру поиска. Ближе к концу доклада дорастем до размеров ВКонтакте и подробно рассмотрим их текущую архитектуру поиска, ежедневно выполняющую поисковые задачи 20 млн пользователей, задающих 250 млн поисковых запросов в день.
⠀
В заключение посмотрим на то, какие есть еще варианты построения архитектуры поиска для нужд крупных проектов, их плюсы и минусы.
⠀
Целевая аудитория: разработчики любых проектов, в которых нужен поиск.
⠀
✋ До встречи на HighLoad++ 2022
⠀
✅ Программа конференции и билеты здесь https://bx.vc/1eifui

Как работает MVCC в in-memory СУБД? Расскажет Александр Ляпунов, он работает в Tarantool-подразделении VK, разрабатывают СУБД Tarantool.
⠀
📋 https://bx.vc/0w0ttu
⠀
Один из ключевых механизмов любой СУБД - это возможность предоставить согласованное состояние данных в базе - "снимка" или "снапшота". Этот механизм используется в первую очередь для организации изоляции транзакций: каждая транзакция видит свою версию состояния базы данных. В сочетании с другими механизмами это порождает технологию MVCC, когда транзакции независимо и одновременно видят каждая свое собственное состояние БД и работают в нем.
⠀
В этом докладе Александр на примере in-memory СУБД Tarantool в памяти расскажет, как устроены снимки данных и MVCC, как и почему эволюционировали эти алгоритмы, во что обходится поддержание этих структур пользователю, как правильно использовать и что ожидать от этих механизмов.
⠀
✋ Ждем вас 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z7wliy

Объединение DevOps, SRE, Dev, QA в единый DevOps процесс в банке – тема доклада Алексея Шарапова

📋 https://bx.vc/h1r7t4

Существует мнение, что DevOps работает только в формате небольшой компании и масштабировать очень сложно, и вообще это не применимо к крупным энтерпрайз организациям или необходимо сразу создавать DevOps отдел.

В ходе доклада Алексей хочет раскрыть данную тему и поделиться положительным опытом, на темы:

- как они выстроили работу DevOps, SRE, дежурной application службы без создания DevOps отдела
- как в эту схему вписали Dev и Qa, какую роль они играют
- как масштабировать данную систему при количестве инженеров 50+ и 150+ команд
- как быстро можно расти в данной схеме и не стать винтиком системы
- как проводить онбординг, стажировку
- как учитывать пожелания инженеров и облегчить найм

🖐️ Встречаемся 24 и 25 ноября на HighLoad++ 2022.

✅ Подробно о конференции, расписание и билеты на сайте - https://bx.vc/rwssyx

Про мониторинг черных ящиков и котов в мешке через eBPF поговорим с Петром Бобровым
⠀
📋 https://bx.vc/8tm1ce
⠀
ПО сторонних производителей сложно мониторить из-за отсутствия удобного API, интерфейсов, а также из-за лицензионных ограничений. На помощь приходит eBPF — современная подсистема в ядре Linux, позволяющая вставлять ваши вызовы в любой пользовательский код и некоторые системные функции ядра. Теперь задачу мониторинга может решить даже менеджер, у которого 'лапки'.
⠀
Целевая аудитория: администраторы прикладных систем, ИТ-менеджеры.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/yi71ya