События этого года встревожили всех, но особенно всколыхнули российское IT-сообщество. Ушли иностранные компании, появились проблемы с железом и многим другим.
⠀
Поэтому, сейчас всех интересует вопрос: «А что же будет дальше?». Чтобы ответить на него, технологический эксперт Kaspersky Product Studio Константин Кичинский составил прогноз, который начал собирать в конце февраля этого года и впервые представил весной на конференции Highload Foundation.
⠀
Его модель описания технологической экосистемы оказалась достаточно верной. Прогноз на ее основе сбылся на 82%. Поэтому модель вполне можно применять и использовать для прогнозирования дальнейших событий.
⠀
Читайте подробнее ⤵️
⠀
https://bx.vc/few412

С чего начинается биллинг облачных сервисов? Узнаем из доклада Сергея Нечаева, разработчика биллинга в Яндекс Облаке
⠀
📋 https://bx.vc/hltkta
⠀
Сейчас биллинг Yandex Cloud обрабатывает около 4,2 миллиарда метрик от сервисов в сутки, а задержка с момента, когда что-то случилось, до того, как это отразится в детализации, составляет единицы минут.
⠀
Сергей расскажет, как они проектировали биллинг, какие вопросы задавали сами себе, какие архитектурные решения выдержали проверку временем, а какие нет.
⠀
В частности, рассмотрим:
⠀
• как строить объектную модель;
• масштабируемость: что будет, если пользователей, продуктов или данных станет больше в 100 раз (спойлер: так и вышло);
• механизмы доставки данных о потреблении: push, pull, message queue;
• OLTP для потоковой обработки и OLAP для тяжёлой аналитики.

⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/ynofg2

Илья Орлов расскажет про укрощение мифического чудовища: реальный опыт промышленного использования ScyllaDB без прикрас
⠀
📋 https://bx.vc/7eqfeu
⠀
"Кассандра - прошлый век", - говорили они, - "Переходите на Сциллу". Написана на плюсах, быстрая, надежная, с шардированием из коробки. Как тут удержаться и не попробовать? Тем более в условиях, когда вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Всё-таки хочется иметь под рукой пару-тройку запасных вариантов.
⠀
Решились! Нашли время, ресурсы и провели исследование одноглазого монстрика в диких условиях кровавого энтерпрайза. Что из этого вышло — опыт, лайфхаки и выводы о целесообразности использования Сциллы — в докладе Ильи.
⠀
Спойлер: зверушка у них прижилась 😁
⠀
Доклад будет интересен: разработчикам, техлидам и архитекторам высоконагруженных систем, интересующимся NoSQL БД.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/mm2jfo

Строим отказоустойчивую инфраструктуру приложения в kubernetes. Принципы, паттерны, приёмы – тема доклада Олега Вознесенского
⠀
📋 https://bx.vc/3f2r64
⠀
Задача обеспечения стабильности и отказоустойчивости приложений остаётся актуальной во все времена. Задача эта комплексная и лежит в нескольких плоскостях:
⠀
- отказоустойчивой должна быть инфраструктура, в которой мы эксплуатируем приложение;
- архитектура приложения должна быть построена с учетом требований по отказоустойчивости.
⠀
С появлением kubernetes у нас появилось гораздо больше возможностей создавать отказоустойчивые приложения, вынося и реализуя паттерны отказоустойчивости в плоскости инфраструктуры.
⠀
Давайте разберём эти возможности и рассмотрим паттерны создания отказоустойчивой инфраструктуры для приложений в kubernetes.
⠀
Целевая аудитория: DevOps и разработчики, эксплуатирующие приложения в kubernetes.
⠀
🖐 Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/42hh6z

Никита Назаров расскажет про омерзительную восьмёрку: техники, тактики и процедуры (TTPs) группировок шифровальщиков
⠀
📋 https://bx.vc/etaejf

Они в «Лаборатории Касперского» провели анализ самых популярных тактик, техник и процедур (TTPs) восьми самых активных групп шифровальщиков: Conti/Ryuk, Pysa, Clop (TA 505), Hive, Lockbit 2.0, RagnarLocker, BlackByte и BlackCat. За исследованный период — с марта 2021 по март 2022 года — операторы этих групп пытались атаковать более 500 организаций в разных отраслях, среди которых промышленность, разработка ПО, строительство. Оказалось, что различные семейства этого вида ПО совпадают более чем наполовину в своих TTPs на протяжении всех этапов цепочки атак.

Узнаем обо всех этапах атаки, излюбленных TTPs злоумышленников и преследуемых ими целях, чтобы помочь понять, как действуют данные группы и как защититься от целенаправленных атак вымогателей.

🙌 Ждем вас на HighLoad++ 2022

✅ Программа конференции и билеты здесь - https://bx.vc/wos2mg

Service Mesh Big Survey – тема доклада Максима Чудновского и Игоря Густомясова
⠀
📋 https://bx.vc/ffr4jo
⠀
Итак, вы решили идти в ногу со временем и добавить в свой кластер Kubernetes первый Service Mesh. От друзей вы слышали, что Istio требует много памяти, прокси в Linkerd очень быстрые, но никто не проверял. А еще все почему-то говорят про Cillium, хотя это CNI-плагин. Настало время все это обсудить!
⠀
В докладе мы разберем:
⠀
1. что такое паттерн Service Mesh и зачем, в принципе, он может понадобиться;
2. все существующие архитектурные подходы к реализации Service Mesh;
3. самые популярные OpenSource-реализации Service Mesh: Istio, Linkerd, Cillium, NGINX Service Mesh и др. Проверим Control&Data planes, познакомимся с User API, узнаем все про возможности расширения и кастомизации;
4. опыт эксплуатации и типовые проблемы Service Mesh в большом и нагруженном продакшне.

⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/60e30p

🖐️ Друзья, если ваш проект недавно стал высоконагруженным, и вы хватаетесь за голову — как масштабироваться дальше, как поддерживать отказоустойчивость — рекомендуем подписаться на курс HighLoad++ Junior.

➡️ 30 простых и логичных лекций от топовых разработчиков помогут вам понять базовые основы разработки highload-систем. Вы пройдете все этапы от самых общих вещей проектирования до понимания деталей разработки крупных систем и начнёте думать как разработчик высоконагруженных проектов.

Поговорим вот о чём:

- Логика проектирования и архитектура крупных проектов
- Проблемы нагрузки на базу данных
- Масштабирование базы данных через шардирование и партиционирование
- Кеширование, NoSQL, очереди
- Поиск, Hadoop и бинарные хранилища

А если вы и так уже всё понимаете про высокие нагрузки, перешлите этот пост менее опытным коллегам. Ваша команда заработает гораздо эффективнее, если каждый будет понимать основные принципы создания крупных проектов 😉

✅ Подписаться на курс HighLoad++ Junior - https://bx.vc/gz9d0g

Круглый стол "Domain Driven Design и PHP: идеальная пара или натягивание совы на глобус?" Поговорим об этом с Алексеем Мерсоном, Павлом Лакосниковым, Кириллом Несмеяновым и Андреем Ратушным
⠀
📋 https://bx.vc/2b03uo
⠀
В мире PHP Domain Driven Design — популярный подход. Его стратегическая часть DDD (единый язык и ограниченные контексты) мало зависит от конкретного языка разработки. А вот тактическая — очень даже, ведь она как раз и направлена на реализацию стратегической части в коде.
⠀
На круглом столе обсудим:
⠀
- почему PHP-разработчики любят DDD;
- какие возможности языка помогают реализации DDD, а какие — мешают;
- в чем отличие реализаций на других языках.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/341uyr

О решении проблемы ресурсов у команд — участников цикла разработки узнаем из доклада Александра Крылова, Lead DevOps services в ПАО СК Росгосстрах
⠀
📋 https://bx.vc/4p5ogw
⠀
Представим, что команда DevOps делает не только всё, что связанно с CI/CD, но и сильно выходит за эти рамки.
⠀
Представим, что коллеги из тестирования и разработки имеют ограниченные права везде и по любому чиху дёргают инженеров. А как быть с фокусом на развитие и внедрение новых технологий и систем, при этом успевая всё?
⠀
Сказ пойдёт о том, как решить проблему перераспределения ресурсов в командах — участниках цикла разработки. Казалось бы, зачем это делать? Для того чтобы высвободить ресурсы одних команд, повысить компетенции других команд со сменой фокуса на целевые активности.
⠀
Целевая аудитория: DevOps, Ops, Dev, Test, лиды направлений.
⠀
🖐 Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/nblpw2

Юрий Власов и Тимофей Нецветаев расскажут доклад на тему - Кролик по-СДЭКовски: RabbitMQ как основной центр обмена данными в модульной среде с очередями больше 2000
⠀
📋 https://bx.vc/iwt4ot
⠀
В СДЭК вместе с Кроликом они прошли тернистый путь от 1 ноды до крупного кластера. Юрий с Тимофеем поделятся своим опытом использования инструмента и расскажут:

- как они живут с хайлоад кластером из 8 нод
- почему они отказались от HA-cluster;
- почему они не используют Kafka?
- какие опасности вас могут ждать, если вы хотите делать распределенный кластер между ЦОДами
- отказоустойчивость или скорость — а можно все вместе?
- почему в Exchange они отказываются от Topic и уходят на Fanout?
- история их факапов и как PHP сжег кролика
- что нового появилось в RabbitMQ за последний год
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/suhvty

О построении современных lakehouse-архитектур с помощью Presto поговорим с Владимиром Озеровым
⠀
📋 https://bx.vc/45sne6
⠀
Одним из популярных продуктов для построения lakehouse-систем является Presto — массивно-параллельный распределенный SQL-движок для выполнения федеративных запросов.
⠀
Обсудим основные сценарии использования и построения lakehouse-архитектур, после чего посмотрим, как техническая реализация Presto помогает создавать масштабируемые корпоративные аналитические платформы:
⠀
- дезаггрегация storage и compute, которая позволяет масштабировать вычислительные ресурсы без перемещения данных;
- коннекторы к большому количеству целевых систем с возможностью гибких pushdown-вычислений;
- продвинутая работа с сырыми данными с использованием современных технологий Apache Iceberg и Delta Lake;
- кэширование сырых данных на воркерах для уменьшения latency и стоимости работы с object storages;
И другое

До встречи на HighLoad++ 2022 🙌

✅ Программа конференции и билеты здесь - https://bx.vc/5p5s7d

Виртуализируй меня... полностью! Такая тема доклада Александра Лисаченко
⠀
📋 https://bx.vc/4qcoa0
⠀
Современная реальность требует современных решений. Именно поэтому все сложнее удивить кого-то словами Docker, контейнер или Kubernetes. Они являются неотъемлемой частью современной разработки приложений в компаниях.
⠀
В докладе рассмотрим вопросы запуска современных PHP-приложений внутри контейнеров, их особенности и нюансы. Также разберем типовые схемы работы с контейнерами PHP на уровне CI/CD-процессов в компании.
⠀
Целевая аудитория: программные архитекторы, PHP-разработчики.
⠀
🙌 Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/93o52w

Ильдар Хисамбеев, разработчик систем поставки данных в Яндекс, расскажет о YDB Topic Service: надёжной и масштабируемой очереди сообщений
⠀
📋 https://bx.vc/as25bm
⠀
В составе платформы YDB они вывели в open source сервис очередей сообщений — Topic Service. Это решение поверх YDB, которое обладает надёжностью, масштабируемостью, даёт управляемые гарантии FIFO-порядка и семантики доставки.
⠀
В этом докладе Ильдар расскажет, как устроен YDB Topic Service, чем похож и чем отличается от других популярных продуктов, в частности Apache Kafka®.
⠀
Также узнаем о реальном применении этой технологии в инфраструктуре и сервисах Яндекса, на инсталляции масштаба тысячи хостов и десятков ГБ/с на запись.
⠀
Доклад будет интересен разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачей масштабируемой поставки данных.
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022 в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/y50w53

Всем привет!

🖐️ 1 ноября пройдёт онлайн-встреча Программного комитета HighLoad++ 2022 c IT-сообществом.

Программный комитет расскажет о конференции, которая пройдёт 24 и 25 ноября. Приходите, если хотите узнать, что будет интересного помимо докладов (ведь это только часть программы). Готовьте вопросы участникам ПК.

📍Встречаемся онлайн, 1 ноября в 18:00 (МСК).

✅ Регистрация по ссылке - https://bx.vc/k0rgyh

СМЭВ. Сильно проще, чем кажется. Полезные советы, как стартовать интеграцию через СМЭВ3 и СМЭВ4 расскажет Роман Ковалев

📋 https://bx.vc/q4qvv9

СМЭВ — это платформа, которая обеспечивает надежную передачу различных данных между примерно 5̰к̰ с̰и̰с̰т̰е̰м̰ у̰ч̰а̰с̰т̰н̰и̰к̰о̰в̰ о̰б̰м̰е̰н̰а̰ п̰о̰ 2к прикладным протоколам с интенсивностью 10к обменов в секунду. СМЭВ — единственный способ взаимодействия систем государства для целей госуслуг и госфункций.

Узнаем, сколько бывает СМЭВ-ов и чем они отличаются. Для каких обменов какой СМЭВ полезнее. Про базовые понятия, которые нужно знать, чтобы чувствовать себя увереннее в мире СМЭВ.

Получим описание других систем экосистемы СМЭВ. Личный кабинет участника СМЭВ — все околосмэвовское можно делать в нем. Боты телеграм. ЕСНСИ — облачная платформа для распространения условно постоянной информации. Клиентское ПО — Адаптеры СМЭВ, Витрина данных.

Ждем вас на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/tzjb65

PaaS cookbook обсудим с Алексеем Даниловым
⠀
📋 https://bx.vc/6xy4vg
⠀
Цель инфраструктурной команды — улучшить надежность и отказоустойчивость, уменьшить time to market, снизить когнитивную нагрузку. Для этого многие компании реализуют свою домашнюю платформу (PaaS).
⠀
В рамках доклада рассмотрим набор рецептов от более простых до сложных, которые можно применить у себя в компании для реализации собственной платформы (PaaS). С примерами и граблями из опыта команды Алексея и опыта других компаний. Поговорим о цене их решения и альтернативах.
⠀
Доклад будет интересен администраторам, SRE, менеджерам, те, что зовутся DevOps, CTO, разработчикам.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🖐
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/v5ungt

О хранилище для Почты расскажет Виктор Могилин
⠀
📋 https://bx.vc/lwhh03
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.

Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.

Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐

✅ Программа конференции и билеты здесь – https://bx.vc/i376zr

⚡️ С 1 ноября вырастет цена билетов на конференцию HighLoad++ 2022, которая пройдет 24 и 25 ноября в Москве.
⠀
Самое время бронировать билеты, чтобы успеть по текущей стоимости:
⠀
▪️Офлайн участие – 60000 руб.
▫️Онлайн участие – 30000 руб
⠀
После брони у вас будет еще несколько дней для оплаты.
⠀
HighLoad++ 👉 это крупнейшая профессиональная конференция для разработчиков высоконагруженных систем, в программе которой вас ждет:
⠀
- 120 докладов
- 8 треков
- 3000 участников
- конференция PHP Russia 2022
⠀
Присоединяйтесь к нам 🙌
⠀
✅ Забронируйте билет здесь - https://bx.vc/u4pg0l

GeeseFS: ФС из S3, или Параллелизм гусей в природе – тема доклада Виталия Филиппова

📋 https://bx.vc/qpzag7

А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?

Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.

Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.

🖐 Ждем вас на HighLoad++ 2022.

✅ Программа конференции и билеты на сайте - https://bx.vc/i7nhlc