О построении современных lakehouse-архитектур с помощью Presto поговорим с Владимиром Озеровым
⠀
📋 https://bx.vc/45sne6
⠀
Одним из популярных продуктов для построения lakehouse-систем является Presto — массивно-параллельный распределенный SQL-движок для выполнения федеративных запросов.
⠀
Обсудим основные сценарии использования и построения lakehouse-архитектур, после чего посмотрим, как техническая реализация Presto помогает создавать масштабируемые корпоративные аналитические платформы:
⠀
- дезаггрегация storage и compute, которая позволяет масштабировать вычислительные ресурсы без перемещения данных;
- коннекторы к большому количеству целевых систем с возможностью гибких pushdown-вычислений;
- продвинутая работа с сырыми данными с использованием современных технологий Apache Iceberg и Delta Lake;
- кэширование сырых данных на воркерах для уменьшения latency и стоимости работы с object storages;
И другое

До встречи на HighLoad++ 2022 🙌

✅ Программа конференции и билеты здесь - https://bx.vc/5p5s7d

Виртуализируй меня... полностью! Такая тема доклада Александра Лисаченко
⠀
📋 https://bx.vc/4qcoa0
⠀
Современная реальность требует современных решений. Именно поэтому все сложнее удивить кого-то словами Docker, контейнер или Kubernetes. Они являются неотъемлемой частью современной разработки приложений в компаниях.
⠀
В докладе рассмотрим вопросы запуска современных PHP-приложений внутри контейнеров, их особенности и нюансы. Также разберем типовые схемы работы с контейнерами PHP на уровне CI/CD-процессов в компании.
⠀
Целевая аудитория: программные архитекторы, PHP-разработчики.
⠀
🙌 Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/93o52w

Ильдар Хисамбеев, разработчик систем поставки данных в Яндекс, расскажет о YDB Topic Service: надёжной и масштабируемой очереди сообщений
⠀
📋 https://bx.vc/as25bm
⠀
В составе платформы YDB они вывели в open source сервис очередей сообщений — Topic Service. Это решение поверх YDB, которое обладает надёжностью, масштабируемостью, даёт управляемые гарантии FIFO-порядка и семантики доставки.
⠀
В этом докладе Ильдар расскажет, как устроен YDB Topic Service, чем похож и чем отличается от других популярных продуктов, в частности Apache Kafka®.
⠀
Также узнаем о реальном применении этой технологии в инфраструктуре и сервисах Яндекса, на инсталляции масштаба тысячи хостов и десятков ГБ/с на запись.
⠀
Доклад будет интересен разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачей масштабируемой поставки данных.
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022 в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/y50w53

Всем привет!

🖐️ 1 ноября пройдёт онлайн-встреча Программного комитета HighLoad++ 2022 c IT-сообществом.

Программный комитет расскажет о конференции, которая пройдёт 24 и 25 ноября. Приходите, если хотите узнать, что будет интересного помимо докладов (ведь это только часть программы). Готовьте вопросы участникам ПК.

📍Встречаемся онлайн, 1 ноября в 18:00 (МСК).

✅ Регистрация по ссылке - https://bx.vc/k0rgyh

СМЭВ. Сильно проще, чем кажется. Полезные советы, как стартовать интеграцию через СМЭВ3 и СМЭВ4 расскажет Роман Ковалев

📋 https://bx.vc/q4qvv9

СМЭВ — это платформа, которая обеспечивает надежную передачу различных данных между примерно 5̰к̰ с̰и̰с̰т̰е̰м̰ у̰ч̰а̰с̰т̰н̰и̰к̰о̰в̰ о̰б̰м̰е̰н̰а̰ п̰о̰ 2к прикладным протоколам с интенсивностью 10к обменов в секунду. СМЭВ — единственный способ взаимодействия систем государства для целей госуслуг и госфункций.

Узнаем, сколько бывает СМЭВ-ов и чем они отличаются. Для каких обменов какой СМЭВ полезнее. Про базовые понятия, которые нужно знать, чтобы чувствовать себя увереннее в мире СМЭВ.

Получим описание других систем экосистемы СМЭВ. Личный кабинет участника СМЭВ — все околосмэвовское можно делать в нем. Боты телеграм. ЕСНСИ — облачная платформа для распространения условно постоянной информации. Клиентское ПО — Адаптеры СМЭВ, Витрина данных.

Ждем вас на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/tzjb65

PaaS cookbook обсудим с Алексеем Даниловым
⠀
📋 https://bx.vc/6xy4vg
⠀
Цель инфраструктурной команды — улучшить надежность и отказоустойчивость, уменьшить time to market, снизить когнитивную нагрузку. Для этого многие компании реализуют свою домашнюю платформу (PaaS).
⠀
В рамках доклада рассмотрим набор рецептов от более простых до сложных, которые можно применить у себя в компании для реализации собственной платформы (PaaS). С примерами и граблями из опыта команды Алексея и опыта других компаний. Поговорим о цене их решения и альтернативах.
⠀
Доклад будет интересен администраторам, SRE, менеджерам, те, что зовутся DevOps, CTO, разработчикам.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🖐
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/v5ungt

О хранилище для Почты расскажет Виктор Могилин
⠀
📋 https://bx.vc/lwhh03
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.

Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.

Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐

✅ Программа конференции и билеты здесь – https://bx.vc/i376zr

⚡️ С 1 ноября вырастет цена билетов на конференцию HighLoad++ 2022, которая пройдет 24 и 25 ноября в Москве.
⠀
Самое время бронировать билеты, чтобы успеть по текущей стоимости:
⠀
▪️Офлайн участие – 60000 руб.
▫️Онлайн участие – 30000 руб
⠀
После брони у вас будет еще несколько дней для оплаты.
⠀
HighLoad++ 👉 это крупнейшая профессиональная конференция для разработчиков высоконагруженных систем, в программе которой вас ждет:
⠀
- 120 докладов
- 8 треков
- 3000 участников
- конференция PHP Russia 2022
⠀
Присоединяйтесь к нам 🙌
⠀
✅ Забронируйте билет здесь - https://bx.vc/u4pg0l

GeeseFS: ФС из S3, или Параллелизм гусей в природе – тема доклада Виталия Филиппова

📋 https://bx.vc/qpzag7

А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?

Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.

Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.

🖐 Ждем вас на HighLoad++ 2022.

✅ Программа конференции и билеты на сайте - https://bx.vc/i7nhlc

О хождении по граблям PDO расскажет в своем докладе Валерий Горбачев
⠀
📋 https://bx.vc/oikpe1
⠀
Поговорим о том, что скрывают за собой современные PHP ORM.
⠀
Как оказалось, PDO далеко неидеален. В нём несчётное количество "весёлых" нюансов и граблей, вылезающих при абстрагировании слоя для работы с базами данных.
⠀
Узнаем опыт разработчика Yii3 из первых рук.
⠀
🔸Мнение ПК о докладе: наверное, каждый разработчик сталкивался со взаимодействием с БД, возможно через ОРМ. Но не только лишь все осознают сколько странных и совершенно неочевидных вещей скрывают под собой и высокоуровневые абстракции БД и более низкоуровневые, вроде PDO. Думаете там всё просто? Ха! Как бы не так!
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/j2ot08

Из доклада Ильи Колокутского узнаем, как они переписывали бизнес-логику высоконагруженного приложения на PLPG/SQL
⠀
📋 https://bx.vc/u4wkvo
⠀
Не нужно рассказывать о том, насколько хороша СУБД Oracle и сколько задач решается с ее помощью. Однако, тема использования альтернативных СУБД сегодня становится все более актуальной.
⠀
Сотни хранимых процедур с кучей бизнес-логики, десятки терабайт данных, высокая связность с другими системами — разве могут быть варианты, кроме Oracle?
⠀
Да, конечно! Этот доклад — о проекте миграции систем промышленных масштабов с Oracle на отечественную СУБД PostgresPro.
⠀
Замена СУБД непростая задача — нужно заменить фундамент так, чтобы не рухнули стены. Илья расскажет, как переносили бизнес-логику из Oracle PL/SQL на PLPG/SQL на примере системы, которой пользуются граждане всей страны.
⠀
Доклад будет интересен разработчикам баз данных и всем, кому интересна тема замены Oracle на PostgreSQL.
⠀
До встречи на HighLoad++ 🙌

✅ Программа конференции и билеты здесь - https://bx.vc/ravzbb

В глубины теории PHP generics погрузимся на докладе Антона Сухачёва
⠀
📋 https://bx.vc/nfztm0
⠀
Пару лет назад Антону стало интересно, почему в PHP до сих пор нет дженериков, хотя RFC по их добавлению был создан еще в 2016 году. Пока он это выяснял, у него получилось покопаться во внутренностях движка и написать библиотеку на PHP для поддержки базового синтаксиса. В докладе Антон подробно расскажет, как можно внедрить дженерики в PHP.
⠀
Также узнаем:
⠀
- зачем нужны дженерики в слаботипизированном PHP;
- о подходах и проблемах реализаций дженериков в движке PHP;
- о системе типов PHP;
- чем может помочь типизация PHP разработчику.
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/l5j2sb

✋ Как устроены большие проекты? Как не упереться в ограничения архитектуры при росте посещаемости?
⠀
HighLoad++ ➡️ единственная конференция, где можно узнать, как проектировать архитектуру, если вы планируете вырасти до размеров ВКонтакте. Предлагаем послушать тех, кто уже прошёл путь от небольшого стартапа до гигантского проекта:
⠀
1) Как организовать поиск в стартапе, который планирует вырасти до масштабов ВКонтакте. Богдан Гаркушин (ВКонтакте)
⠀
2) SSO решение на 5 млн пользователей. Масштабирование от пилотного проекта до федерального уровня. Ирина Блажина, Николай Зайцев (X5 Tech)
⠀
3) Техстратегия и архитектура highload-проекта на примере ВКонтакте. Александр Тоболь (ВКонтакте)
⠀
4) Архитектура ВКонтакте: там, где данные. Илья Щербак (ВКонтакте)
⠀
5) Трансформация подхода к хранению и синхронизации писем. Андрей Колесников (МойОфис)
⠀
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/55vqyk

С Вацлавом Довнаром поговорим о продвинутых подходах построения AppSec
⠀
📋 https://bx.vc/xccqdq
⠀
В докладе рассмотрим набор техник, про которые редко говорят на конференциях. Мы не будем заострять внимание на SAST, DAST, DevSecOps, а обсудим другие вопросы: security-амбассадоров, бюджет ошибок безопасности, построение адекватного процесса взаимодействия ИТ и ИБ, постоянную оценку рисков.
Вацлав поделится готовыми практическими наработками для улучшения процессов ревью архитектуры ИБ и оценки угроз. Обсудим как сделать эту скучную работу модно и эффективно
⠀
Доклад будет интересен CTO, техническим руководителям, сотрудникам команд безопасности.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/dku6y9

О балансировке нагрузки в мульти-эксабайтном сторадже расскажет Вадим Зотеев, старший разработчик в Cторадже Яндекса
⠀
📋 https://bx.vc/ihvdv9
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/66c4f6
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐

Как устроена разработка Kubernetes-платформы Deckhouse? Узнаем из доклада Константина Аксенова
⠀
📋 https://bx.vc/jydjir

Константин расскажет, как устроен процесс разработки Deckhouse, основанный на сложившихся в Open Source-сообществе и на GitHub практиках, учитывающий потребности инженеров, бизнеса, специалистов информационной безопасности и других пользователей, которые взаимодействуют с платформой.
⠀
Рассмотрим:

- процессы разработки, тестирования и управления релизами Deckhouse;
- интеграция со сторонними решениями для мониторинга, работы сети, безопасности и с другими необходимыми компонентами;
- как они приносят исправления и доработки в код сторонних решений вроде Cilium и KubeVirt;
- их вклад в развитие «ванильного» Kubernetes;
- как организована техническая поддержка;
- как они сопровождают пользователей — команды клиентов и внутренние DevOps-команды «Фланта»;
- планы по развитию платформы.
⠀
Присоединяйтесь к нам 24 и 25 ноября 🙌

✅ Программа конференции и билеты на сайте - https://bx.vc/kxqvha

Опыт внедрения скоростного мутационного тестирования узнаем из доклада Станислава Вожова
⠀
📋 https://bx.vc/mmiqk4
⠀
Мутационное тестирование — это метод тестирования программного обеспечения, основанный на всевозможных изменениях исходного кода и проверке реакции на эти изменения набора автоматических тестов. Оно помогает команде убедиться в том, что автотесты действительно проверяют бизнес-логику, а не просто покрывают код.
⠀
Станислав расскажет о том, как они внедрили мутационное тестирование, и как оно помогает им с тестами. Узнаем про их опыт, плюсы и минусы инструмента, который они используют для мутационного тестирования.
⠀
Доклад будет интересен программистам и командам, желающим повысить качество своих автотестов.
⠀
✅ Подробно о конференции, расписание и билеты здесь - https://bx.vc/wsllpi
⠀
До встречи на HighLoad++ 2022 🖐

Когда обсуждают Go, как язык разработки, часто говорят, что у него нет дженериков. Так вот, дженерики завезли. Давайте посмотрим, какие теперь появились преимущества.
⠀
➡️ Подробности расскажет Павел Грязнов. Что изменилось с выпуском релиза 1.18, в чём особенность синтаксиса дженериков, когда они нужны и когда лучше обойтись другими инструментами. Всё на примерах, одна практика.

Заходите! ⬇️
⠀
https://bx.vc/6jcxt4

Из доклада Евгения Дюкова узнаем, как они делали отказоустойчивый Redis в Yandex Cloud
⠀
📋 https://bx.vc/g0ge6d
⠀
Они создали агент и назвали его rdsync по аналогии со своими другими решениями (pgsync — для PostgreSQL, mysync — для MySQL). Пропатчили Redis, чтобы можно было делать failover/switchover безопасно. Обложили это всё множеством функциональных и jepsen-тестов. Сделали отдельный демон, который может повторять протокол sentinel с точки зрения взаимодействия с клиентами (https://redis.io/docs/reference/sentinel-clients/).
⠀
Евгений подробнее расскажет, чем не устроил вариант «из коробки», как они поддерживали обратную совместимость, как тестируют и проверяют, что решение не теряет данные.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🖐
⠀
✅ Программа HighLoad++ 2022 и билеты здесь – https://bx.vc/p2thiy