Асинхронный транспорт Cassandra обсудим с Вадимом Цесько в рамках Яндекс трека
⠀
📋 https://bx.vc/a96em9

Они используют и активно развивают собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, они реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и т.д. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в их системах повсеместно.

Рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила им существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства их решения, поговорим про различные оптимизации, возникшие по пути проблемы, переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.

✅ Программа Яндекс трека - https://bx.vc/dyzwnt
⠀
До встречи HighLoad++ 2022 🙌

О балансировке нагрузки в мульти-эксабайтном сторадже расскажет Вадим Зотеев, старший разработчик в Cторадже Яндекса
⠀
📋 https://bx.vc/w1trgj
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа Яндекс трека - https://bx.vc/k8rfov
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐

Архитектура рисуется с обратной стороны! Тема доклада Антона Жбанкова
⠀
📋 https://bx.vc/dfuqmt
⠀
Абсолютное большинство проектов, что видел Антон, начинаются с некоторых технических требований, зачастую взятых с потолка, потому что заказчик так сказал или просто с потолка.
⠀
Это подход не инженерный, а крафтовый или, если хотите, ремесленно-художественный.

Хороший технический проект неразрывен и решает бизнес-задачи. Ну какие технические требования вы ждете от заказчика? Если заказчик в состоянии правильно сформулировать тех. требования, то и проектирование он тоже в состоянии сделать.

Поэтому любой хороший проект начинается с формулирования бизнес-требований и бизнес-критериев, а документ "Технические требования" разрабатывается на их основе.
Что же за требования и критерии эти бизнесовые?

До скорой встречи на HighLoad++ 2022. Если вы пока не присоединились к нам, у вас еще есть возможность это сделать 😉

✅ Посмотреть программу конференции, расписание и купить билеты можно на сайте - https://bx.vc/w4d6lp

Root cause analysis monitoring обсудим с Баселем Дарвишем

📋 https://bx.vc/tnxhs4

Базы данных, очереди, приложения на Spring и много чего еще, и все это в тысячах экземпляров — чем сложнее инфраструктура, тем выше вероятность возникновения ошибок. Своевременно исправлять ошибки — одна из главных задач провайдера облачных сервисов или владельца собственной крупной инфраструктуры.

Узнаем, как они используют графы в задачах мониторинга и observability, как Root Cause Analysis в мониторинге помогает командам эксплуатации.

Как и многие другие вендоры ПО, 1С давно предлагает свои продукты в облачном варианте. Это, в первую очередь, их облачные сервисы 1С: ГРМ (Готовое Рабочее Место) и 1cFresh.

Предоставление облачных сервисов требует наличия соответствующей инфраструктуры — прежде всего серверов, на которых размещаются виртуальные машины с приложениями, и софта, управляющего физическими и виртуальными машинами.

Встречаемся 24 и 25 ноября 🖐

✅ Программа конференции и расписание здесь - https://bx.vc/p1rsid

Агротех: долго, дорого и очень сложно. Как создавать продукты для агроотрасли расскажет Евгений Багрянцев в рамках секции «Агротех»
⠀
📋 https://bx.vc/kd74gp
⠀
Агротех — одно из самых перспективных направлений в РФ и мире.
Создавать продукты для агротеха долго и сложно.
Евгений поделится их опытом создания прорывного решения с CV и беспилотниками для агротеха.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа секции «Агротех» здесь - https://bx.vc/a0hp9u

Про самый большой в РФ проект в области птицеводства по сбору информации с датчиков интернета вещей и другие интересные кейсы для сельского хозяйства расскажет Денис Муравьев
⠀
📋 https://bx.vc/sbp2ke
⠀
Обсудим:

- краткий обзор беспроводных технологий передачи информации, их место и задачи в мире IoT;
- особенности технологий LPWAN беспроводной передачи данных;
- почему так сложно сделать умные вещи и подключить их к интернету;
- зачем они написали свою платформу интернета вещей и чем им не угодили готовые платформы;
- как профили устройств упрощают сопровождение;
- как они внедряли IoT в 52 регионах России для мониторинга птичников;
- зачем мониторить показатели температуры и влажности воздуха в птичниках и на складах;
- использование датчиков сухих контактов для мониторинга работы автоматики;
- как датчики интернета вещей позволяют снизить себестоимость продукции и сэкономить на поддержке.
И другое

До скорой встречи на HighLoad++ 2022 🙌

✅ Программа секции "Агротех" - https://bx.vc/78tnht

Об интеграции PHP-проекта с 1С расскажет Пётр Мязин
⠀
📋 https://bx.vc/e4pr2h
⠀
Знали ли вы, что в платформе 1С есть встроенное REST API по стандарту OData? А оно есть!
⠀
Без единой строчки кода на 1С можно:

- читать или записывать практически любые данные в 1С,
- создавать документы из PHP-приложения (например, выставлять счета клиенту).
⠀
Добавив немного кода на 1С, получаем:

- 1С как headless-систему с готовой бизнес-логикой,
- 1С как сервис для формирования PDF- и Excel-документов по заранее заданным шаблонам,
- 1С как сервис по отправке юридически значимых электронных документов (в итоге проще, чем писать это с нуля на PHP).
⠀
Как вы поняли, они пишут документооборот на PHP (Laravel) в компании, где активно используется 1С. Петр с радостью поделится их опытом интеграции 1C в PHP-приложение.
⠀
Ждем вас 24 и 25 ноября 🙌
⠀
✅ Программа конференции и расписание здесь - https://bx.vc/y3ybr5

О хранилище для Почты расскажет Виктор Могилин
⠀
📋 https://bx.vc/vdgjrm
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.
⠀
Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/bldbbo

Илья Орлов расскажет про укрощение мифического чудовища: реальный опыт промышленного использования ScyllaDB без прикрас
⠀
📋 https://bx.vc/lkw3pi
⠀
"Кассандра - прошлый век", - говорили они, - "Переходите на Сциллу". Написана на плюсах, быстрая, надежная, с шардированием из коробки. Как тут удержаться и не попробовать? Тем более в условиях, когда вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Всё-таки хочется иметь под рукой пару-тройку запасных вариантов.
⠀
Решились! Нашли время, ресурсы и провели исследование одноглазого монстрика в диких условиях кровавого энтерпрайза. Что из этого вышло — опыт, лайфхаки и выводы о целесообразности использования Сциллы — в докладе Ильи.
⠀
Спойлер: зверушка у них прижилась 😁
⠀
Доклад будет интересен: разработчикам, техлидам и архитекторам высоконагруженных систем, интересующимся NoSQL БД.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа Яндекс трека - https://bx.vc/7dsj07

В Enterprise, где разработка (Dev) завелась относительно недавно, балом правит безопасность (SEC) и отказоустойчивость (OPS). Если небольшой онлайн-сервис может позволить себе «прилечь» на полдня из-за сбоя или атаки, то для крупного банка или цифровой платформы промышленного предприятия, отвечающей за технологический процесс, это будет означать огромные потери. Поэтому разработку и вывод новых сервисов нужно делать с большой оглядкой на непрерывность и безопасность эксплуатации.
⠀
В «Инфосистемы Джет» специализируются на создании, эксплуатации и защите высоконагруженных систем, умеют выстраивать процессы DevOps, инфраструктуру под микросервисные приложения on-premise, в частном или гибридном облаке. Встраивают в процесс разработки информационную безопасность.
⠀
Приглашаем на секцию «DevOps в Enterprise». На ней вы узнаете, как подойти к DevOps в крупном бизнесе и насколько он ужасен – этот Enterprise.
⠀
✅ Программа секции «DevOps в Enterprise» здесь - https://bx.vc/2cr1i4

Из-за того, что некоторые компании ушли из России, встал вопрос замены их решений. Но оказалось, что импортозамещение «в лоб» не работает! Замена компонентов «один в один» замедляет развитие бизнес-доработок и не даёт никаких преимуществ, нагружая бюджет компании.
⠀
Как решать возникшие проблемы, расскажет Евгений Лукин из СберТеха. Это интересный опыт, который будет полезен любому бизнесу. Смотрим, как банк с миллионами клиентов заменил корпоративную шину иностранного вендора и построил собственную cloud-native децентрализованную интеграционную платформу, и с какими вызовами они столкнулись в процессе.
⠀
⤵️
⠀
https://bx.vc/f9g3z2

Побег из Шоушенка в мире сетей – тема доклада Александра Попова
⠀
📋 https://bx.vc/2y1sco
⠀
На сегодняшний день облака — объективная реальность. Кто-то их использует как потребитель, а кто-то разрабатывает их. Но и тем и другим будет полезным погружение в их устройство.
⠀
- Как достучаться до API, если сетевого доступа нет?
- Как работают изолированные виртуальные сети в облаках, и чем они отличаются от железных?
- Как можно нарушить эту изоляцию и не сделать огромную дыру в безопасности?
⠀
Александр расскажет о том, как вывести трафик из изолированных сетей, построенных на базе Neutron Openstack, без большого штата разработки, без заливания железом, без нагоняев от службы ИБ.
⠀
До скорой встречи на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и расписание на сайте - https://bx.vc/b3d3ne

Из доклада Ильи Колокутского узнаем, как они переписывали бизнес-логику высоконагруженного приложения на PLPG/SQL
⠀
📋 https://bx.vc/3petac
⠀
Не нужно рассказывать о том, насколько хороша СУБД Oracle и сколько задач решается с ее помощью. Однако, тема использования альтернативных СУБД сегодня становится все более актуальной.
⠀
Сотни хранимых процедур с кучей бизнес-логики, десятки терабайт данных, высокая связность с другими системами — разве могут быть варианты, кроме Oracle?
⠀
Да, конечно! Этот доклад — о проекте миграции систем промышленных масштабов с Oracle на отечественную СУБД PostgresPro.
⠀
Замена СУБД непростая задача — нужно заменить фундамент, но так, чтобы не рухнули стены. В этом докладе Илья расскажет о том, как переносили бизнес-логику из Oracle PL/SQL на PLPG/SQL на примере системы, которой пользуются граждане всей страны.


Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌

✅ Программа Яндекс трека - https://bx.vc/vxx1kj

Как перейти от batch к streaming на примере рекламной контент-системы расскажет Егор Хайруллин
⠀
📋 https://bx.vc/34meir
⠀
Узнаем про их переход из batch в streaming. Предпосылками для перехода были следующие факты:
⠀
- Быстрый учет изменений и событий продуктово важен. В том числе виден на экспериментах в ключевых метриках (отдельные ускорения могут давать до нескольких процентов денег/конверсий).
- Дальнейшее ускорение требовало экспоненциального роста потребляемого CPU (десятки тысяч ядер), либо упиралось в ограничения MapReduce-модели.
- Сложность поддержки большого количества железных машин (~1000 хостов) и самописных систем синхронизации
⠀
Сегодня их контент-система обрабатывает миллионы событий и изменений в секунду, а суммарный размер стейтов со всеми репликами занимает несколько петабайт.
⠀
Егор расскажет о получившейся архитектуре обработки и хранения данных, какие проблемы им пришлось решить в процессе.
⠀
До встречи на HighLoad++ 2022 🖐

✅ Программа Яндекс трека - https://bx.vc/ecgota

О безболезненной подгрузке миллионов товаров с сотен интернет-магазинов на PHP расскажет Иван Красников
⠀
📋 https://bx.vc/vymvj5
⠀
Узнаем:
⠀
- Как эффективно выкачивать данные из тысяч xml-фидов, добавленных не доверенными пользователями.
- Набор жизненных кейсов — что может пойти не так в процессе загрузки и парсинга.
- Безопасные подходы к парсингу и оптимизации.
- Эффективную вставку данных в ElasticSearch (OpenSearch).
⠀
Присоединяйтесь к нам 24 и 25 ноября 🖐
⠀
✅ Посмотреть программу конференции, расписание и купить билет можно на сайте - https://bx.vc/vldknw

Сергей Тарасов расскажет, как они приготовили массу блюд с помощью одного ингредиента: GraphQL
⠀
📋 https://bx.vc/tvg2rr
⠀
В их виртуальном "ресторане" НЛМК существует единый корпоративный портал, которым пользуются больше 50 000 сотрудников Группы НЛМК в России, в Европе, в Индии и США. Когда-то он был только гостем, то есть потребителем данных, но, развиваясь, встал на кухню и начал поставлять данные.
⠀
Из доклада узнаем, как соотносятся потребитель и поставщик информации, как перейти из гостей в повара: секретный ингредиент GraphQL на базе PHP, а также советы от бывалых о том, как внедрить GraphQL в ваш рацион, где он может вызвать несварение, а где будет максимально полезен.
⠀
✅ Расписание конференции на сайте – https://bx.vc/wtaesp
⠀
До встречи на HighLoad++ 2022 🙌

Service Mesh Big Survey – тема доклада Максима Чудновского и Игоря Густомясова в рамках секции «DevOps в Enterprise»
⠀
📋 https://bx.vc/vvlfmd
⠀
Итак, вы решили идти в ногу со временем и добавить в свой кластер Kubernetes первый Service Mesh. От друзей вы слышали, что Istio требует много памяти, прокси в Linkerd очень быстрые, но никто не проверял. А еще все почему-то говорят про Cillium, хотя это CNI-плагин. Настало время все это обсудить!
⠀
В докладе мы разберем:
⠀
1. Что такое паттерн Service Mesh и зачем он может понадобиться;
2. Все существующие архитектурные подходы к реализации Service Mesh;
3. Самые популярные OpenSource-реализации Service Mesh: Istio, Linkerd, Cillium, NGINX Service Mesh и др. Проверим Control&Data planes, познакомимся с User API, узнаем все про возможности расширения и кастомизации;
4. Опыт эксплуатации и типовые проблемы Service Mesh в большом и нагруженном продакшне
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022.

✅ Программа секции «DevOps в Enterprise» - https://bx.vc/b7eb7i

RedHat OpenShift ушел. Что делать энтерпрайзу и не только ему? Расскажет Юрий Семенюков
⠀
📋 https://bx.vc/6i3hvm
⠀
Поговорим вот о чем:
⠀
1. Для кого эта тема актуальна, кто и почему раньше выбирал OCP при наличии бесплатного kubernetes.
⠀
2. Какие возможны варианты замены OCP, в принципе. Два основных пути — OKD и ванильный kubernetes.
⠀
3. Что вас ждет в варианте OKD. Рассмотрим на примере проекта, увидим на примере практических проектных кейсов.
⠀
4. Зачем это нужно, если есть ванильный kubernetes?
На примере того же проекта поговорим, почему это было важно в их случае и что, возможно, следует учесть слушателям при таком кейсе.
⠀
5. Обсудим эту тему чуть шире — для enterprise в настоящий момент актуальна не только замена OCP, но также и замена подлежащей под ней платформы виртуализации.
⠀
6. А что есть из отечественного, и что оно умеет по сравнению с OpenShift?
⠀
✅ Программа секции «DevOps в Enterprise» - https://bx.vc/gcn9v3
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐

Ильдар Хисамбеев, разработчик систем поставки данных в Яндекс, расскажет о YDB Topic Service: надёжной и масштабируемой очереди сообщений
⠀
📋 https://bx.vc/kbaqx0
⠀
В составе платформы YDB они вывели в open Open Source сервис очередей сообщений — Topic Service. Это решение поверх YDB, которое обладает надёжностью, масштабируемостью, даёт управляемые гарантии FIFO-порядка и семантики доставки.
⠀
В этом докладе Ильдар расскажет, как устроен YDB Topic Service, чем похож и чем отличается от других популярных продуктов, в частности Apache Kafka®.
⠀
Также узнаем о реальном применении этой технологии в инфраструктуре и сервисах Яндекса, на инсталляции масштаба тысячи хостов и десятков ГБ/с на запись.
⠀
Доклад будет интересен разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачей масштабируемой поставки данных.
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022 в Москве.
⠀
✅ Программа Яндекс трека - https://bx.vc/xmi607

Сергей Лебедев расскажет про аспектно-ориентированное программирование в PHP: раскладываем сквозную функциональность по полочкам
⠀
📋 https://bx.vc/62f01c
⠀
Аспектно-ориентированное программирование для многих из нас — это что-то абстрактно-академическое. Между тем оно уже давно широко применяется в практической PHP-разработке, чаще всего в виде аннотаций к методам и классам. Им можно пользоваться, не зная ничего о его теоретических основах, однако знание его базовых концепций и возможных способов реализации может помочь, например, элегантно внедрить в код нужную во всей программе функциональность или даже написать свою библиотеку, реализующую aспектно-ориентированное программирование.
⠀
Обсудим:
⠀
- откуда появилось аспектно-ориентированное программирование;
- зачем нужно АОП;
- как устроено классическое АОП от Xerox PARC;
- способы реализации АОП;
- что есть в PHP для АОП;
- опыт использования АОП.
⠀
Встречаемся уже 24 и 25 ноября 🙌
⠀
✅ Программа конференции, расписание и билеты здесь - https://bx.vc/f5v8c8