Про архитектуру надёжной In-Memory-СУБД на примере Tarantool расскажет Владимир Перепелица в рамках Яндекс трека
⠀
📋 https://bx.vc/0lxe0y
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/h76rgv
⠀
📋 https://bx.vc/0lxe0y
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/h76rgv
GeeseFS: ФС из S3, или Параллелизм гусей в природе – тема доклада Виталия Филиппова
⠀
📋 https://bx.vc/v1vfxu
А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?
Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы, кстати, тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.
Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022.
✅ Программа Яндекс трека - https://bx.vc/4h4f6w
⠀
📋 https://bx.vc/v1vfxu
А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?
Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы, кстати, тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.
Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022.
✅ Программа Яндекс трека - https://bx.vc/4h4f6w
API management и API gateway. Что это и нужно ли оно вам? Обсудим с Виктором Поповым
⠀
📋 https://bx.vc/5pyfgl
⠀
Виктор расскажет:
⠀
- API management — что это такое и с чем его едят.
- Зачем это, вообще, надо.
- Публичные API.
- Обзор решений для API management.
- Свой опыт с Gravitee GW — чего оно умеет, и какие проблемы помогло решить.
⠀
🔸Мнение Программного комитета о докладе: докладчик расскажет, как и зачем управлять API, осветит основные задачи и проблемы менеджмента API и с чем вам придется столкнуться при выборе API-гейтвея. И все это в контексте личного опыта работы с Gravitee — одним из API-гейтвеев.
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа, расписание и билеты здесь - https://bx.vc/7a1ih8
⠀
📋 https://bx.vc/5pyfgl
⠀
Виктор расскажет:
⠀
- API management — что это такое и с чем его едят.
- Зачем это, вообще, надо.
- Публичные API.
- Обзор решений для API management.
- Свой опыт с Gravitee GW — чего оно умеет, и какие проблемы помогло решить.
⠀
🔸Мнение Программного комитета о докладе: докладчик расскажет, как и зачем управлять API, осветит основные задачи и проблемы менеджмента API и с чем вам придется столкнуться при выборе API-гейтвея. И все это в контексте личного опыта работы с Gravitee — одним из API-гейтвеев.
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа, расписание и билеты здесь - https://bx.vc/7a1ih8
🔥1
Про высокопроизводительный промышленный сервис для компьютерного зрения на Python расскажут Григорий Алексеенко и Максим Купрашевич
📋 https://bx.vc/5mirrt
Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.
Узнаем, как они решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.
- Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением
- Обзор существующих решений: DALI & Triton, Cython, Julia, С++ etc.
- Разрешение критических боттлнеков в проде и случайное ускорение тренировок
- Результаты
Встречаемся на HighLoad++ 2022 🙌
✅ Программа конференции и расписание здесь - https://bx.vc/r6w0ms
📋 https://bx.vc/5mirrt
Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.
Узнаем, как они решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.
- Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением
- Обзор существующих решений: DALI & Triton, Cython, Julia, С++ etc.
- Разрешение критических боттлнеков в проде и случайное ускорение тренировок
- Результаты
Встречаемся на HighLoad++ 2022 🙌
✅ Программа конференции и расписание здесь - https://bx.vc/r6w0ms
Антон Агеев расскажет о программировании дронов — современной цифровой агрономии
⠀
📋 https://bx.vc/cridup
⠀
Сельское хозяйство стало отраслью с интенсивным потоком данных. Информация формируется из потоков от различных устройств. Обработанные данные от различных участников производственной цепочки, собранные в одном месте, позволяют получать информацию нового качества, находить закономерности т.д. и на их основе принимать оптимальные решения, минимизирующие риски, улучшающие бизнес производителей и клиентский опыт.
⠀
Понимая устройство сельскохозяйственных дронов и общие принципы их работы, можно лучше понять существующий уровень цифровизации отрасли. Рассмотрим виды дронов, принципы их работы и управления.
⠀
Рассмотрим фреймворки для создания программного обеспечения дронов и системы имитационного моделирования. Познакомимся с автопилотами и применяемыми датчиками дронов.
⠀
✅ Программа секции "Агротех" - https://bx.vc/mmob14
⠀
🙌 До встречи 24 и 25 ноября на HighLoad++ 2022
⠀
📋 https://bx.vc/cridup
⠀
Сельское хозяйство стало отраслью с интенсивным потоком данных. Информация формируется из потоков от различных устройств. Обработанные данные от различных участников производственной цепочки, собранные в одном месте, позволяют получать информацию нового качества, находить закономерности т.д. и на их основе принимать оптимальные решения, минимизирующие риски, улучшающие бизнес производителей и клиентский опыт.
⠀
Понимая устройство сельскохозяйственных дронов и общие принципы их работы, можно лучше понять существующий уровень цифровизации отрасли. Рассмотрим виды дронов, принципы их работы и управления.
⠀
Рассмотрим фреймворки для создания программного обеспечения дронов и системы имитационного моделирования. Познакомимся с автопилотами и применяемыми датчиками дронов.
⠀
✅ Программа секции "Агротех" - https://bx.vc/mmob14
⠀
🙌 До встречи 24 и 25 ноября на HighLoad++ 2022
Про облачную платформу "Виртуальный Агроном" для управления всеми процессами на вертикальных фермах узнаем из доклада Сергея Березина
📋 https://bx.vc/0yk7qk
Сергей расскажет об архитектуре успешно применяемой облачной платформы "Виртуальный Агроном". Вертикальные фермы, подключенные к платформе, обеспечивают полностью контролируемую среду выращивания с контролем действий персонала и возможностью дальнейшего перехода к роботизированным фермам.
Синергия данных с множества ферм, подключенных к единой облачной платформе, и экспертных знаний, полученных в результате многолетних исследований, позволяет контролировать и оптимизировать процессы на фермах в реальном времени.
Модульность архитектуры позволяет собирать фермы с разной проектной производительностью для различных сельскохозяйственных культур из стандартных блоков. Формализация процессов на фермах обеспечивает высокую точность прогнозирования продуктивности.
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022
✅Программа секции "Агротех" https://bx.vc/1gq02j
📋 https://bx.vc/0yk7qk
Сергей расскажет об архитектуре успешно применяемой облачной платформы "Виртуальный Агроном". Вертикальные фермы, подключенные к платформе, обеспечивают полностью контролируемую среду выращивания с контролем действий персонала и возможностью дальнейшего перехода к роботизированным фермам.
Синергия данных с множества ферм, подключенных к единой облачной платформе, и экспертных знаний, полученных в результате многолетних исследований, позволяет контролировать и оптимизировать процессы на фермах в реальном времени.
Модульность архитектуры позволяет собирать фермы с разной проектной производительностью для различных сельскохозяйственных культур из стандартных блоков. Формализация процессов на фермах обеспечивает высокую точность прогнозирования продуктивности.
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022
✅Программа секции "Агротех" https://bx.vc/1gq02j
Асинхронный транспорт Cassandra обсудим с Вадимом Цесько в рамках Яндекс трека
⠀
📋 https://bx.vc/a96em9
Они используют и активно развивают собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, они реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и т.д. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в их системах повсеместно.
Рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила им существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства их решения, поговорим про различные оптимизации, возникшие по пути проблемы, переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.
✅ Программа Яндекс трека - https://bx.vc/dyzwnt
⠀
До встречи HighLoad++ 2022 🙌
⠀
📋 https://bx.vc/a96em9
Они используют и активно развивают собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, они реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и т.д. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в их системах повсеместно.
Рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила им существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства их решения, поговорим про различные оптимизации, возникшие по пути проблемы, переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.
✅ Программа Яндекс трека - https://bx.vc/dyzwnt
⠀
До встречи HighLoad++ 2022 🙌
О балансировке нагрузки в мульти-эксабайтном сторадже расскажет Вадим Зотеев, старший разработчик в Cторадже Яндекса
⠀
📋 https://bx.vc/w1trgj
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа Яндекс трека - https://bx.vc/k8rfov
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
📋 https://bx.vc/w1trgj
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа Яндекс трека - https://bx.vc/k8rfov
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐
Архитектура рисуется с обратной стороны! Тема доклада Антона Жбанкова
⠀
📋 https://bx.vc/dfuqmt
⠀
Абсолютное большинство проектов, что видел Антон, начинаются с некоторых технических требований, зачастую взятых с потолка, потому что заказчик так сказал или просто с потолка.
⠀
Это подход не инженерный, а крафтовый или, если хотите, ремесленно-художественный.
Хороший технический проект неразрывен и решает бизнес-задачи. Ну какие технические требования вы ждете от заказчика? Если заказчик в состоянии правильно сформулировать тех. требования, то и проектирование он тоже в состоянии сделать.
Поэтому любой хороший проект начинается с формулирования бизнес-требований и бизнес-критериев, а документ "Технические требования" разрабатывается на их основе.
Что же за требования и критерии эти бизнесовые?
До скорой встречи на HighLoad++ 2022. Если вы пока не присоединились к нам, у вас еще есть возможность это сделать 😉
✅ Посмотреть программу конференции, расписание и купить билеты можно на сайте - https://bx.vc/w4d6lp
⠀
📋 https://bx.vc/dfuqmt
⠀
Абсолютное большинство проектов, что видел Антон, начинаются с некоторых технических требований, зачастую взятых с потолка, потому что заказчик так сказал или просто с потолка.
⠀
Это подход не инженерный, а крафтовый или, если хотите, ремесленно-художественный.
Хороший технический проект неразрывен и решает бизнес-задачи. Ну какие технические требования вы ждете от заказчика? Если заказчик в состоянии правильно сформулировать тех. требования, то и проектирование он тоже в состоянии сделать.
Поэтому любой хороший проект начинается с формулирования бизнес-требований и бизнес-критериев, а документ "Технические требования" разрабатывается на их основе.
Что же за требования и критерии эти бизнесовые?
До скорой встречи на HighLoad++ 2022. Если вы пока не присоединились к нам, у вас еще есть возможность это сделать 😉
✅ Посмотреть программу конференции, расписание и купить билеты можно на сайте - https://bx.vc/w4d6lp
Root cause analysis monitoring обсудим с Баселем Дарвишем
📋 https://bx.vc/tnxhs4
Базы данных, очереди, приложения на Spring и много чего еще, и все это в тысячах экземпляров — чем сложнее инфраструктура, тем выше вероятность возникновения ошибок. Своевременно исправлять ошибки — одна из главных задач провайдера облачных сервисов или владельца собственной крупной инфраструктуры.
Узнаем, как они используют графы в задачах мониторинга и observability, как Root Cause Analysis в мониторинге помогает командам эксплуатации.
Как и многие другие вендоры ПО, 1С давно предлагает свои продукты в облачном варианте. Это, в первую очередь, их облачные сервисы 1С: ГРМ (Готовое Рабочее Место) и 1cFresh.
Предоставление облачных сервисов требует наличия соответствующей инфраструктуры — прежде всего серверов, на которых размещаются виртуальные машины с приложениями, и софта, управляющего физическими и виртуальными машинами.
Встречаемся 24 и 25 ноября 🖐
✅ Программа конференции и расписание здесь - https://bx.vc/p1rsid
📋 https://bx.vc/tnxhs4
Базы данных, очереди, приложения на Spring и много чего еще, и все это в тысячах экземпляров — чем сложнее инфраструктура, тем выше вероятность возникновения ошибок. Своевременно исправлять ошибки — одна из главных задач провайдера облачных сервисов или владельца собственной крупной инфраструктуры.
Узнаем, как они используют графы в задачах мониторинга и observability, как Root Cause Analysis в мониторинге помогает командам эксплуатации.
Как и многие другие вендоры ПО, 1С давно предлагает свои продукты в облачном варианте. Это, в первую очередь, их облачные сервисы 1С: ГРМ (Готовое Рабочее Место) и 1cFresh.
Предоставление облачных сервисов требует наличия соответствующей инфраструктуры — прежде всего серверов, на которых размещаются виртуальные машины с приложениями, и софта, управляющего физическими и виртуальными машинами.
Встречаемся 24 и 25 ноября 🖐
✅ Программа конференции и расписание здесь - https://bx.vc/p1rsid
👍3🔥2
Агротех: долго, дорого и очень сложно. Как создавать продукты для агроотрасли расскажет Евгений Багрянцев в рамках секции «Агротех»
⠀
📋 https://bx.vc/kd74gp
⠀
Агротех — одно из самых перспективных направлений в РФ и мире.
Создавать продукты для агротеха долго и сложно.
Евгений поделится их опытом создания прорывного решения с CV и беспилотниками для агротеха.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа секции «Агротех» здесь - https://bx.vc/a0hp9u
⠀
📋 https://bx.vc/kd74gp
⠀
Агротех — одно из самых перспективных направлений в РФ и мире.
Создавать продукты для агротеха долго и сложно.
Евгений поделится их опытом создания прорывного решения с CV и беспилотниками для агротеха.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа секции «Агротех» здесь - https://bx.vc/a0hp9u
Про самый большой в РФ проект в области птицеводства по сбору информации с датчиков интернета вещей и другие интересные кейсы для сельского хозяйства расскажет Денис Муравьев
⠀
📋 https://bx.vc/sbp2ke
⠀
Обсудим:
- краткий обзор беспроводных технологий передачи информации, их место и задачи в мире IoT;
- особенности технологий LPWAN беспроводной передачи данных;
- почему так сложно сделать умные вещи и подключить их к интернету;
- зачем они написали свою платформу интернета вещей и чем им не угодили готовые платформы;
- как профили устройств упрощают сопровождение;
- как они внедряли IoT в 52 регионах России для мониторинга птичников;
- зачем мониторить показатели температуры и влажности воздуха в птичниках и на складах;
- использование датчиков сухих контактов для мониторинга работы автоматики;
- как датчики интернета вещей позволяют снизить себестоимость продукции и сэкономить на поддержке.
И другое
До скорой встречи на HighLoad++ 2022 🙌
✅ Программа секции "Агротех" - https://bx.vc/78tnht
⠀
📋 https://bx.vc/sbp2ke
⠀
Обсудим:
- краткий обзор беспроводных технологий передачи информации, их место и задачи в мире IoT;
- особенности технологий LPWAN беспроводной передачи данных;
- почему так сложно сделать умные вещи и подключить их к интернету;
- зачем они написали свою платформу интернета вещей и чем им не угодили готовые платформы;
- как профили устройств упрощают сопровождение;
- как они внедряли IoT в 52 регионах России для мониторинга птичников;
- зачем мониторить показатели температуры и влажности воздуха в птичниках и на складах;
- использование датчиков сухих контактов для мониторинга работы автоматики;
- как датчики интернета вещей позволяют снизить себестоимость продукции и сэкономить на поддержке.
И другое
До скорой встречи на HighLoad++ 2022 🙌
✅ Программа секции "Агротех" - https://bx.vc/78tnht
👍2
Об интеграции PHP-проекта с 1С расскажет Пётр Мязин
⠀
📋 https://bx.vc/e4pr2h
⠀
Знали ли вы, что в платформе 1С есть встроенное REST API по стандарту OData? А оно есть!
⠀
Без единой строчки кода на 1С можно:
- читать или записывать практически любые данные в 1С,
- создавать документы из PHP-приложения (например, выставлять счета клиенту).
⠀
Добавив немного кода на 1С, получаем:
- 1С как headless-систему с готовой бизнес-логикой,
- 1С как сервис для формирования PDF- и Excel-документов по заранее заданным шаблонам,
- 1С как сервис по отправке юридически значимых электронных документов (в итоге проще, чем писать это с нуля на PHP).
⠀
Как вы поняли, они пишут документооборот на PHP (Laravel) в компании, где активно используется 1С. Петр с радостью поделится их опытом интеграции 1C в PHP-приложение.
⠀
Ждем вас 24 и 25 ноября 🙌
⠀
✅ Программа конференции и расписание здесь - https://bx.vc/y3ybr5
⠀
📋 https://bx.vc/e4pr2h
⠀
Знали ли вы, что в платформе 1С есть встроенное REST API по стандарту OData? А оно есть!
⠀
Без единой строчки кода на 1С можно:
- читать или записывать практически любые данные в 1С,
- создавать документы из PHP-приложения (например, выставлять счета клиенту).
⠀
Добавив немного кода на 1С, получаем:
- 1С как headless-систему с готовой бизнес-логикой,
- 1С как сервис для формирования PDF- и Excel-документов по заранее заданным шаблонам,
- 1С как сервис по отправке юридически значимых электронных документов (в итоге проще, чем писать это с нуля на PHP).
⠀
Как вы поняли, они пишут документооборот на PHP (Laravel) в компании, где активно используется 1С. Петр с радостью поделится их опытом интеграции 1C в PHP-приложение.
⠀
Ждем вас 24 и 25 ноября 🙌
⠀
✅ Программа конференции и расписание здесь - https://bx.vc/y3ybr5
👍2
О хранилище для Почты расскажет Виктор Могилин
⠀
📋 https://bx.vc/vdgjrm
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.
⠀
Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/bldbbo
⠀
📋 https://bx.vc/vdgjrm
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.
⠀
Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/bldbbo
👍1
Илья Орлов расскажет про укрощение мифического чудовища: реальный опыт промышленного использования ScyllaDB без прикрас
⠀
📋 https://bx.vc/lkw3pi
⠀
"Кассандра - прошлый век", - говорили они, - "Переходите на Сциллу". Написана на плюсах, быстрая, надежная, с шардированием из коробки. Как тут удержаться и не попробовать? Тем более в условиях, когда вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Всё-таки хочется иметь под рукой пару-тройку запасных вариантов.
⠀
Решились! Нашли время, ресурсы и провели исследование одноглазого монстрика в диких условиях кровавого энтерпрайза. Что из этого вышло — опыт, лайфхаки и выводы о целесообразности использования Сциллы — в докладе Ильи.
⠀
Спойлер: зверушка у них прижилась 😁
⠀
Доклад будет интересен: разработчикам, техлидам и архитекторам высоконагруженных систем, интересующимся NoSQL БД.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа Яндекс трека - https://bx.vc/7dsj07
⠀
📋 https://bx.vc/lkw3pi
⠀
"Кассандра - прошлый век", - говорили они, - "Переходите на Сциллу". Написана на плюсах, быстрая, надежная, с шардированием из коробки. Как тут удержаться и не попробовать? Тем более в условиях, когда вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Всё-таки хочется иметь под рукой пару-тройку запасных вариантов.
⠀
Решились! Нашли время, ресурсы и провели исследование одноглазого монстрика в диких условиях кровавого энтерпрайза. Что из этого вышло — опыт, лайфхаки и выводы о целесообразности использования Сциллы — в докладе Ильи.
⠀
Спойлер: зверушка у них прижилась 😁
⠀
Доклад будет интересен: разработчикам, техлидам и архитекторам высоконагруженных систем, интересующимся NoSQL БД.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа Яндекс трека - https://bx.vc/7dsj07
В Enterprise, где разработка (Dev) завелась относительно недавно, балом правит безопасность (SEC) и отказоустойчивость (OPS). Если небольшой онлайн-сервис может позволить себе «прилечь» на полдня из-за сбоя или атаки, то для крупного банка или цифровой платформы промышленного предприятия, отвечающей за технологический процесс, это будет означать огромные потери. Поэтому разработку и вывод новых сервисов нужно делать с большой оглядкой на непрерывность и безопасность эксплуатации.
⠀
В «Инфосистемы Джет» специализируются на создании, эксплуатации и защите высоконагруженных систем, умеют выстраивать процессы DevOps, инфраструктуру под микросервисные приложения on-premise, в частном или гибридном облаке. Встраивают в процесс разработки информационную безопасность.
⠀
Приглашаем на секцию «DevOps в Enterprise». На ней вы узнаете, как подойти к DevOps в крупном бизнесе и насколько он ужасен – этот Enterprise.
⠀
✅ Программа секции «DevOps в Enterprise» здесь - https://bx.vc/2cr1i4
⠀
В «Инфосистемы Джет» специализируются на создании, эксплуатации и защите высоконагруженных систем, умеют выстраивать процессы DevOps, инфраструктуру под микросервисные приложения on-premise, в частном или гибридном облаке. Встраивают в процесс разработки информационную безопасность.
⠀
Приглашаем на секцию «DevOps в Enterprise». На ней вы узнаете, как подойти к DevOps в крупном бизнесе и насколько он ужасен – этот Enterprise.
⠀
✅ Программа секции «DevOps в Enterprise» здесь - https://bx.vc/2cr1i4
Из-за того, что некоторые компании ушли из России, встал вопрос замены их решений. Но оказалось, что импортозамещение «в лоб» не работает! Замена компонентов «один в один» замедляет развитие бизнес-доработок и не даёт никаких преимуществ, нагружая бюджет компании.
⠀
Как решать возникшие проблемы, расскажет Евгений Лукин из СберТеха. Это интересный опыт, который будет полезен любому бизнесу. Смотрим, как банк с миллионами клиентов заменил корпоративную шину иностранного вендора и построил собственную cloud-native децентрализованную интеграционную платформу, и с какими вызовами они столкнулись в процессе.
⠀
⤵️
⠀
https://bx.vc/f9g3z2
⠀
Как решать возникшие проблемы, расскажет Евгений Лукин из СберТеха. Это интересный опыт, который будет полезен любому бизнесу. Смотрим, как банк с миллионами клиентов заменил корпоративную шину иностранного вендора и построил собственную cloud-native децентрализованную интеграционную платформу, и с какими вызовами они столкнулись в процессе.
⠀
⤵️
⠀
https://bx.vc/f9g3z2
Хабр
Как мы меняли шину данных, а создали интеграционную платформу
Привет, Хабр! Меня зовут Евгений Лукин, я работаю в СберТехе и занимаюсь развитием интеграционных продуктов. Сегодня поговорим об импортозамещении в банке с миллионами клиентов. Это интересный опыт,...
👍1
Побег из Шоушенка в мире сетей – тема доклада Александра Попова
⠀
📋 https://bx.vc/2y1sco
⠀
На сегодняшний день облака — объективная реальность. Кто-то их использует как потребитель, а кто-то разрабатывает их. Но и тем и другим будет полезным погружение в их устройство.
⠀
- Как достучаться до API, если сетевого доступа нет?
- Как работают изолированные виртуальные сети в облаках, и чем они отличаются от железных?
- Как можно нарушить эту изоляцию и не сделать огромную дыру в безопасности?
⠀
Александр расскажет о том, как вывести трафик из изолированных сетей, построенных на базе Neutron Openstack, без большого штата разработки, без заливания железом, без нагоняев от службы ИБ.
⠀
До скорой встречи на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и расписание на сайте - https://bx.vc/b3d3ne
⠀
📋 https://bx.vc/2y1sco
⠀
На сегодняшний день облака — объективная реальность. Кто-то их использует как потребитель, а кто-то разрабатывает их. Но и тем и другим будет полезным погружение в их устройство.
⠀
- Как достучаться до API, если сетевого доступа нет?
- Как работают изолированные виртуальные сети в облаках, и чем они отличаются от железных?
- Как можно нарушить эту изоляцию и не сделать огромную дыру в безопасности?
⠀
Александр расскажет о том, как вывести трафик из изолированных сетей, построенных на базе Neutron Openstack, без большого штата разработки, без заливания железом, без нагоняев от службы ИБ.
⠀
До скорой встречи на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и расписание на сайте - https://bx.vc/b3d3ne
Из доклада Ильи Колокутского узнаем, как они переписывали бизнес-логику высоконагруженного приложения на PLPG/SQL
⠀
📋 https://bx.vc/3petac
⠀
Не нужно рассказывать о том, насколько хороша СУБД Oracle и сколько задач решается с ее помощью. Однако, тема использования альтернативных СУБД сегодня становится все более актуальной.
⠀
Сотни хранимых процедур с кучей бизнес-логики, десятки терабайт данных, высокая связность с другими системами — разве могут быть варианты, кроме Oracle?
⠀
Да, конечно! Этот доклад — о проекте миграции систем промышленных масштабов с Oracle на отечественную СУБД PostgresPro.
⠀
Замена СУБД непростая задача — нужно заменить фундамент, но так, чтобы не рухнули стены. В этом докладе Илья расскажет о том, как переносили бизнес-логику из Oracle PL/SQL на PLPG/SQL на примере системы, которой пользуются граждане всей страны.
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
✅ Программа Яндекс трека - https://bx.vc/vxx1kj
⠀
📋 https://bx.vc/3petac
⠀
Не нужно рассказывать о том, насколько хороша СУБД Oracle и сколько задач решается с ее помощью. Однако, тема использования альтернативных СУБД сегодня становится все более актуальной.
⠀
Сотни хранимых процедур с кучей бизнес-логики, десятки терабайт данных, высокая связность с другими системами — разве могут быть варианты, кроме Oracle?
⠀
Да, конечно! Этот доклад — о проекте миграции систем промышленных масштабов с Oracle на отечественную СУБД PostgresPro.
⠀
Замена СУБД непростая задача — нужно заменить фундамент, но так, чтобы не рухнули стены. В этом докладе Илья расскажет о том, как переносили бизнес-логику из Oracle PL/SQL на PLPG/SQL на примере системы, которой пользуются граждане всей страны.
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
✅ Программа Яндекс трека - https://bx.vc/vxx1kj
Как перейти от batch к streaming на примере рекламной контент-системы расскажет Егор Хайруллин
⠀
📋 https://bx.vc/34meir
⠀
Узнаем про их переход из batch в streaming. Предпосылками для перехода были следующие факты:
⠀
- Быстрый учет изменений и событий продуктово важен. В том числе виден на экспериментах в ключевых метриках (отдельные ускорения могут давать до нескольких процентов денег/конверсий).
- Дальнейшее ускорение требовало экспоненциального роста потребляемого CPU (десятки тысяч ядер), либо упиралось в ограничения MapReduce-модели.
- Сложность поддержки большого количества железных машин (~1000 хостов) и самописных систем синхронизации
⠀
Сегодня их контент-система обрабатывает миллионы событий и изменений в секунду, а суммарный размер стейтов со всеми репликами занимает несколько петабайт.
⠀
Егор расскажет о получившейся архитектуре обработки и хранения данных, какие проблемы им пришлось решить в процессе.
⠀
До встречи на HighLoad++ 2022 🖐
✅ Программа Яндекс трека - https://bx.vc/ecgota
⠀
📋 https://bx.vc/34meir
⠀
Узнаем про их переход из batch в streaming. Предпосылками для перехода были следующие факты:
⠀
- Быстрый учет изменений и событий продуктово важен. В том числе виден на экспериментах в ключевых метриках (отдельные ускорения могут давать до нескольких процентов денег/конверсий).
- Дальнейшее ускорение требовало экспоненциального роста потребляемого CPU (десятки тысяч ядер), либо упиралось в ограничения MapReduce-модели.
- Сложность поддержки большого количества железных машин (~1000 хостов) и самописных систем синхронизации
⠀
Сегодня их контент-система обрабатывает миллионы событий и изменений в секунду, а суммарный размер стейтов со всеми репликами занимает несколько петабайт.
⠀
Егор расскажет о получившейся архитектуре обработки и хранения данных, какие проблемы им пришлось решить в процессе.
⠀
До встречи на HighLoad++ 2022 🖐
✅ Программа Яндекс трека - https://bx.vc/ecgota