Привет друзья!
На конференции HighLoad++ Сергей Козлов из «Лаборатории Касперского» расскажет, как автоматизировать разбор проблем в дебаггере.
📋 https://clck.ru/gk4DH
Сергей покажет подходы к автоматизации разбора проблем на примере библиотечки скриптов. Она предназначена для использования c WinDBG и с GDB и помогает в автоматизации ряда рутинных задач, возникающих при анализе причин падения программ как при отладке вживую, так и при работе с дампами памяти.
Проведем лайвкодинг-демонстрацию нескольких скриптов в отладчике, в частности:
* поиск исключений, произошедших в потоке ранее (Win);
* вывод стеков 32-битного приложения для 64-битного kernel-mode дампа (Win);
* поиск потребителей большого количества памяти:
- анализ с AppVerifier'ом
- анализ без AppVerifier'а (GDB)
* что делать, если упали в boost::coroutine (GDB).
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте - https://clck.ru/gk4FZ
На конференции HighLoad++ Сергей Козлов из «Лаборатории Касперского» расскажет, как автоматизировать разбор проблем в дебаггере.
📋 https://clck.ru/gk4DH
Сергей покажет подходы к автоматизации разбора проблем на примере библиотечки скриптов. Она предназначена для использования c WinDBG и с GDB и помогает в автоматизации ряда рутинных задач, возникающих при анализе причин падения программ как при отладке вживую, так и при работе с дампами памяти.
Проведем лайвкодинг-демонстрацию нескольких скриптов в отладчике, в частности:
* поиск исключений, произошедших в потоке ранее (Win);
* вывод стеков 32-битного приложения для 64-битного kernel-mode дампа (Win);
* поиск потребителей большого количества памяти:
- анализ с AppVerifier'ом
- анализ без AppVerifier'а (GDB)
* что делать, если упали в boost::coroutine (GDB).
✅ Ждем вас на HighLoad++ 13 и 14 мая в Москве. Подробное расписание и билеты на сайте - https://clck.ru/gk4FZ
🔥2👍1
Привет, друзья!
Одним из спикеров HighLoad++ будет Артем Селезнев, он расскажет про свой опыт разработки платформы для экспериментов в компании Магнит.
📋 https://clck.ru/gmBeC
В Магните еженедельно запускаются эксперименты для улучшения клиентской активности. Каждый эксперимент создается определенным запросом на выделение клиентов, сегментацию по разным типам и способам коммуникации, разделение на контрольные и целевые группы. После запуска необходимо найти инсайды, построить аналитики и дать ответ об успехе или провале эксперимента. На каждый эксперимент создается огромное количество ad-hoc-запросов, и ваша команда начинает сгорать. Как это можно было решить?
Разработчики подумали сделать для себя сервис, который будет отвечать на поставленные вопросы, используя клиентские данные, а над самими клиентами проводить сегментирования и разные тестирования. Благодаря этому решению появилась Client as Service-платформа, предоставляющая покупателей для экспериментов, находящая инсайды в данных и тестирующая результаты.
Client As Service — это проект, который помогает подготовить миллионы пользователей к экспериментам. Проект, который использует статистику покупателей, чтобы найти бизнес-инсайды и помогает составить ответ на каждый запрос.
В своем докладе Артем рассмотрит:
* какие проблемы в себе скрывает стратификация пользователей, и какие инсайды можно получить уже в стратификации;
* возможно ли найти одинаковых покупателей для A/B-тестов в ритейле;
* как до эксперимента определить будущую выгоду;
* почему на каждом этапе они считают CLTV и почему это важно;
* как они встроили в систему оценку при помощи вейвлетов и получили лучшие результаты;
* что необходимо реализовать, чтобы ваши клиенты стали сервисом.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gmCje
Одним из спикеров HighLoad++ будет Артем Селезнев, он расскажет про свой опыт разработки платформы для экспериментов в компании Магнит.
📋 https://clck.ru/gmBeC
В Магните еженедельно запускаются эксперименты для улучшения клиентской активности. Каждый эксперимент создается определенным запросом на выделение клиентов, сегментацию по разным типам и способам коммуникации, разделение на контрольные и целевые группы. После запуска необходимо найти инсайды, построить аналитики и дать ответ об успехе или провале эксперимента. На каждый эксперимент создается огромное количество ad-hoc-запросов, и ваша команда начинает сгорать. Как это можно было решить?
Разработчики подумали сделать для себя сервис, который будет отвечать на поставленные вопросы, используя клиентские данные, а над самими клиентами проводить сегментирования и разные тестирования. Благодаря этому решению появилась Client as Service-платформа, предоставляющая покупателей для экспериментов, находящая инсайды в данных и тестирующая результаты.
Client As Service — это проект, который помогает подготовить миллионы пользователей к экспериментам. Проект, который использует статистику покупателей, чтобы найти бизнес-инсайды и помогает составить ответ на каждый запрос.
В своем докладе Артем рассмотрит:
* какие проблемы в себе скрывает стратификация пользователей, и какие инсайды можно получить уже в стратификации;
* возможно ли найти одинаковых покупателей для A/B-тестов в ритейле;
* как до эксперимента определить будущую выгоду;
* почему на каждом этапе они считают CLTV и почему это важно;
* как они встроили в систему оценку при помощи вейвлетов и получили лучшие результаты;
* что необходимо реализовать, чтобы ваши клиенты стали сервисом.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gmCje
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍4
Всем привет!
Из доклада Виталия Филиппова узнаем про архитектуру Vitastor и темную сторону распределенной СХД.
📋 https://clck.ru/gmLMW
Vitastor — это быстрый «Ceph-заменитель». Распределённая блочная программная система хранения данных (SDS), способная, в отличие от большинства других систем, нормально работать с быстрыми твердотельными накопителями, и при этом, в отличие от большинства других систем, имеющая симметричную распределённую архитектуру без единой точки отказа.
В этом докладе Виталий остановится на технической стороне. Тёмной, архитектурной технической стороне.
Что такое «симметричная распределённая архитектура»? Как конкретно обеспечивается консистентность? Как реализованы снапшоты и клоны? Зачем нужен io_uring? Как Vitastor использует RDMA? Что ещё за монитор на node.js и откуда там LP-солвер (утилита решения задач линейного программирования)?
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо! Подробное расписание и билеты на сайте – https://clck.ru/gmLUm
Из доклада Виталия Филиппова узнаем про архитектуру Vitastor и темную сторону распределенной СХД.
📋 https://clck.ru/gmLMW
Vitastor — это быстрый «Ceph-заменитель». Распределённая блочная программная система хранения данных (SDS), способная, в отличие от большинства других систем, нормально работать с быстрыми твердотельными накопителями, и при этом, в отличие от большинства других систем, имеющая симметричную распределённую архитектуру без единой точки отказа.
В этом докладе Виталий остановится на технической стороне. Тёмной, архитектурной технической стороне.
Что такое «симметричная распределённая архитектура»? Как конкретно обеспечивается консистентность? Как реализованы снапшоты и клоны? Зачем нужен io_uring? Как Vitastor использует RDMA? Что ещё за монитор на node.js и откуда там LP-солвер (утилита решения задач линейного программирования)?
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо! Подробное расписание и билеты на сайте – https://clck.ru/gmLUm
👍6👎1
Всем привет!
Нагрузочное тестирование — это долго и дорого, и это проблема. Почему так? Узнаем на выступлении Кирилла Юркова из компании Самокат.
📋 https://clck.ru/gojM3
Бизнесы растут, нагрузки растут, а вот подходы к нагрузочному тестированию почти не развиваются. И проблема не только в людях, но и в самих подходах.
Типичная ситуация: умеем в продуктовую разработку, пока что не очень умеем в нагрузочное тестирование, давайте тогда работу с нагрузкой строить по принципам продуктовой команды. Наймём в каждую команду по нагрузочнику (если сможем), вместе с разработчиками и тестировщиками они все будут T-shaped, в едином продуктовом контексте помогать друг другу.
Вот только такой подход имеет обратную сторону: если команд и продуктов несколько, то каждый нагрузочник будет “вариться в собственном соку”. С ростом числа команд во весь рост встанут проблемы шаринга знаний между юнитами и найма новых нагрузочников. А еще это дорого.
В своем докладе Кирилл расскажет об их опыте в Самокате — как они строят PerfOps-команду. Расскажет о концепции, подходе к её реализации, инструментарии и процессе внедрения сервисной модели для нагрузочного тестирования.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gojRX
Нагрузочное тестирование — это долго и дорого, и это проблема. Почему так? Узнаем на выступлении Кирилла Юркова из компании Самокат.
📋 https://clck.ru/gojM3
Бизнесы растут, нагрузки растут, а вот подходы к нагрузочному тестированию почти не развиваются. И проблема не только в людях, но и в самих подходах.
Типичная ситуация: умеем в продуктовую разработку, пока что не очень умеем в нагрузочное тестирование, давайте тогда работу с нагрузкой строить по принципам продуктовой команды. Наймём в каждую команду по нагрузочнику (если сможем), вместе с разработчиками и тестировщиками они все будут T-shaped, в едином продуктовом контексте помогать друг другу.
Вот только такой подход имеет обратную сторону: если команд и продуктов несколько, то каждый нагрузочник будет “вариться в собственном соку”. С ростом числа команд во весь рост встанут проблемы шаринга знаний между юнитами и найма новых нагрузочников. А еще это дорого.
В своем докладе Кирилл расскажет об их опыте в Самокате — как они строят PerfOps-команду. Расскажет о концепции, подходе к её реализации, инструментарии и процессе внедрения сервисной модели для нагрузочного тестирования.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gojRX
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
👍6
Всем привет!
Про видеоаналитику на взрывоопасном заводе площадью в 700 футбольных полей расскажет Вадим Щемелинин из СИБУР Диджитал
📋 https://clck.ru/gozT4
Три года назад перед командой разработчиков поставили цель: все видеокамеры в нефтехимическом холдинге СИБУР должны выводиться на экран операторам только тогда, когда в зоне их видимости "что-то идёт не так". За это время они не раз посетили заводы, изучили производственные процессы, разработали и внедрили систему, которая покрыла 70% камер.
В докладе Вадим расскажет про сложности, с которыми сталкивались Python-разработчики, внедряя машинное зрение в индустрии. Заводов в холдинге много, они большие, очень разные, и на них постоянно происходят различные изменения. Поэтому вызовов перед командой разработки стояло много.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gozXA
Про видеоаналитику на взрывоопасном заводе площадью в 700 футбольных полей расскажет Вадим Щемелинин из СИБУР Диджитал
📋 https://clck.ru/gozT4
Три года назад перед командой разработчиков поставили цель: все видеокамеры в нефтехимическом холдинге СИБУР должны выводиться на экран операторам только тогда, когда в зоне их видимости "что-то идёт не так". За это время они не раз посетили заводы, изучили производственные процессы, разработали и внедрили систему, которая покрыла 70% камер.
В докладе Вадим расскажет про сложности, с которыми сталкивались Python-разработчики, внедряя машинное зрение в индустрии. Заводов в холдинге много, они большие, очень разные, и на них постоянно происходят различные изменения. Поэтому вызовов перед командой разработки стояло много.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gozXA
Друзья! Напоминаем вам, что мы добавили в программу HighLoad++ Foundation целый набор новых антикризисных секций. Например, секция по Безопасности.
👉🏻Об информационной безопасности для небольших IT-компаний расскажет Алексей Бабенко (Мир Plat.Form) в докладе "От 0 до 90%. Повышаем безопасность за пару дней": https://highload.ru/foundation/2022/abstracts/9021.
Алексей расскажет о том, как буквально за несколько дней поднять уровень безопасности с «никогда не занимались» до «в целом неплохо». Никаких стандартов и огромных списков требований — только самое важное с практическими рекомендациями и примерами.
👉🏻О закладках в opensource расскажет Алексей Смирнов (profiscope.io) в докладе "Безопасность цепочки поставки Open Source-компонентов": https://highload.ru/foundation/2022/abstracts/9019.
Яркими примерами уязвимостей последних лет были уязвимости log4shell, spring4shell, node-ipc и другие. К этому добавляются атаки на Software Supply Chain Management, такие как Dependency Confusion и Typosquatting. Кроме того, :surprise:, не обходится и без человеческого фактора.
В докладе раскрывается роль композиционного анализа ПО (Software Composition Analysis, SCA) в практиках безопасной разработки с примерами проблем и их решениями.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://bit.ly/3slk9ob
👉🏻Об информационной безопасности для небольших IT-компаний расскажет Алексей Бабенко (Мир Plat.Form) в докладе "От 0 до 90%. Повышаем безопасность за пару дней": https://highload.ru/foundation/2022/abstracts/9021.
Алексей расскажет о том, как буквально за несколько дней поднять уровень безопасности с «никогда не занимались» до «в целом неплохо». Никаких стандартов и огромных списков требований — только самое важное с практическими рекомендациями и примерами.
👉🏻О закладках в opensource расскажет Алексей Смирнов (profiscope.io) в докладе "Безопасность цепочки поставки Open Source-компонентов": https://highload.ru/foundation/2022/abstracts/9019.
Яркими примерами уязвимостей последних лет были уязвимости log4shell, spring4shell, node-ipc и другие. К этому добавляются атаки на Software Supply Chain Management, такие как Dependency Confusion и Typosquatting. Кроме того, :surprise:, не обходится и без человеческого фактора.
В докладе раскрывается роль композиционного анализа ПО (Software Composition Analysis, SCA) в практиках безопасной разработки с примерами проблем и их решениями.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://bit.ly/3slk9ob
highload.ru
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 2022
🔥5👍1
Всем привет!
Как и почему компания Timeweb перевела хостинг на ZFS и отказалась от LVM и DRBD расскажет Алексей Афошин из Timeweb
📋 https://clck.ru/gv3ZJ
Этот доклад может быть интересен тем, кто занимается построением серверной инфраструктуры, планирует делать бэкапы и заботится о бесперебойной работе систем.
* Как выглядела архитектура с LVM и DRBD.
* Что не устроило в существующей архитектуре.
* Как выглядит новая архитектура файловой системы хостинга.
* С какими сложностями столкнулись.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv3Zi
Как и почему компания Timeweb перевела хостинг на ZFS и отказалась от LVM и DRBD расскажет Алексей Афошин из Timeweb
📋 https://clck.ru/gv3ZJ
Этот доклад может быть интересен тем, кто занимается построением серверной инфраструктуры, планирует делать бэкапы и заботится о бесперебойной работе систем.
* Как выглядела архитектура с LVM и DRBD.
* Что не устроило в существующей архитектуре.
* Как выглядит новая архитектура файловой системы хостинга.
* С какими сложностями столкнулись.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv3Zi
👍4
Всем привет!
На выступлении Омара Ганиева узнаем про уязвимости и про DoS
📋 https://clck.ru/gv4qC
Казалось бы, какая связь? (D)DoS-атаки зачастую считаются "тупыми", чего в них интересного? Действительно, многие злодеи ничего в них не понимают и лишь запускают стандартные варианты атак.
Но...
1. Бывают и более хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
2. Можно не останавливаться на достигнутом отказе в обслуживании. Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям.
Омар приведет ряд примеров, как можно обойти защиту или взломать приложение, хитро повалив его.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv4nP
На выступлении Омара Ганиева узнаем про уязвимости и про DoS
📋 https://clck.ru/gv4qC
Казалось бы, какая связь? (D)DoS-атаки зачастую считаются "тупыми", чего в них интересного? Действительно, многие злодеи ничего в них не понимают и лишь запускают стандартные варианты атак.
Но...
1. Бывают и более хитроумные атаки, которые можно придумать, если посмотреть на систему с точки зрения пентестера/хакера. Например, можно найти какой-то интерфейс, который шлёт много запросов к БД, или у него неоптимальный алгоритм, который уводит CPU в полку.
2. Можно не останавливаться на достигнутом отказе в обслуживании. Оказывается, DoS какой-то подсистемы может привести к очень интересным последствиям и уязвимостям.
Омар приведет ряд примеров, как можно обойти защиту или взломать приложение, хитро повалив его.
✅ До встречи на HighLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gv4nP
👍5
Всем привет!
Как регулярно строить все больше ML-пулов на MapReduce, а дежурить все меньше - узнаем на выступлении Сore-разработчиков Яндекса - Иларии Беловой и Никиты Путинцева
📋 https://clck.ru/gvCqk
Изначально их пулы строились набором python-скриптов, запускаемых по cron'у. Когда число таких скриптов перевалило за 100, ситуация вышла из-под контроля. Починка прода стала занимать всё рабочее время, а любая выкатка стала подвигом. Разработчики решили переписать систему, чтоб исправить это, и теперь поделятся опытом.
В докладе они расскажут:
* как организуют разработку новых MR-задач, чтобы не тратить много сил на ревью;
* как тестируют новые задачи, чтобы (почти) не бояться выкатывать их в production;
* как выстраивают дежурство, чтобы не чинить пайплайны все рабочее время.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCrg
Как регулярно строить все больше ML-пулов на MapReduce, а дежурить все меньше - узнаем на выступлении Сore-разработчиков Яндекса - Иларии Беловой и Никиты Путинцева
📋 https://clck.ru/gvCqk
Изначально их пулы строились набором python-скриптов, запускаемых по cron'у. Когда число таких скриптов перевалило за 100, ситуация вышла из-под контроля. Починка прода стала занимать всё рабочее время, а любая выкатка стала подвигом. Разработчики решили переписать систему, чтоб исправить это, и теперь поделятся опытом.
В докладе они расскажут:
* как организуют разработку новых MR-задач, чтобы не тратить много сил на ревью;
* как тестируют новые задачи, чтобы (почти) не бояться выкатывать их в production;
* как выстраивают дежурство, чтобы не чинить пайплайны все рабочее время.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCrg
👍3👎1
Всем привет!
Продолжаем знакомить вас с нашими спикерами. На конференции HighLoad++ выступит Вадим Щемелинин из СИБУР Диджитал. Вадим десять лет в IT. Три года занимается видеоаналитикой в нефтехимии, до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
📋 https://clck.ru/gvCxj
На выступлении он расскажет, что они понимают под Индустрией 4.0 в СИБУРе, где в ней свой написанный код, особенности разработки и внедрения интеллектуальных решений на заводах.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCy3
Продолжаем знакомить вас с нашими спикерами. На конференции HighLoad++ выступит Вадим Щемелинин из СИБУР Диджитал. Вадим десять лет в IT. Три года занимается видеоаналитикой в нефтехимии, до этого была голосовая и лицевая биометрия в различных ролях — тестер, разраб, проджект, тимлид, продакт.
📋 https://clck.ru/gvCxj
На выступлении он расскажет, что они понимают под Индустрией 4.0 в СИБУРе, где в ней свой написанный код, особенности разработки и внедрения интеллектуальных решений на заводах.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvCy3
Всем привет!
Как проектировать максимально безлюдное производство глазами ИТ – расскажут Егор Плечистов, и Федор Подъяблонский из СИБУР Диджитал.
📋 https://clck.ru/gvUtZ
Основные тезисы выступления:
* Целевой ландшафт ИТ-архитектуры.
* Производственный домен.
* Проектирование ИТ-систем производства.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvUtx
Как проектировать максимально безлюдное производство глазами ИТ – расскажут Егор Плечистов, и Федор Подъяблонский из СИБУР Диджитал.
📋 https://clck.ru/gvUtZ
Основные тезисы выступления:
* Целевой ландшафт ИТ-архитектуры.
* Производственный домен.
* Проектирование ИТ-систем производства.
✅ Встречаемся 13 и 14 мая в Москве, в Крокус Экспо!
Купить билет можно на сайте – https://clck.ru/gvUtx
👍1
⚡Новая инфраструктурная парадигма⚡
Мир IT строится (строился) на SaaS-решениях, open source продуктах, облаках и некоторой негласной атмосфере доверия между участниками.
Доверие разрушено, что делать дальше? Какой теперь будет IT-инфраструктура, на каких принципах она будет строиться?
Мы порассуждаем об этом вместе с Василием Сошниковым в докладе "Опыт ИТ в себе": https://highload.ru/foundation/2022/abstracts/8977
Мир IT строится (строился) на SaaS-решениях, open source продуктах, облаках и некоторой негласной атмосфере доверия между участниками.
Доверие разрушено, что делать дальше? Какой теперь будет IT-инфраструктура, на каких принципах она будет строиться?
Мы порассуждаем об этом вместе с Василием Сошниковым в докладе "Опыт ИТ в себе": https://highload.ru/foundation/2022/abstracts/8977
🔥4
Всем привет!
Одним из спикеров HighLoad++ Foundation будет Георгий Енукидзе из Авито. Он расскажет об "Акведуке": open source для быстрого ML в продакшне.
📋 https://clck.ru/gvqkG
В их команде более 40 однотипных ML-микросервисов, и их число постоянно растет. Перед бэкенд-инженерами стоят задачи обеспечения максимального RPS, оптимизации использования железа и централизованного распространения лучших практик и фич между сервисами.
В результате решения этих задач появился фреймворк «Акведук», позволяющий описать пайплайн обработки данных, концентрируясь на его логическом устройстве, а не технических деталях.
В своем докладе Георгий подробно расскажет, как они пришли к идее и усовершенствовали их фреймворк, сравнит с другими известными решениями и даст практические рекомендации по использованию Акведука.
✅ До встречи на HightLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gvqmW
Одним из спикеров HighLoad++ Foundation будет Георгий Енукидзе из Авито. Он расскажет об "Акведуке": open source для быстрого ML в продакшне.
📋 https://clck.ru/gvqkG
В их команде более 40 однотипных ML-микросервисов, и их число постоянно растет. Перед бэкенд-инженерами стоят задачи обеспечения максимального RPS, оптимизации использования железа и централизованного распространения лучших практик и фич между сервисами.
В результате решения этих задач появился фреймворк «Акведук», позволяющий описать пайплайн обработки данных, концентрируясь на его логическом устройстве, а не технических деталях.
В своем докладе Георгий подробно расскажет, как они пришли к идее и усовершенствовали их фреймворк, сравнит с другими известными решениями и даст практические рекомендации по использованию Акведука.
✅ До встречи на HightLoad++ 13 и 14 мая в Москве. Подробная информация и билеты на сайте – https://clck.ru/gvqmW
👍2
Открытая трансляция главного зала!
В этом году благодаря поддержке IT’s Tinkoff любой желающий может присоединиться к бесплатной трансляции главного зала «Терминус».
Здесь будут выступать ключевые спикеры HighLoad++ Foundation, а еще пройдут церемонии открытия и закрытия конференции.
👉🏻Для просмотра нужна только регистрация: https://bit.ly/39akkfd
В этом году благодаря поддержке IT’s Tinkoff любой желающий может присоединиться к бесплатной трансляции главного зала «Терминус».
Здесь будут выступать ключевые спикеры HighLoad++ Foundation, а еще пройдут церемонии открытия и закрытия конференции.
👉🏻Для просмотра нужна только регистрация: https://bit.ly/39akkfd
👍9
Всем привет!
На конференции HighLoad++ выступит Андрей Ильин из Сбербанк. Он расскажет о проксирование данных для Hadoop.
📋 https://clck.ru/gwF7D
Доклад посвящен продуктам, разработанным в SberData, для прозрачного федеративного доступа пользователей к данным в экосистеме Apache Hadoop. Обсудим основные принципы работы компонентов Apache Hadoop: HDFS, Hive и Sentry/Ranger. Андрей расскажет про особенности проксирования данных, метаданных и привилегий.
Андрей затронет основные проблемы разработки и проектирования распределенных систем, расскажет, на какие проблемы стоит обратить внимание, об аспектах безопасности и нюансах использования Kerberos. Обсудит форматы хранения данных в HDFS, в частности, формат Apache Parquet.
В финале обсудит нюансы эксплуатации ПО подобного класса: проведение нагрузочного тестирования, взаимодействие со смежными системами, мониторинг, настройка health check'ов, управление конфигурацией и развертыванием.
✅ Подробная информация и билеты на сайте – https://clck.ru/gwF9x
На конференции HighLoad++ выступит Андрей Ильин из Сбербанк. Он расскажет о проксирование данных для Hadoop.
📋 https://clck.ru/gwF7D
Доклад посвящен продуктам, разработанным в SberData, для прозрачного федеративного доступа пользователей к данным в экосистеме Apache Hadoop. Обсудим основные принципы работы компонентов Apache Hadoop: HDFS, Hive и Sentry/Ranger. Андрей расскажет про особенности проксирования данных, метаданных и привилегий.
Андрей затронет основные проблемы разработки и проектирования распределенных систем, расскажет, на какие проблемы стоит обратить внимание, об аспектах безопасности и нюансах использования Kerberos. Обсудит форматы хранения данных в HDFS, в частности, формат Apache Parquet.
В финале обсудит нюансы эксплуатации ПО подобного класса: проведение нагрузочного тестирования, взаимодействие со смежными системами, мониторинг, настройка health check'ов, управление конфигурацией и развертыванием.
✅ Подробная информация и билеты на сайте – https://clck.ru/gwF9x
👍2