Legacy to platform: как устроена масштабнейшая программа трансформации Сбербанк Онлайн? Узнаем из доклада Артема Арюткина
📋 https://bx.vc/zkvn46
Перед командой Артема стояла задача перевести монолит на микросервисную платформу, при этом у них было:
• Legacy-монолит, которому более 10 лет
• 250 коман
• 18 трайбов,
• 72 млн. активных пользователей
• требования к надежности 99.99
• отсутствие видимых простоев для пользователя
Артем расскажет, как не оказаться в ситуации, когда 60% проекта завершено, а нагрузка на legacy продолжает расти, какие метрики для проекта выбрать на старте и какие ошибки были допущены в проекте.
Целевая аудитория доклада: менеджеры проектов/продуктов, тех-лиды, тим-лиды
📍Ждем вас 24 и 25 ноября в Москве, Крокус-Экспо 3, зал 20
✅ Программа конференции и билеты здесь - https://bx.vc/r9k6vz
📋 https://bx.vc/zkvn46
Перед командой Артема стояла задача перевести монолит на микросервисную платформу, при этом у них было:
• Legacy-монолит, которому более 10 лет
• 250 коман
• 18 трайбов,
• 72 млн. активных пользователей
• требования к надежности 99.99
• отсутствие видимых простоев для пользователя
Артем расскажет, как не оказаться в ситуации, когда 60% проекта завершено, а нагрузка на legacy продолжает расти, какие метрики для проекта выбрать на старте и какие ошибки были допущены в проекте.
Целевая аудитория доклада: менеджеры проектов/продуктов, тех-лиды, тим-лиды
📍Ждем вас 24 и 25 ноября в Москве, Крокус-Экспо 3, зал 20
✅ Программа конференции и билеты здесь - https://bx.vc/r9k6vz
👍1
VML — нет времени объяснять, создавай виртуалку! Такая тема доклада у Алексея Шабалина на HighLoad++ 2022
⠀
📋 https://bx.vc/3gr1rr
VML — это инструмент для простой и прозрачной работы с виртуальными машинами qemu. VML может инициализировать образы с помощью cloud-init. Виртуальные машины с ALT, Arch Linux, Centos, Debian, Fedora, openSUSE и Ubuntu можно создать всего одной командой.
Изначально VML разрабатывался для тестирования облачных образов, но потом оказался полезен и при решении других задач. Одна из основных фич - древовидность. Практически все команды можно запустить сразу на группу виртуалок. Запустить новую виртуальную машину почти так же просто, как сказать: "Я люблю Linux" - нужно всего 3 слова...
Целевая аудитория доклада: разработчики, тестировщики, DevOps.
Встречаемся 24 и 25 ноября в Москве или онлайн по всему миру 🙌
✅ Программа конференции и билеты здесь - https://bx.vc/r1fnrt
⠀
📋 https://bx.vc/3gr1rr
VML — это инструмент для простой и прозрачной работы с виртуальными машинами qemu. VML может инициализировать образы с помощью cloud-init. Виртуальные машины с ALT, Arch Linux, Centos, Debian, Fedora, openSUSE и Ubuntu можно создать всего одной командой.
Изначально VML разрабатывался для тестирования облачных образов, но потом оказался полезен и при решении других задач. Одна из основных фич - древовидность. Практически все команды можно запустить сразу на группу виртуалок. Запустить новую виртуальную машину почти так же просто, как сказать: "Я люблю Linux" - нужно всего 3 слова...
Целевая аудитория доклада: разработчики, тестировщики, DevOps.
Встречаемся 24 и 25 ноября в Москве или онлайн по всему миру 🙌
✅ Программа конференции и билеты здесь - https://bx.vc/r1fnrt
Часто из-за обилия задач на стадии разработки забывают про менеджмент секретов. Задача их хранения уходит на второй план, но через некоторое время всплывает с целой кучей проблем.
⠀
➡️ PHP и Golang Developer Сергей Киммель поделится опытом своей команды и расскажет, как организовать секреты и код так, чтобы работа с ними была более простой и безопасной. О том, как не завязываться на конкретного вендора, и что стоит учитывать при работе с секретами в сервисах с высокой нагрузкой. Ну, и, конечно, несколько ляпов из своего реального опыта, на которых можно поучиться и сделать выводы.
⠀
⬇️
⠀
https://bx.vc/20w2pm
⠀
➡️ PHP и Golang Developer Сергей Киммель поделится опытом своей команды и расскажет, как организовать секреты и код так, чтобы работа с ними была более простой и безопасной. О том, как не завязываться на конкретного вендора, и что стоит учитывать при работе с секретами в сервисах с высокой нагрузкой. Ну, и, конечно, несколько ляпов из своего реального опыта, на которых можно поучиться и сделать выводы.
⠀
⬇️
⠀
https://bx.vc/20w2pm
Хабр
Как работать с секретами в Golang, чтобы минимизировать хаос
Над менеджментом секретов нужно задумываться с самого начала работы над проектом. Кто-то может со мной не согласиться, ведь на стадии разработки возникает куча первостепенных задач, и проблема...
Всем привет!
⠀
🗓 У нас готово предварительное расписание конференции HighLoad++
➡️ https://bx.vc/0kf2sn
(в расписании возможны изменения)
⠀
Планируйте свое участие и до встречи 24 и 25 ноября в Москве 🙌
⠀
🗓 У нас готово предварительное расписание конференции HighLoad++
➡️ https://bx.vc/0kf2sn
(в расписании возможны изменения)
⠀
Планируйте свое участие и до встречи 24 и 25 ноября в Москве 🙌
K8s Security на разных уровнях абстракции обсудим с Александром Сунгуровым
⠀
📋 https://bx.vc/dpiw2m
⠀
▫️Рассмотрим подходы к выстраиванию безопасности K8S с использованием opensource в высоконагруженных кластерах.
▫️Поговорим про обеспечение безопасности K8S в облачных средах.
▫️Узнаем, как безопасно развернуть платежную инфраструктуру в кластере.
▫️Коснемся вопросов 0-trust внутри K8S.
▫️Погрузимся в IaaC и GitOps с точки зрения обеспечения безопасности k8s.
▫️Оценим 0-touch prod с позитивных и негативных сторон.
▫️Разберем применение Opensource Runtime Security
Целевая аудитория доклада: DevOps, Admins, SRE, Infrastructure Security, Application Security, Developers
✅ Программа HighLoad++ 2022 и билеты здесь – https://bx.vc/neysug
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
⠀
📋 https://bx.vc/dpiw2m
⠀
▫️Рассмотрим подходы к выстраиванию безопасности K8S с использованием opensource в высоконагруженных кластерах.
▫️Поговорим про обеспечение безопасности K8S в облачных средах.
▫️Узнаем, как безопасно развернуть платежную инфраструктуру в кластере.
▫️Коснемся вопросов 0-trust внутри K8S.
▫️Погрузимся в IaaC и GitOps с точки зрения обеспечения безопасности k8s.
▫️Оценим 0-touch prod с позитивных и негативных сторон.
▫️Разберем применение Opensource Runtime Security
Целевая аудитория доклада: DevOps, Admins, SRE, Infrastructure Security, Application Security, Developers
✅ Программа HighLoad++ 2022 и билеты здесь – https://bx.vc/neysug
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
Из доклада Евгения Ермакова и Леонида Кожинова узнаем про миграцию в облачный "Modern Data Stack": выбирай, страдай, люби
⠀
📋 https://bx.vc/6vhpcr
⠀
В рамках этого доклада мы пройдем все стадии работы Евгения и Леонида с Modern Data Stack - выбирай, страдай, люби - и затронем следующие вопросы:
⠀
- что такое современная платформа данных и на каких китах она держится?
- как не утонуть в мире Modern Data Stack решений?
- какие подводные камни интеграции разных систем вас ожидают?
- какие инструменты (из тех, что они попробовали) “must have”, а что можно пробовать заменить?
- как изменилась (и изменилась ли) работа аналитиков?
- что стоит, а что не стоит повторять, если вы пойдете по той же дорожке?
⠀
Доклад будет интересен широкому кругу слушателей, которые работают с данными: аналитикам данных, инженерам данным, архитекторам хранилищ, CDO
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/itcxar
⠀
📋 https://bx.vc/6vhpcr
⠀
В рамках этого доклада мы пройдем все стадии работы Евгения и Леонида с Modern Data Stack - выбирай, страдай, люби - и затронем следующие вопросы:
⠀
- что такое современная платформа данных и на каких китах она держится?
- как не утонуть в мире Modern Data Stack решений?
- какие подводные камни интеграции разных систем вас ожидают?
- какие инструменты (из тех, что они попробовали) “must have”, а что можно пробовать заменить?
- как изменилась (и изменилась ли) работа аналитиков?
- что стоит, а что не стоит повторять, если вы пойдете по той же дорожке?
⠀
Доклад будет интересен широкому кругу слушателей, которые работают с данными: аналитикам данных, инженерам данным, архитекторам хранилищ, CDO
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/itcxar
👍1
Как собрать огромный датасет (и не потратить годовой бюджет маленькой страны)? Расскажут Александр Капитанов и Карина Кванчиани
⠀
📋 https://bx.vc/7kdjlt
⠀
Узнаем, как собрать и качественно разметить большие объемы данных для задачи компьютерного зрения на примере датасета жестов. В докладе пойдет речь о выстраивании автоматизированного пайплайна в 4 шага: сбор данных - валидация - разметка - обучение нейронных сетей.
⠀
Александр и Карина расскажут основные лайфхаки по работе с краудсорсинг-платформами, как снизить общую стоимость проекта и повысить качество финальной разметки. Результаты работы доступны как open-source проект.
⠀
Целевая аудитория: датасаентисты, ML и Data-инженеры.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/cf1xlv
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 ✋
⠀
📋 https://bx.vc/7kdjlt
⠀
Узнаем, как собрать и качественно разметить большие объемы данных для задачи компьютерного зрения на примере датасета жестов. В докладе пойдет речь о выстраивании автоматизированного пайплайна в 4 шага: сбор данных - валидация - разметка - обучение нейронных сетей.
⠀
Александр и Карина расскажут основные лайфхаки по работе с краудсорсинг-платформами, как снизить общую стоимость проекта и повысить качество финальной разметки. Результаты работы доступны как open-source проект.
⠀
Целевая аудитория: датасаентисты, ML и Data-инженеры.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/cf1xlv
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 ✋
💥 Друзья, в этом году в рамках конференции HighLoad++ также пройдет крупнейшая конференция по PHP в России, в программе которой вас ждет:
⠀
▪️20+ докладов от лучших спикеров вселенной PHP
▪️самые актуальные тематики сезона, среди которых: реальный опыт и лучшие практики, внутренности РНР, архитектура и масштабируемость, асинхронные приложения и параллельная обработка, OpenSource и другое
⠀
И конечно опыт реализации крупных проектов на PHP, общение с единомышленниками и море идей для вдохновения
⠀
Ждем вас 24 и 25 ноября в Москве на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z4rqdt
⠀
▪️20+ докладов от лучших спикеров вселенной PHP
▪️самые актуальные тематики сезона, среди которых: реальный опыт и лучшие практики, внутренности РНР, архитектура и масштабируемость, асинхронные приложения и параллельная обработка, OpenSource и другое
⠀
И конечно опыт реализации крупных проектов на PHP, общение с единомышленниками и море идей для вдохновения
⠀
Ждем вас 24 и 25 ноября в Москве на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z4rqdt
👍2
Почти все продуктовые и технические решения ВКонтакте принимаются на основе метрик. StatsHouse: метрики ВКонтакте – обсудим с Григорием Петросяном
⠀
📋 https://bx.vc/csfzgj
⠀
ВКонтакте живет метриками. Все запуски происходят с оглядкой на метрики – в реальном времени, во время запуска. ВКонтакте пишет 200 миллионов метрик каждую секунду. И все эти метрики ВКонтакте пишет в свою внутреннюю систему, StatsHouse. Григорий расскажет про технические и архитектурные решения, которые принципиально отличают StatsHouse от существующих Open Source решений – в том числе его уникальную Бесконечную® Масштабируемость™. И еще – сделает пока секретный анонс.
⠀
Целевая аудитория: программисты, системные администраторы, аналитики, менеджеры, CTO - все те, кто каждый день пользуется метриками в своей работе.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/9s2yuh
⠀
📋 https://bx.vc/csfzgj
⠀
ВКонтакте живет метриками. Все запуски происходят с оглядкой на метрики – в реальном времени, во время запуска. ВКонтакте пишет 200 миллионов метрик каждую секунду. И все эти метрики ВКонтакте пишет в свою внутреннюю систему, StatsHouse. Григорий расскажет про технические и архитектурные решения, которые принципиально отличают StatsHouse от существующих Open Source решений – в том числе его уникальную Бесконечную® Масштабируемость™. И еще – сделает пока секретный анонс.
⠀
Целевая аудитория: программисты, системные администраторы, аналитики, менеджеры, CTO - все те, кто каждый день пользуется метриками в своей работе.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/9s2yuh
🔥4
Как организовать поиск в стартапе, который планирует вырасти до масштабов ВКонтакте? Узнаем из доклада Богдана Гаркушина
⠀
📋 https://bx.vc/m6ewh3
⠀
Когда проект, в котором есть поиск, растет и развивается, растут и требования к поиску. Его нужно менять вместе с усложнением задач.
⠀
В докладе мы вместе с вами попробуем спроектировать архитектуру поисковой системы. Начнем с самой простой, которая позволит быстрее запуститься, и по шагам будем растить проект и вместе с ним модифицировать архитектуру поиска. Ближе к концу доклада дорастем до размеров ВКонтакте и подробно рассмотрим их текущую архитектуру поиска, ежедневно выполняющую поисковые задачи 20 млн пользователей, задающих 250 млн поисковых запросов в день.
⠀
В заключение посмотрим на то, какие есть еще варианты построения архитектуры поиска для нужд крупных проектов, их плюсы и минусы.
⠀
Целевая аудитория: разработчики любых проектов, в которых нужен поиск.
⠀
✋ До встречи на HighLoad++ 2022
⠀
✅ Программа конференции и билеты здесь https://bx.vc/1eifui
⠀
📋 https://bx.vc/m6ewh3
⠀
Когда проект, в котором есть поиск, растет и развивается, растут и требования к поиску. Его нужно менять вместе с усложнением задач.
⠀
В докладе мы вместе с вами попробуем спроектировать архитектуру поисковой системы. Начнем с самой простой, которая позволит быстрее запуститься, и по шагам будем растить проект и вместе с ним модифицировать архитектуру поиска. Ближе к концу доклада дорастем до размеров ВКонтакте и подробно рассмотрим их текущую архитектуру поиска, ежедневно выполняющую поисковые задачи 20 млн пользователей, задающих 250 млн поисковых запросов в день.
⠀
В заключение посмотрим на то, какие есть еще варианты построения архитектуры поиска для нужд крупных проектов, их плюсы и минусы.
⠀
Целевая аудитория: разработчики любых проектов, в которых нужен поиск.
⠀
✋ До встречи на HighLoad++ 2022
⠀
✅ Программа конференции и билеты здесь https://bx.vc/1eifui
👍1
Как работает MVCC в in-memory СУБД? Расскажет Александр Ляпунов, он работает в Tarantool-подразделении VK, разрабатывают СУБД Tarantool.
⠀
📋 https://bx.vc/0w0ttu
⠀
Один из ключевых механизмов любой СУБД - это возможность предоставить согласованное состояние данных в базе - "снимка" или "снапшота". Этот механизм используется в первую очередь для организации изоляции транзакций: каждая транзакция видит свою версию состояния базы данных. В сочетании с другими механизмами это порождает технологию MVCC, когда транзакции независимо и одновременно видят каждая свое собственное состояние БД и работают в нем.
⠀
В этом докладе Александр на примере in-memory СУБД Tarantool в памяти расскажет, как устроены снимки данных и MVCC, как и почему эволюционировали эти алгоритмы, во что обходится поддержание этих структур пользователю, как правильно использовать и что ожидать от этих механизмов.
⠀
✋ Ждем вас 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z7wliy
⠀
📋 https://bx.vc/0w0ttu
⠀
Один из ключевых механизмов любой СУБД - это возможность предоставить согласованное состояние данных в базе - "снимка" или "снапшота". Этот механизм используется в первую очередь для организации изоляции транзакций: каждая транзакция видит свою версию состояния базы данных. В сочетании с другими механизмами это порождает технологию MVCC, когда транзакции независимо и одновременно видят каждая свое собственное состояние БД и работают в нем.
⠀
В этом докладе Александр на примере in-memory СУБД Tarantool в памяти расскажет, как устроены снимки данных и MVCC, как и почему эволюционировали эти алгоритмы, во что обходится поддержание этих структур пользователю, как правильно использовать и что ожидать от этих механизмов.
⠀
✋ Ждем вас 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z7wliy
👍2
Объединение DevOps, SRE, Dev, QA в единый DevOps процесс в банке – тема доклада Алексея Шарапова
📋 https://bx.vc/h1r7t4
Существует мнение, что DevOps работает только в формате небольшой компании и масштабировать очень сложно, и вообще это не применимо к крупным энтерпрайз организациям или необходимо сразу создавать DevOps отдел.
В ходе доклада Алексей хочет раскрыть данную тему и поделиться положительным опытом, на темы:
- как они выстроили работу DevOps, SRE, дежурной application службы без создания DevOps отдела
- как в эту схему вписали Dev и Qa, какую роль они играют
- как масштабировать данную систему при количестве инженеров 50+ и 150+ команд
- как быстро можно расти в данной схеме и не стать винтиком системы
- как проводить онбординг, стажировку
- как учитывать пожелания инженеров и облегчить найм
🖐️ Встречаемся 24 и 25 ноября на HighLoad++ 2022.
✅ Подробно о конференции, расписание и билеты на сайте - https://bx.vc/rwssyx
📋 https://bx.vc/h1r7t4
Существует мнение, что DevOps работает только в формате небольшой компании и масштабировать очень сложно, и вообще это не применимо к крупным энтерпрайз организациям или необходимо сразу создавать DevOps отдел.
В ходе доклада Алексей хочет раскрыть данную тему и поделиться положительным опытом, на темы:
- как они выстроили работу DevOps, SRE, дежурной application службы без создания DevOps отдела
- как в эту схему вписали Dev и Qa, какую роль они играют
- как масштабировать данную систему при количестве инженеров 50+ и 150+ команд
- как быстро можно расти в данной схеме и не стать винтиком системы
- как проводить онбординг, стажировку
- как учитывать пожелания инженеров и облегчить найм
🖐️ Встречаемся 24 и 25 ноября на HighLoad++ 2022.
✅ Подробно о конференции, расписание и билеты на сайте - https://bx.vc/rwssyx
👍1
Про мониторинг черных ящиков и котов в мешке через eBPF поговорим с Петром Бобровым
⠀
📋 https://bx.vc/8tm1ce
⠀
ПО сторонних производителей сложно мониторить из-за отсутствия удобного API, интерфейсов, а также из-за лицензионных ограничений. На помощь приходит eBPF — современная подсистема в ядре Linux, позволяющая вставлять ваши вызовы в любой пользовательский код и некоторые системные функции ядра. Теперь задачу мониторинга может решить даже менеджер, у которого 'лапки'.
⠀
Целевая аудитория: администраторы прикладных систем, ИТ-менеджеры.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/yi71ya
⠀
📋 https://bx.vc/8tm1ce
⠀
ПО сторонних производителей сложно мониторить из-за отсутствия удобного API, интерфейсов, а также из-за лицензионных ограничений. На помощь приходит eBPF — современная подсистема в ядре Linux, позволяющая вставлять ваши вызовы в любой пользовательский код и некоторые системные функции ядра. Теперь задачу мониторинга может решить даже менеджер, у которого 'лапки'.
⠀
Целевая аудитория: администраторы прикладных систем, ИТ-менеджеры.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/yi71ya
👍2
H264 жив – тема доклада Ивана Емельянова
⠀
📋 https://bx.vc/6gl4er
⠀
Видео — основная часть трафика в интернете, для Дзена важно уметь контролировать его рост, ограничивать сверху.
⠀
Иван расскажет про механизмы экономии трафика, которые они реализовали. Для этого пришлось применять такие подходы:
⠀
- подобрать набор оптимальных пресетов для видео;
- уметь быстро категоризировать видео в один из пресетов;
- не ухудшить визуальное качество.
⠀
Целевая аудитория: разработчики видеоплатформ, онлайн-кинотеатров. Разработчики видеокодеков и работающие в сфере обработки видео.
⠀
✋ Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2022.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/et47z3
⠀
📋 https://bx.vc/6gl4er
⠀
Видео — основная часть трафика в интернете, для Дзена важно уметь контролировать его рост, ограничивать сверху.
⠀
Иван расскажет про механизмы экономии трафика, которые они реализовали. Для этого пришлось применять такие подходы:
⠀
- подобрать набор оптимальных пресетов для видео;
- уметь быстро категоризировать видео в один из пресетов;
- не ухудшить визуальное качество.
⠀
Целевая аудитория: разработчики видеоплатформ, онлайн-кинотеатров. Разработчики видеокодеков и работающие в сфере обработки видео.
⠀
✋ Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2022.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/et47z3
🔥4👍1
С Дмитрием Евдокимовым поговорим про сочетание несочетаемого в Kubernetes: удобство, производительность, безопасность
⠀
📋 https://bx.vc/znhstq
⠀
В докладе Дмитрий хочет развенчать миф что из 3-х качеств (удобство, производительность, безопасность) одновременно можно выбрать только 2. И все это благодаря новым решениям, подходам, инструментам, которые дружно уживаются и дополняют друг друга в Kubernetes! Поговорим об immutable infrastructure, специализированных Container-Optimized OS, минималистичных образах для микросервисов и многом другом.
⠀
Целевая аудитория: 1) Dev 2) Ops 3) Sec 4) И их комбинации 😉
⠀
📍Встречаемся 24 и 25 ноября на HighLoad++ 2022, Москва, Крокус-Экспо 3, зал 20.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/81nxqs
⠀
📋 https://bx.vc/znhstq
⠀
В докладе Дмитрий хочет развенчать миф что из 3-х качеств (удобство, производительность, безопасность) одновременно можно выбрать только 2. И все это благодаря новым решениям, подходам, инструментам, которые дружно уживаются и дополняют друг друга в Kubernetes! Поговорим об immutable infrastructure, специализированных Container-Optimized OS, минималистичных образах для микросервисов и многом другом.
⠀
Целевая аудитория: 1) Dev 2) Ops 3) Sec 4) И их комбинации 😉
⠀
📍Встречаемся 24 и 25 ноября на HighLoad++ 2022, Москва, Крокус-Экспо 3, зал 20.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/81nxqs
👍2🔥2
Как доставать цены и наличия со всего интернета и доставлять их за минуту до рантайма Поиска по Товарам? Расскажет Илья Кучумов
⠀
📋 https://bx.vc/foezfz
⠀
Недавно Яндекс запустил Поиск по Товарам https://yandex.ru/products. Он позволяет находить актуальные предложения по магазинам со всего интернета. Как с больших маркетплейсов: Ozon, Wildberries, Яндекс Маркет, так и с небольших магазинов размером десятки-сотни товаров, которые невозможно найти без поиска.
⠀
Узнаем:
⠀
- Как устроен парсинг необходимых данных из DOM-дерева при помощи Catboost модели и легких нейронок
- Как сделать парсинг еще быстрее при помощи похостового кеширования результатов
- Как устроена потоковая архитектура парсинга на базе контент системы Яндекс робота
и другое
⠀
Доклад будет построен вокруг практического кейса запуска Поиска по Товарам.
⠀
✋ До встречи 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pv9nxp
⠀
📋 https://bx.vc/foezfz
⠀
Недавно Яндекс запустил Поиск по Товарам https://yandex.ru/products. Он позволяет находить актуальные предложения по магазинам со всего интернета. Как с больших маркетплейсов: Ozon, Wildberries, Яндекс Маркет, так и с небольших магазинов размером десятки-сотни товаров, которые невозможно найти без поиска.
⠀
Узнаем:
⠀
- Как устроен парсинг необходимых данных из DOM-дерева при помощи Catboost модели и легких нейронок
- Как сделать парсинг еще быстрее при помощи похостового кеширования результатов
- Как устроена потоковая архитектура парсинга на базе контент системы Яндекс робота
и другое
⠀
Доклад будет построен вокруг практического кейса запуска Поиска по Товарам.
⠀
✋ До встречи 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pv9nxp
AP и CP: пытаемся усидеть на двух стульях и боремся с последствиями – тема доклада Сергея Петренко
⠀
📋 https://bx.vc/ipx3e9
⠀
Алгоритм Raft является классическим примером CP – обеспечивает линеаризуемость в случае разделения сети, но это в определенных случаях приводит к временной потере доступности и на запись, и на чтение до восстановления связности.
⠀
Да, на бумаге всё хорошо. Берём нечётное количество узлов и наслаждаемся работоспособностью кластера и консистентностью данных до тех пор, пока большая часть узлов работает. Однако, эта схема использования идёт вразрез с самой популярной схемой установки БД: равное число узлов в двух ЦОДах. Для Raft это значит, что потеря одного ЦОДа сразу приведёт к недоступности кластера на запись.
⠀
Узнаем о методах, которые применили Сергей с командой, чтобы обнаруживать расхождения и обеспечивать консистентность данных после периода работы в разделенной сети.
⠀
До встречи на HighLoad++ 2022 ✋
⠀
✅ Подробная программа конференции и билеты на сайте - https://bx.vc/ujbfko
⠀
📋 https://bx.vc/ipx3e9
⠀
Алгоритм Raft является классическим примером CP – обеспечивает линеаризуемость в случае разделения сети, но это в определенных случаях приводит к временной потере доступности и на запись, и на чтение до восстановления связности.
⠀
Да, на бумаге всё хорошо. Берём нечётное количество узлов и наслаждаемся работоспособностью кластера и консистентностью данных до тех пор, пока большая часть узлов работает. Однако, эта схема использования идёт вразрез с самой популярной схемой установки БД: равное число узлов в двух ЦОДах. Для Raft это значит, что потеря одного ЦОДа сразу приведёт к недоступности кластера на запись.
⠀
Узнаем о методах, которые применили Сергей с командой, чтобы обнаруживать расхождения и обеспечивать консистентность данных после периода работы в разделенной сети.
⠀
До встречи на HighLoad++ 2022 ✋
⠀
✅ Подробная программа конференции и билеты на сайте - https://bx.vc/ujbfko
Всем привет! Начинаем пятницу с полезного. Делимся с вами видеозаписями докладов HighLoad++ 2021 из секции «Архитектура, масштабируемость», которые набрали наибольшее количество просмотров. Берите на заметку, делитесь с коллегами 😉
⠀
1) Как правильно выбирать очередь. Владимир Перепелица (Mail.Ru Group) https://bx.vc/9row39
⠀
2) Микросервисы с нуля. Семен Катаев (Авито) https://bx.vc/c9winm
⠀
3) Python и Ruby под нагрузкой: самый низкий уровень. Григорий Петров (Evrone) https://bx.vc/7p5btg
⠀
4) API Gateway: пустая трата сил или полезный инструмент? Василий Сошников (Quantil Inc.) https://bx.vc/77nilm
⠀
5) Отказоустойчивое Такси, или Как мы строим надежный сервис. Максим Педченко (Яндекс.Go) https://bx.vc/xw84ue
⠀
Отличных выходных и продуктивных идей после просмотра 🙌
⠀
1) Как правильно выбирать очередь. Владимир Перепелица (Mail.Ru Group) https://bx.vc/9row39
⠀
2) Микросервисы с нуля. Семен Катаев (Авито) https://bx.vc/c9winm
⠀
3) Python и Ruby под нагрузкой: самый низкий уровень. Григорий Петров (Evrone) https://bx.vc/7p5btg
⠀
4) API Gateway: пустая трата сил или полезный инструмент? Василий Сошников (Quantil Inc.) https://bx.vc/77nilm
⠀
5) Отказоустойчивое Такси, или Как мы строим надежный сервис. Максим Педченко (Яндекс.Go) https://bx.vc/xw84ue
⠀
Отличных выходных и продуктивных идей после просмотра 🙌
👍3
Илья Устинов расскажет доклад на тему: Bare metal k8s или туда и обратно. История Quadcode
⠀
📋 https://bx.vc/8mwe4x
⠀
В докладе мы проследим эволюцию технических аспектов и процессов вокруг их кластеров и предпосылки тех или иных решений. Узнаем, к каким факапам привёл выбор Kubespray, почему команда Ильи сталкивалась со сменой подхода к управлению инфраструктурой каждые два года, и как они решают эту проблему. На цифрах посмотрим, сколько в разное время занимали процессы по раскатке кластера с нуля, добавлению нод, апгрейду версий кластера. И, конечно, поговорим о планах развития, а также о плюсах и минусах разных подходов по сопровождению вашей инфраструктуры под K8S.
⠀
Целевая аудитория: DevOps-инженеры и системные администраторы, которые пользуются opensource/самописными решениями для сопровождения baremetal k8s или задумываются о его внедрении.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве ✋
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/iby5d2
⠀
📋 https://bx.vc/8mwe4x
⠀
В докладе мы проследим эволюцию технических аспектов и процессов вокруг их кластеров и предпосылки тех или иных решений. Узнаем, к каким факапам привёл выбор Kubespray, почему команда Ильи сталкивалась со сменой подхода к управлению инфраструктурой каждые два года, и как они решают эту проблему. На цифрах посмотрим, сколько в разное время занимали процессы по раскатке кластера с нуля, добавлению нод, апгрейду версий кластера. И, конечно, поговорим о планах развития, а также о плюсах и минусах разных подходов по сопровождению вашей инфраструктуры под K8S.
⠀
Целевая аудитория: DevOps-инженеры и системные администраторы, которые пользуются opensource/самописными решениями для сопровождения baremetal k8s или задумываются о его внедрении.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве ✋
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/iby5d2
👍1
О трансформации подхода к хранению и синхронизации писем поговорим с Андреем Колесниковым
⠀
📋 https://bx.vc/xwspew
⠀
Компания МойОфис разрабатывает сразу несколько почтовых решений и имеет большой опыт работы на российском рынке. Андрей отвечает за внедрение продуктов компании и хочет поделиться опытом, накопленным за последние 5 лет.
⠀
На примере продуктов МойОфис он расскажет об эволюции почтовых решений в компании. В частности, проиллюстрирует, как менялись, развивались их подходы к хранению и синхронизации данных. Путь от Dovecot dsync, OpenStack Swift до GlusterFS и DOS, собственного объектного хранилища. Не оставим без внимания проблемы, с которыми они сталкиваются на практике и пути их решения.
⠀
Целевая аудитория: системные администраторы, системные инженеры, DevOps-инженеры, системные архитекторы, системные аналитики, менеджеры ИТ-проектов, ИТ-директора.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 ✋
⠀
✅ Посмотреть программу конференции и купить билет можно на сайте - https://bx.vc/v58rqo
⠀
📋 https://bx.vc/xwspew
⠀
Компания МойОфис разрабатывает сразу несколько почтовых решений и имеет большой опыт работы на российском рынке. Андрей отвечает за внедрение продуктов компании и хочет поделиться опытом, накопленным за последние 5 лет.
⠀
На примере продуктов МойОфис он расскажет об эволюции почтовых решений в компании. В частности, проиллюстрирует, как менялись, развивались их подходы к хранению и синхронизации данных. Путь от Dovecot dsync, OpenStack Swift до GlusterFS и DOS, собственного объектного хранилища. Не оставим без внимания проблемы, с которыми они сталкиваются на практике и пути их решения.
⠀
Целевая аудитория: системные администраторы, системные инженеры, DevOps-инженеры, системные архитекторы, системные аналитики, менеджеры ИТ-проектов, ИТ-директора.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 ✋
⠀
✅ Посмотреть программу конференции и купить билет можно на сайте - https://bx.vc/v58rqo