Наша Машина Баз Данных (это как Oracle Exadata, только для PostgreSQL) и система управления к ней – тема доклада Константина Аристова
⠀
📋 https://bx.vc/vtwcfh
⠀
Скала-Р — это производитель ПАК-ов, которые они называют Машинами.
⠀
Одна из их Машин — МБД.П — это как Oracle Exadata, только про PostgreSQL.
Константин расскажет, как устроена их Скала МБД.П, как они пришли к такой конфигурации, каких показателей производительности и надежности удалось добиться.
⠀
А ещё Скалой надо управлять не только инженерам высочайшей квалификации, но и пользователям, и они придумали систему управления для нее — Спектр.
Сначала они хотели делать его как <s>Oracle Enterprise Manager только без глюков и с комьюнити-версией</s>, но потом поняли, что архитектура решения не всегда получается с первого раза и без ошибок.
⠀
В завершение немного расскажет про их опыт импортозамещения и постараемся заглянуть в будущее.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа Яндекс трека - https://bx.vc/o830b7
⠀
📋 https://bx.vc/vtwcfh
⠀
Скала-Р — это производитель ПАК-ов, которые они называют Машинами.
⠀
Одна из их Машин — МБД.П — это как Oracle Exadata, только про PostgreSQL.
Константин расскажет, как устроена их Скала МБД.П, как они пришли к такой конфигурации, каких показателей производительности и надежности удалось добиться.
⠀
А ещё Скалой надо управлять не только инженерам высочайшей квалификации, но и пользователям, и они придумали систему управления для нее — Спектр.
Сначала они хотели делать его как <s>Oracle Enterprise Manager только без глюков и с комьюнити-версией</s>, но потом поняли, что архитектура решения не всегда получается с первого раза и без ошибок.
⠀
В завершение немного расскажет про их опыт импортозамещения и постараемся заглянуть в будущее.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа Яндекс трека - https://bx.vc/o830b7
👍2
Техстратегию и архитектуру highload-проекта на примере ВКонтакте узнаем из доклада Александра Тоболя
📋 https://bx.vc/j2k9w9
В докладе на примере ВКонтакте — проекта с 16-летней историей, 100 млн пользователей в месяц и 8 млн строк кода бизнес-логики — рассмотрим принципы построения техстратегии и методы принятия стратегических решений.
⠀
А также разберём, как техстратегия и архитектура влияют друг на друга и что у них получается в результате:
- как строить техстратегию на несколько лет вперед;
- портерианский и ресурсный подходы к стратегированию;
- требования, которые они предъявляют к архитектуре, и их связь с time2market;
- как эксплуатируют систему с более чем 20 000 серверов;
- какие решения позволяют делать 3,5 тысячи деплоев в год с winrate 97,7%;
- как устроена система сборки, которая позволяет собрать 8 млн строк кода и раскатить на 10 000 серверов за 7 минут;
и многое другое
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ 🙌
✅ Программа конференции и билеты на сайте - https://bx.vc/k19pdo
📋 https://bx.vc/j2k9w9
В докладе на примере ВКонтакте — проекта с 16-летней историей, 100 млн пользователей в месяц и 8 млн строк кода бизнес-логики — рассмотрим принципы построения техстратегии и методы принятия стратегических решений.
⠀
А также разберём, как техстратегия и архитектура влияют друг на друга и что у них получается в результате:
- как строить техстратегию на несколько лет вперед;
- портерианский и ресурсный подходы к стратегированию;
- требования, которые они предъявляют к архитектуре, и их связь с time2market;
- как эксплуатируют систему с более чем 20 000 серверов;
- какие решения позволяют делать 3,5 тысячи деплоев в год с winrate 97,7%;
- как устроена система сборки, которая позволяет собрать 8 млн строк кода и раскатить на 10 000 серверов за 7 минут;
и многое другое
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ 🙌
✅ Программа конференции и билеты на сайте - https://bx.vc/k19pdo
👍2
Александр Салтанов расскажет, как перестать быть стартапом (от текущего CTO будущим CTO)
⠀
📋 https://bx.vc/z1c73v
⠀
Чем занимается человек с должностью "технический директор"?
⠀
В самую последнюю очередь он занимается технологиями, пишет код и изобретает прорывную технологию будущего.
⠀
Ежедневные задачи выглядят примерно так:
⠀
- о людях: как нанимать, как удерживать, как мотивировать и на что;
- о деньгах: на что тратим, почему столько, где купить сервера и почему такие, как потратить меньше;
- о времени: когда мы выпустим продукт П, от кого и как зависят сроки выпуска, что можно не делать, чтобы продукт появился, а время на него не потратилось;
- о клиентах: чего они хотят и зачем, почему у них ничего не работает и как это починить. И т.д.
⠀
Когда команда выросла с 5 человек до 50, появляются процессы. Их много, но один главный: процесс разработки продукта от идеи до выпуска.
⠀
Ждем вас на HighLoad++ 2022 в Москве 🙌
⠀
✅ Расписание конференции и билеты на сайте - https://bx.vc/hvriot
⠀
📋 https://bx.vc/z1c73v
⠀
Чем занимается человек с должностью "технический директор"?
⠀
В самую последнюю очередь он занимается технологиями, пишет код и изобретает прорывную технологию будущего.
⠀
Ежедневные задачи выглядят примерно так:
⠀
- о людях: как нанимать, как удерживать, как мотивировать и на что;
- о деньгах: на что тратим, почему столько, где купить сервера и почему такие, как потратить меньше;
- о времени: когда мы выпустим продукт П, от кого и как зависят сроки выпуска, что можно не делать, чтобы продукт появился, а время на него не потратилось;
- о клиентах: чего они хотят и зачем, почему у них ничего не работает и как это починить. И т.д.
⠀
Когда команда выросла с 5 человек до 50, появляются процессы. Их много, но один главный: процесс разработки продукта от идеи до выпуска.
⠀
Ждем вас на HighLoad++ 2022 в Москве 🙌
⠀
✅ Расписание конференции и билеты на сайте - https://bx.vc/hvriot
👍1
РоссельхозБанк — один из крупнейших банков в России. Команда стремится не только системно развивать российский агропромышленный сектор и сельские территории, но и создавать уникальный пользовательский опыт для своих клиентов.
⠀
Фокус РоссельхозБанка — цифровые технологии, ИИ и Big Data. Они стремятся развивать фермерское движение и раскрывать потенциал фермерских территорий.
⠀
В секции 'Агротех' узнаем, какие технологии помогают двигать сельское хозяйство вперед. Поговорим о том, как дроны стали неотъемлемой частью современной агрономии, как уживаются IOT и птицеводство, а также посмотрим решения для управления всеми процессами вертикальных ферм.
⠀
Приходите и вы точно посмотрите на технологии по-новому!
✅ Программа секции "Агротех" - https://bx.vc/btlwv2
⠀
Фокус РоссельхозБанка — цифровые технологии, ИИ и Big Data. Они стремятся развивать фермерское движение и раскрывать потенциал фермерских территорий.
⠀
В секции 'Агротех' узнаем, какие технологии помогают двигать сельское хозяйство вперед. Поговорим о том, как дроны стали неотъемлемой частью современной агрономии, как уживаются IOT и птицеводство, а также посмотрим решения для управления всеми процессами вертикальных ферм.
⠀
Приходите и вы точно посмотрите на технологии по-новому!
✅ Программа секции "Агротех" - https://bx.vc/btlwv2
Вам кажется, что ваше резюме неидеально? И правильно кажется! Ревью резюме получим на митапе с Екатериной Фирсовой, Григорием Богдановым и Ильясом Салиховым
⠀
📋 https://bx.vc/g88lfz
⠀
Вам не у кого спросить совета, карьерные консультанты не разбираются в разработке, а диванные эксперты — в HR? Спросите тех, кто разбирается.
⠀
HR и техлиды, которые на подборе «собаку съели», соберутся вместе, чтобы честно разобрать ваши резюме и рассказать, как их улучшить. Фидбэк, который обычно не получить.
⠀
Чтобы поучаствовать, присылайте ваши анонимные резюме на почту [email protected].
Им не нужны ваши ФИО, контакты или названия компаний!
⠀
До встречи 24 и 25 ноября в Москве 🖐
⠀
✅ Программа конференции, расписание и билеты здесь - https://bx.vc/mjgd57
⠀
📋 https://bx.vc/g88lfz
⠀
Вам не у кого спросить совета, карьерные консультанты не разбираются в разработке, а диванные эксперты — в HR? Спросите тех, кто разбирается.
⠀
HR и техлиды, которые на подборе «собаку съели», соберутся вместе, чтобы честно разобрать ваши резюме и рассказать, как их улучшить. Фидбэк, который обычно не получить.
⠀
Чтобы поучаствовать, присылайте ваши анонимные резюме на почту [email protected].
Им не нужны ваши ФИО, контакты или названия компаний!
⠀
До встречи 24 и 25 ноября в Москве 🖐
⠀
✅ Программа конференции, расписание и билеты здесь - https://bx.vc/mjgd57
О работе с Photoshop-файлами на PHP поговорим с Ильей Логиновым
⠀
📋 https://bx.vc/bfehig
⠀
Обсудим:
⠀
- Библиотеки для работы с Photoshop-файлами на PHP.
- Устройство Photoshop-файлов, а также ошибки документации.
- Решение проблемы чтения Photoshop-файлов в других языках и особенности переноса кода на PHP.
- Как получить основную информацию о файле, направляющих и борьба с legacy-данными в файле.
⠀
🔸Мнение Программного комитета о докладе: создание Open Source-библиотеки — дело очень непростое, и путь к ней бывает долгим и тернистым. В этом докладе — рассказ о том, как не сбиться в пути и достичь цели. Даже если путь займет годы.
⠀
Присоединяйтесь к нам 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции, расписание и билеты здесь - https://bx.vc/kq7ya1
⠀
📋 https://bx.vc/bfehig
⠀
Обсудим:
⠀
- Библиотеки для работы с Photoshop-файлами на PHP.
- Устройство Photoshop-файлов, а также ошибки документации.
- Решение проблемы чтения Photoshop-файлов в других языках и особенности переноса кода на PHP.
- Как получить основную информацию о файле, направляющих и борьба с legacy-данными в файле.
⠀
🔸Мнение Программного комитета о докладе: создание Open Source-библиотеки — дело очень непростое, и путь к ней бывает долгим и тернистым. В этом докладе — рассказ о том, как не сбиться в пути и достичь цели. Даже если путь займет годы.
⠀
Присоединяйтесь к нам 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции, расписание и билеты здесь - https://bx.vc/kq7ya1
🔥1
Про архитектуру надёжной In-Memory-СУБД на примере Tarantool расскажет Владимир Перепелица в рамках Яндекс трека
⠀
📋 https://bx.vc/0lxe0y
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/h76rgv
⠀
📋 https://bx.vc/0lxe0y
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/h76rgv
GeeseFS: ФС из S3, или Параллелизм гусей в природе – тема доклада Виталия Филиппова
⠀
📋 https://bx.vc/v1vfxu
А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?
Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы, кстати, тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.
Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022.
✅ Программа Яндекс трека - https://bx.vc/4h4f6w
⠀
📋 https://bx.vc/v1vfxu
А можно ли сделать из S3 ФС? Обычный ответ: можно, но будет очень медленно. Казалось бы, файл — это «именованная последовательность байтов» и объект в S3 — тоже. Однако ФС плохо работает как S3, а S3 обычно плохо работает как ФС. Но почему?
Ответ Виталия в том, что, если половина этой проблемы — действительно архитектурные вопросы различий между ФС и S3 (о которых мы, кстати, тоже поговорим, например, рассмотрим вопрос «а что вообще такое POSIX-совместимость ФС?»), то оставшаяся половина — исключительно вопросы реализации, которые оказалось не так уж сложно решить. И решены они в GeeseFS https://github.com/yandex-cloud/geesefs.
Что реализовано в части их S3-ФС уже сейчас, что запланировано на будущее, а также как другие решают ту же задачу (скрещивания ужа и ежа) — обо всём этом мы и поговорим в докладе.
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022.
✅ Программа Яндекс трека - https://bx.vc/4h4f6w
API management и API gateway. Что это и нужно ли оно вам? Обсудим с Виктором Поповым
⠀
📋 https://bx.vc/5pyfgl
⠀
Виктор расскажет:
⠀
- API management — что это такое и с чем его едят.
- Зачем это, вообще, надо.
- Публичные API.
- Обзор решений для API management.
- Свой опыт с Gravitee GW — чего оно умеет, и какие проблемы помогло решить.
⠀
🔸Мнение Программного комитета о докладе: докладчик расскажет, как и зачем управлять API, осветит основные задачи и проблемы менеджмента API и с чем вам придется столкнуться при выборе API-гейтвея. И все это в контексте личного опыта работы с Gravitee — одним из API-гейтвеев.
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа, расписание и билеты здесь - https://bx.vc/7a1ih8
⠀
📋 https://bx.vc/5pyfgl
⠀
Виктор расскажет:
⠀
- API management — что это такое и с чем его едят.
- Зачем это, вообще, надо.
- Публичные API.
- Обзор решений для API management.
- Свой опыт с Gravitee GW — чего оно умеет, и какие проблемы помогло решить.
⠀
🔸Мнение Программного комитета о докладе: докладчик расскажет, как и зачем управлять API, осветит основные задачи и проблемы менеджмента API и с чем вам придется столкнуться при выборе API-гейтвея. И все это в контексте личного опыта работы с Gravitee — одним из API-гейтвеев.
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа, расписание и билеты здесь - https://bx.vc/7a1ih8
🔥1
Про высокопроизводительный промышленный сервис для компьютерного зрения на Python расскажут Григорий Алексеенко и Максим Купрашевич
📋 https://bx.vc/5mirrt
Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.
Узнаем, как они решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.
- Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением
- Обзор существующих решений: DALI & Triton, Cython, Julia, С++ etc.
- Разрешение критических боттлнеков в проде и случайное ускорение тренировок
- Результаты
Встречаемся на HighLoad++ 2022 🙌
✅ Программа конференции и расписание здесь - https://bx.vc/r6w0ms
📋 https://bx.vc/5mirrt
Хорошо известны проблемы применения Python в промышленных сервисах, особенно, если подразумевается высокая нагрузка и определены высокие требования к задержке. Ещё сложнее всё обстоит в задачах компьютерного зрения, где добавляется специфическая работа с GPU, огромные объемы входных данных и тяжёлые алгоритмы, такие как кодирование/декодирование изображений, их обработка или инференс нейросетей.
Узнаем, как они решали такие проблемы, почему выбрали самописное решение и как удалось добиться хороших результатов.
- Основные проблемы в Python с точки зрения промышленного сервиса с компьютерным зрением
- Обзор существующих решений: DALI & Triton, Cython, Julia, С++ etc.
- Разрешение критических боттлнеков в проде и случайное ускорение тренировок
- Результаты
Встречаемся на HighLoad++ 2022 🙌
✅ Программа конференции и расписание здесь - https://bx.vc/r6w0ms
Антон Агеев расскажет о программировании дронов — современной цифровой агрономии
⠀
📋 https://bx.vc/cridup
⠀
Сельское хозяйство стало отраслью с интенсивным потоком данных. Информация формируется из потоков от различных устройств. Обработанные данные от различных участников производственной цепочки, собранные в одном месте, позволяют получать информацию нового качества, находить закономерности т.д. и на их основе принимать оптимальные решения, минимизирующие риски, улучшающие бизнес производителей и клиентский опыт.
⠀
Понимая устройство сельскохозяйственных дронов и общие принципы их работы, можно лучше понять существующий уровень цифровизации отрасли. Рассмотрим виды дронов, принципы их работы и управления.
⠀
Рассмотрим фреймворки для создания программного обеспечения дронов и системы имитационного моделирования. Познакомимся с автопилотами и применяемыми датчиками дронов.
⠀
✅ Программа секции "Агротех" - https://bx.vc/mmob14
⠀
🙌 До встречи 24 и 25 ноября на HighLoad++ 2022
⠀
📋 https://bx.vc/cridup
⠀
Сельское хозяйство стало отраслью с интенсивным потоком данных. Информация формируется из потоков от различных устройств. Обработанные данные от различных участников производственной цепочки, собранные в одном месте, позволяют получать информацию нового качества, находить закономерности т.д. и на их основе принимать оптимальные решения, минимизирующие риски, улучшающие бизнес производителей и клиентский опыт.
⠀
Понимая устройство сельскохозяйственных дронов и общие принципы их работы, можно лучше понять существующий уровень цифровизации отрасли. Рассмотрим виды дронов, принципы их работы и управления.
⠀
Рассмотрим фреймворки для создания программного обеспечения дронов и системы имитационного моделирования. Познакомимся с автопилотами и применяемыми датчиками дронов.
⠀
✅ Программа секции "Агротех" - https://bx.vc/mmob14
⠀
🙌 До встречи 24 и 25 ноября на HighLoad++ 2022
Про облачную платформу "Виртуальный Агроном" для управления всеми процессами на вертикальных фермах узнаем из доклада Сергея Березина
📋 https://bx.vc/0yk7qk
Сергей расскажет об архитектуре успешно применяемой облачной платформы "Виртуальный Агроном". Вертикальные фермы, подключенные к платформе, обеспечивают полностью контролируемую среду выращивания с контролем действий персонала и возможностью дальнейшего перехода к роботизированным фермам.
Синергия данных с множества ферм, подключенных к единой облачной платформе, и экспертных знаний, полученных в результате многолетних исследований, позволяет контролировать и оптимизировать процессы на фермах в реальном времени.
Модульность архитектуры позволяет собирать фермы с разной проектной производительностью для различных сельскохозяйственных культур из стандартных блоков. Формализация процессов на фермах обеспечивает высокую точность прогнозирования продуктивности.
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022
✅Программа секции "Агротех" https://bx.vc/1gq02j
📋 https://bx.vc/0yk7qk
Сергей расскажет об архитектуре успешно применяемой облачной платформы "Виртуальный Агроном". Вертикальные фермы, подключенные к платформе, обеспечивают полностью контролируемую среду выращивания с контролем действий персонала и возможностью дальнейшего перехода к роботизированным фермам.
Синергия данных с множества ферм, подключенных к единой облачной платформе, и экспертных знаний, полученных в результате многолетних исследований, позволяет контролировать и оптимизировать процессы на фермах в реальном времени.
Модульность архитектуры позволяет собирать фермы с разной проектной производительностью для различных сельскохозяйственных культур из стандартных блоков. Формализация процессов на фермах обеспечивает высокую точность прогнозирования продуктивности.
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022
✅Программа секции "Агротех" https://bx.vc/1gq02j
Асинхронный транспорт Cassandra обсудим с Вадимом Цесько в рамках Яндекс трека
⠀
📋 https://bx.vc/a96em9
Они используют и активно развивают собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, они реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и т.д. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в их системах повсеместно.
Рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила им существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства их решения, поговорим про различные оптимизации, возникшие по пути проблемы, переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.
✅ Программа Яндекс трека - https://bx.vc/dyzwnt
⠀
До встречи HighLoad++ 2022 🙌
⠀
📋 https://bx.vc/a96em9
Они используют и активно развивают собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, они реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и т.д. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в их системах повсеместно.
Рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила им существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства их решения, поговорим про различные оптимизации, возникшие по пути проблемы, переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.
✅ Программа Яндекс трека - https://bx.vc/dyzwnt
⠀
До встречи HighLoad++ 2022 🙌
О балансировке нагрузки в мульти-эксабайтном сторадже расскажет Вадим Зотеев, старший разработчик в Cторадже Яндекса
⠀
📋 https://bx.vc/w1trgj
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа Яндекс трека - https://bx.vc/k8rfov
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
📋 https://bx.vc/w1trgj
⠀
Сторадж — фундаментальный инфраструктурный сервис, хранящий и раздающий данные почти всех продуктовых сервисов Яндекса — критическая часть компании с высочайшими требованиями к надежности и доступности.
⠀
Чтобы все это эффективно работало, необходимо балансировать read- и write-нагрузку между серверами и дисками. Для этого нужно учитывать множество факторов: ломающееся железо, разную "горячесть" данных разных сервисов, сторонние источники нагрузки в лице фоновых процессов, гетерогенность железа и т.д.
⠀
Вадим расскажет, как устроена балансировка read- и write-нагрузки в системе хранения; какие подходы работают, а какие нет; какие трудности могут возникать в процессе эксплуатации и какие особенности есть в multitenancy-хранилищах.
⠀
✅ Программа Яндекс трека - https://bx.vc/k8rfov
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 🖐
Архитектура рисуется с обратной стороны! Тема доклада Антона Жбанкова
⠀
📋 https://bx.vc/dfuqmt
⠀
Абсолютное большинство проектов, что видел Антон, начинаются с некоторых технических требований, зачастую взятых с потолка, потому что заказчик так сказал или просто с потолка.
⠀
Это подход не инженерный, а крафтовый или, если хотите, ремесленно-художественный.
Хороший технический проект неразрывен и решает бизнес-задачи. Ну какие технические требования вы ждете от заказчика? Если заказчик в состоянии правильно сформулировать тех. требования, то и проектирование он тоже в состоянии сделать.
Поэтому любой хороший проект начинается с формулирования бизнес-требований и бизнес-критериев, а документ "Технические требования" разрабатывается на их основе.
Что же за требования и критерии эти бизнесовые?
До скорой встречи на HighLoad++ 2022. Если вы пока не присоединились к нам, у вас еще есть возможность это сделать 😉
✅ Посмотреть программу конференции, расписание и купить билеты можно на сайте - https://bx.vc/w4d6lp
⠀
📋 https://bx.vc/dfuqmt
⠀
Абсолютное большинство проектов, что видел Антон, начинаются с некоторых технических требований, зачастую взятых с потолка, потому что заказчик так сказал или просто с потолка.
⠀
Это подход не инженерный, а крафтовый или, если хотите, ремесленно-художественный.
Хороший технический проект неразрывен и решает бизнес-задачи. Ну какие технические требования вы ждете от заказчика? Если заказчик в состоянии правильно сформулировать тех. требования, то и проектирование он тоже в состоянии сделать.
Поэтому любой хороший проект начинается с формулирования бизнес-требований и бизнес-критериев, а документ "Технические требования" разрабатывается на их основе.
Что же за требования и критерии эти бизнесовые?
До скорой встречи на HighLoad++ 2022. Если вы пока не присоединились к нам, у вас еще есть возможность это сделать 😉
✅ Посмотреть программу конференции, расписание и купить билеты можно на сайте - https://bx.vc/w4d6lp
Root cause analysis monitoring обсудим с Баселем Дарвишем
📋 https://bx.vc/tnxhs4
Базы данных, очереди, приложения на Spring и много чего еще, и все это в тысячах экземпляров — чем сложнее инфраструктура, тем выше вероятность возникновения ошибок. Своевременно исправлять ошибки — одна из главных задач провайдера облачных сервисов или владельца собственной крупной инфраструктуры.
Узнаем, как они используют графы в задачах мониторинга и observability, как Root Cause Analysis в мониторинге помогает командам эксплуатации.
Как и многие другие вендоры ПО, 1С давно предлагает свои продукты в облачном варианте. Это, в первую очередь, их облачные сервисы 1С: ГРМ (Готовое Рабочее Место) и 1cFresh.
Предоставление облачных сервисов требует наличия соответствующей инфраструктуры — прежде всего серверов, на которых размещаются виртуальные машины с приложениями, и софта, управляющего физическими и виртуальными машинами.
Встречаемся 24 и 25 ноября 🖐
✅ Программа конференции и расписание здесь - https://bx.vc/p1rsid
📋 https://bx.vc/tnxhs4
Базы данных, очереди, приложения на Spring и много чего еще, и все это в тысячах экземпляров — чем сложнее инфраструктура, тем выше вероятность возникновения ошибок. Своевременно исправлять ошибки — одна из главных задач провайдера облачных сервисов или владельца собственной крупной инфраструктуры.
Узнаем, как они используют графы в задачах мониторинга и observability, как Root Cause Analysis в мониторинге помогает командам эксплуатации.
Как и многие другие вендоры ПО, 1С давно предлагает свои продукты в облачном варианте. Это, в первую очередь, их облачные сервисы 1С: ГРМ (Готовое Рабочее Место) и 1cFresh.
Предоставление облачных сервисов требует наличия соответствующей инфраструктуры — прежде всего серверов, на которых размещаются виртуальные машины с приложениями, и софта, управляющего физическими и виртуальными машинами.
Встречаемся 24 и 25 ноября 🖐
✅ Программа конференции и расписание здесь - https://bx.vc/p1rsid
👍3🔥2
Агротех: долго, дорого и очень сложно. Как создавать продукты для агроотрасли расскажет Евгений Багрянцев в рамках секции «Агротех»
⠀
📋 https://bx.vc/kd74gp
⠀
Агротех — одно из самых перспективных направлений в РФ и мире.
Создавать продукты для агротеха долго и сложно.
Евгений поделится их опытом создания прорывного решения с CV и беспилотниками для агротеха.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа секции «Агротех» здесь - https://bx.vc/a0hp9u
⠀
📋 https://bx.vc/kd74gp
⠀
Агротех — одно из самых перспективных направлений в РФ и мире.
Создавать продукты для агротеха долго и сложно.
Евгений поделится их опытом создания прорывного решения с CV и беспилотниками для агротеха.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа секции «Агротех» здесь - https://bx.vc/a0hp9u
Про самый большой в РФ проект в области птицеводства по сбору информации с датчиков интернета вещей и другие интересные кейсы для сельского хозяйства расскажет Денис Муравьев
⠀
📋 https://bx.vc/sbp2ke
⠀
Обсудим:
- краткий обзор беспроводных технологий передачи информации, их место и задачи в мире IoT;
- особенности технологий LPWAN беспроводной передачи данных;
- почему так сложно сделать умные вещи и подключить их к интернету;
- зачем они написали свою платформу интернета вещей и чем им не угодили готовые платформы;
- как профили устройств упрощают сопровождение;
- как они внедряли IoT в 52 регионах России для мониторинга птичников;
- зачем мониторить показатели температуры и влажности воздуха в птичниках и на складах;
- использование датчиков сухих контактов для мониторинга работы автоматики;
- как датчики интернета вещей позволяют снизить себестоимость продукции и сэкономить на поддержке.
И другое
До скорой встречи на HighLoad++ 2022 🙌
✅ Программа секции "Агротех" - https://bx.vc/78tnht
⠀
📋 https://bx.vc/sbp2ke
⠀
Обсудим:
- краткий обзор беспроводных технологий передачи информации, их место и задачи в мире IoT;
- особенности технологий LPWAN беспроводной передачи данных;
- почему так сложно сделать умные вещи и подключить их к интернету;
- зачем они написали свою платформу интернета вещей и чем им не угодили готовые платформы;
- как профили устройств упрощают сопровождение;
- как они внедряли IoT в 52 регионах России для мониторинга птичников;
- зачем мониторить показатели температуры и влажности воздуха в птичниках и на складах;
- использование датчиков сухих контактов для мониторинга работы автоматики;
- как датчики интернета вещей позволяют снизить себестоимость продукции и сэкономить на поддержке.
И другое
До скорой встречи на HighLoad++ 2022 🙌
✅ Программа секции "Агротех" - https://bx.vc/78tnht
👍2
Об интеграции PHP-проекта с 1С расскажет Пётр Мязин
⠀
📋 https://bx.vc/e4pr2h
⠀
Знали ли вы, что в платформе 1С есть встроенное REST API по стандарту OData? А оно есть!
⠀
Без единой строчки кода на 1С можно:
- читать или записывать практически любые данные в 1С,
- создавать документы из PHP-приложения (например, выставлять счета клиенту).
⠀
Добавив немного кода на 1С, получаем:
- 1С как headless-систему с готовой бизнес-логикой,
- 1С как сервис для формирования PDF- и Excel-документов по заранее заданным шаблонам,
- 1С как сервис по отправке юридически значимых электронных документов (в итоге проще, чем писать это с нуля на PHP).
⠀
Как вы поняли, они пишут документооборот на PHP (Laravel) в компании, где активно используется 1С. Петр с радостью поделится их опытом интеграции 1C в PHP-приложение.
⠀
Ждем вас 24 и 25 ноября 🙌
⠀
✅ Программа конференции и расписание здесь - https://bx.vc/y3ybr5
⠀
📋 https://bx.vc/e4pr2h
⠀
Знали ли вы, что в платформе 1С есть встроенное REST API по стандарту OData? А оно есть!
⠀
Без единой строчки кода на 1С можно:
- читать или записывать практически любые данные в 1С,
- создавать документы из PHP-приложения (например, выставлять счета клиенту).
⠀
Добавив немного кода на 1С, получаем:
- 1С как headless-систему с готовой бизнес-логикой,
- 1С как сервис для формирования PDF- и Excel-документов по заранее заданным шаблонам,
- 1С как сервис по отправке юридически значимых электронных документов (в итоге проще, чем писать это с нуля на PHP).
⠀
Как вы поняли, они пишут документооборот на PHP (Laravel) в компании, где активно используется 1С. Петр с радостью поделится их опытом интеграции 1C в PHP-приложение.
⠀
Ждем вас 24 и 25 ноября 🙌
⠀
✅ Программа конференции и расписание здесь - https://bx.vc/y3ybr5
👍2
О хранилище для Почты расскажет Виктор Могилин
⠀
📋 https://bx.vc/vdgjrm
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.
⠀
Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/bldbbo
⠀
📋 https://bx.vc/vdgjrm
⠀
Узнаем о технических сложностях, с которыми они столкнулись при разработке своего хранилища.
⠀
Задачи, которые решали:
⠀
- эффективная утилизация больших HDD (меньше iops на терабайт хранилища);
- переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ);
- обеспечение SLA 99.999% доступности данных в течение года;
- переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;
⠀
Архитектура потребовала распил письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью.
Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кеш.
И другие приемы.
⠀
Целевая аудитория: Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🖐
⠀
✅ Программа Яндекс трека - https://bx.vc/bldbbo
👍1