📚 Beyond Durability: Database Resilience and Entropy Reduction with Write-Ahead Logging at Netflix
Авторы — инженеры Netflix Prudhviraj Karumanchi и Vidhya Arvind — рассказывают о создании сервиса write-ahead log (WAL) для повышения надёжности и долговечности данных, особенно в условиях масштабных инфраструктурных сбоев, распределённых транзакций и "мульти-базовых" состояний.
WAL as Service - интересное решение! Действительно, если у тебя в бизнес-процессах множество распределенных транзакций, то для поддержки нужно уровня надежности WAL как сервис - крутая идея!
WAL обеспечивает следующее:
👉 durability – сохранение изменений;
👉 traceability – отслеживание;
👉 ordering guarantees – строгий порядок;
👉 replay capability – возможность повторного воспроизведения
Netflix внедрил собственный сервис WAL как универсальный слой между клиентами и базами данных. Это позволило повысить надёжность, сохранить порядок транзакций, устранить потери в "многобазовых" сценариях и сделало систему масштабируемой и расширяемой.
Авторы — инженеры Netflix Prudhviraj Karumanchi и Vidhya Arvind — рассказывают о создании сервиса write-ahead log (WAL) для повышения надёжности и долговечности данных, особенно в условиях масштабных инфраструктурных сбоев, распределённых транзакций и "мульти-базовых" состояний.
WAL as Service - интересное решение! Действительно, если у тебя в бизнес-процессах множество распределенных транзакций, то для поддержки нужно уровня надежности WAL как сервис - крутая идея!
WAL обеспечивает следующее:
👉 durability – сохранение изменений;
👉 traceability – отслеживание;
👉 ordering guarantees – строгий порядок;
👉 replay capability – возможность повторного воспроизведения
Netflix внедрил собственный сервис WAL как универсальный слой между клиентами и базами данных. Это позволило повысить надёжность, сохранить порядок транзакций, устранить потери в "многобазовых" сценариях и сделало систему масштабируемой и расширяемой.
InfoQ
Beyond Durability: Database Resilience and Entropy Reduction with Write-Ahead Logging at Netflix
Prudhviraj Karumanchi, and Vidhya Arvind explain Netflix's journey to enhanced data durability and reliability through their WAL system. They discuss how WAL addresses critical challenges like data loss, corruption, multi-partition mutations, and replication…
Немного об опыте работы с ИИ-ассистентом.
Во время проработки выпускной квалификационной работы со студентами мы задали вопрос ИИ: "Каким цветом изображается проводка на поэтажном плане помещения?"
ИИ дал очень качественный ответ со ссылкой на ГОСТ Р 21.1703-2000 и т.п. Не придраться. Казалось бы, всё супер! Однако, один из студентов заметил, а точно ли ГОСТ верный? Прошло уже 25 лет. Может есть еще какие-то правила?
Написали следующий вопрос: "ГОСТ Р 21.1703-2000. Есть ли более новый ГОСТ?"
ИИ как ни в чем не бывало пишет, что да, ГОСТ Р 21.1703-2000 устарел и теперь всё немного по другому...
Мораль: нельзя слепо доверять ИИ. Всегда сомневайтесь в его ответе и задавайте уточняющие вопросы.
С пятницей!
#mems
Во время проработки выпускной квалификационной работы со студентами мы задали вопрос ИИ: "Каким цветом изображается проводка на поэтажном плане помещения?"
ИИ дал очень качественный ответ со ссылкой на ГОСТ Р 21.1703-2000 и т.п. Не придраться. Казалось бы, всё супер! Однако, один из студентов заметил, а точно ли ГОСТ верный? Прошло уже 25 лет. Может есть еще какие-то правила?
Написали следующий вопрос: "ГОСТ Р 21.1703-2000. Есть ли более новый ГОСТ?"
ИИ как ни в чем не бывало пишет, что да, ГОСТ Р 21.1703-2000 устарел и теперь всё немного по другому...
Мораль: нельзя слепо доверять ИИ. Всегда сомневайтесь в его ответе и задавайте уточняющие вопросы.
С пятницей!
#mems
📚 Новый OLTP: Postgres с раздельными вычислениями и хранилищем
Я как-то писал о том, что Databricks купил компанию Nexon и вот результат покупки - новая РСУБД Lakebase, которая входит в платформу Databricks Data Intelligence.
По сути Lakebase - это модульная СУБД в которой, как утверждают авторы, разделен compute engine от storage. Система во время выполнения запроса может регулировать свою вычислительную мощность.
Написано, что Lakebase это OLTP, но судя по описанию, это больше похоже на HTAP СУБД, которая прекрасно переваривает любую нагрузку.
Подожду отзывы пользователей и тогда будет понятно насколько это крутое решение.
Я как-то писал о том, что Databricks купил компанию Nexon и вот результат покупки - новая РСУБД Lakebase, которая входит в платформу Databricks Data Intelligence.
По сути Lakebase - это модульная СУБД в которой, как утверждают авторы, разделен compute engine от storage. Система во время выполнения запроса может регулировать свою вычислительную мощность.
Написано, что Lakebase это OLTP, но судя по описанию, это больше похоже на HTAP СУБД, которая прекрасно переваривает любую нагрузку.
Подожду отзывы пользователей и тогда будет понятно насколько это крутое решение.
The New Stack
New OLTP: Postgres With Separate Compute and Storage
Is Databricks onto something by focusing on streaming data by treating the data like developers have treated code?
🎥 Новый UUID как первичный ключ в вашей базе данных / Yandex Cloud - Андрей Бородин (Яндекс)
❗Презентация
Шикарный доклад! Даже добавить особо нечего.
❗Презентация
Шикарный доклад! Даже добавить особо нечего.
YouTube
Новый UUID как первичный ключ в вашей базе данных / Yandex Cloud
Задача идентификации — вполне математическая проблема, решение которой помогает в создании полезных систем. В докладе спикер рассказывает про UUID (Universally Unique Identifier), математические, философские и инженерные вопросы, которые возникли при проектировании…
🎥 AI, PostgreSQL vs MySQL, Cloud Native database, один день из жизни DBA - Вадим Бобцов
Забавное интервью о роли DBA в жизни компании.
Перечислю факты, которые меня зацепили:
👉 Вадим из Белоруссии переехал на Кипр
👉 DBA могут позволить себе далеко не все компании. Всё-таки это профессия для компаний среднего или выше сегмента.
👉 Есть ощущение, что у развивающихся стартапов есть запрос на консалтинговые услуги DBA. Быть DBA фрилансеров вполне себе норм.
👉 На DBA не учат в ВУЗах. Этому учат на курсах.
👉 Вадим попал в Wargaming исключительно благодаря тому, что ВУЗ сотрудничал с этой компанией.
👉 Wargaming проводил доп.обучение студентов и предлагал стажировки.
Итого: стажировка - это шикарная возможность попасть в интересующую вас компанию на ранних этапах. Компании берут в приоритете тех, кто проходил их обучающий контент.
С "улицы" устроиться всегда сложнее.
Забавное интервью о роли DBA в жизни компании.
Перечислю факты, которые меня зацепили:
👉 Вадим из Белоруссии переехал на Кипр
👉 DBA могут позволить себе далеко не все компании. Всё-таки это профессия для компаний среднего или выше сегмента.
👉 Есть ощущение, что у развивающихся стартапов есть запрос на консалтинговые услуги DBA. Быть DBA фрилансеров вполне себе норм.
👉 На DBA не учат в ВУЗах. Этому учат на курсах.
👉 Вадим попал в Wargaming исключительно благодаря тому, что ВУЗ сотрудничал с этой компанией.
👉 Wargaming проводил доп.обучение студентов и предлагал стажировки.
Итого: стажировка - это шикарная возможность попасть в интересующую вас компанию на ранних этапах. Компании берут в приоритете тех, кто проходил их обучающий контент.
С "улицы" устроиться всегда сложнее.
YouTube
AI, PostgreSQL vs MySQL, Cloud Native database, один день из жизни DBA - Вадим Бобцов
#database #postgresql #mysql #cloudnative #devops
Кто такой DBA и почему его роль кажется одновременно супер редкой и критически важной? Почему в интернете обсуждают Postgres, а на проде работает MySQL? Зачем компании нанимают DBA, когда всё уже вроде бы…
Кто такой DBA и почему его роль кажется одновременно супер редкой и критически важной? Почему в интернете обсуждают Postgres, а на проде работает MySQL? Зачем компании нанимают DBA, когда всё уже вроде бы…
Когда-то до популярности ИИ это был прекрасный мем. Сейчас он всё менее и менее актуальный...
С пятницей!
#mems
С пятницей!
#mems
❤2😱2
Всем приветики-пистолетики! 🔫
Я чуть-чуть бездельничаю и ничего не пишу в канал. Может быть позже напишу о своей прокрастинации и как именно я отдыхаю 📺👀. А пока поделюсь с вами планами на осень.
1️⃣ 23 сентября - Data Internals X — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных
Буду выступать в качестве автора и ведущего сессии: "Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?»"
Поговорим о том о сём и об образовании конечно! Будет интересно! 😜
2️⃣ 6 октября - PGConf.Academy 2025 — практическая конференция для преподавателей информационных технологий от Postgres Professional
Выступаю с докладом: "Эволюция дисциплины «Системы Баз Данных» в МФТИ на кафедре БИТ" 🧐
Дисциплине уже 6 лет и есть чем поделиться с сообществом.
Осень ожидается очень насыщенной! ☄️ Я подумываю выступить на еще одной конференции в ноябре... но пока собираюсь с мыслями 🤪
p.s. подтверждение от программного комитета конференций я уже получил.
Я чуть-чуть бездельничаю и ничего не пишу в канал. Может быть позже напишу о своей прокрастинации и как именно я отдыхаю 📺👀. А пока поделюсь с вами планами на осень.
1️⃣ 23 сентября - Data Internals X — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных
Буду выступать в качестве автора и ведущего сессии: "Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?»"
Поговорим о том о сём и об образовании конечно! Будет интересно! 😜
2️⃣ 6 октября - PGConf.Academy 2025 — практическая конференция для преподавателей информационных технологий от Postgres Professional
Выступаю с докладом: "Эволюция дисциплины «Системы Баз Данных» в МФТИ на кафедре БИТ" 🧐
Дисциплине уже 6 лет и есть чем поделиться с сообществом.
Осень ожидается очень насыщенной! ☄️ Я подумываю выступить на еще одной конференции в ноябре... но пока собираюсь с мыслями 🤪
p.s. подтверждение от программного комитета конференций я уже получил.
datainternals.ru
Профессиональная конференция по инженерии данных, базам данных и системам хранения
и обработки данных 2025
и обработки данных 2025
🔥6👍1
При устройстве на новую работу вам могут назначить наставника. Ранее за это не особо любили доплачивать, но сейчас почти во всех компаниях платят какие-то деньги. Даже должностные инструкции поменяли под это.
По идее такой человек более мотивирован помогать новичкам
С пятницей!
#mems
По идее такой человек более мотивирован помогать новичкам
С пятницей!
#mems
❤1