Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Калькулятор Конфигураций для Firebird SQL и 5 других новостей про Firebird
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
Как на стоимость брендов влияет утечка информации?
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Tproger
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
A Smarter Factory Floor with MongoDB Atlas and Google Cloud's Manufacturing Data Engine
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Есть ли жизнь после Microsoft Teams и OneDrive?
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
👍1
Альтернативный вариант к подходу хранения SQL-кода в репозитории и его разработке
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Сотни миллионов рублей: посчитали, сколько тратит бизнес на российские BI-решения
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Transforming Industries with MongoDB and AI: Telecommunications and Media
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Прожарка. Luxms BI
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design
AI-powered SQL Query Converter Tool is Now Available in Relational Migrator
Read: https://www.mongodb.com/blog/post/ai-powered-sql-query-converter-tool-now-available-relational-migrator
@database_design
Read: https://www.mongodb.com/blog/post/ai-powered-sql-query-converter-tool-now-available-relational-migrator
@database_design
ORA-07445 exception encountered: core dump - Why it happens and how to fix it
ORA-07445 exception encountered: core dump, can occur anywhere within Oracle code. Learn why this error occurs and the simple 3 steps to resolve it.
Read: https://blogs.oracle.com/database/post/ora07445-exception-encountered-core-dump-why-it-happens-and-how-to-fix-it
@database_design
ORA-07445 exception encountered: core dump, can occur anywhere within Oracle code. Learn why this error occurs and the simple 3 steps to resolve it.
Read: https://blogs.oracle.com/database/post/ora07445-exception-encountered-core-dump-why-it-happens-and-how-to-fix-it
@database_design
iOmega JAZ. Жёсткие диски со сменными блинами
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто негерметичные HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.
Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/794282/
@database_design
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто негерметичные HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.
Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/794282/
@database_design
Как я уронил прод на полтора часа, при чем тут soft delete и partial index
В жизни любого разработчика наступает момент, когда он роняет прод. Представьте: полдень, в Skyeng час пик, тысячи запланированных онлайн-уроков, а наша платформа лежит…
Все упало из-за ошибки в процессе деплоя, которая связана с тонкостью PostgreSQL. К сожалению, на этом моменте у нас прокололась не одна команда. И чтобы такое больше не произошло ни у нас, ни в другой компании — велкам под кат.
Читать: https://habr.com/ru/companies/skyeng/articles/802191/
@database_design
В жизни любого разработчика наступает момент, когда он роняет прод. Представьте: полдень, в Skyeng час пик, тысячи запланированных онлайн-уроков, а наша платформа лежит…
Все упало из-за ошибки в процессе деплоя, которая связана с тонкостью PostgreSQL. К сожалению, на этом моменте у нас прокололась не одна команда. И чтобы такое больше не произошло ни у нас, ни в другой компании — велкам под кат.
Читать: https://habr.com/ru/companies/skyeng/articles/802191/
@database_design
HDD, SSD или NVMe: что выбрать для виртуального сервера (тесты внутри)
В сегодняшней статье разберём настройку одного из параметров конфигурации при заказе виртуального выделенного сервера. Речь пойдёт о типе накопителя, который будет использоваться для виртуалки. Попробуем вместе разобраться, чем виды накопителей отличаются друг от друга, и на что может повлиять тот или иной выбор.
Читать: https://habr.com/ru/companies/ruvds/articles/802719/
@database_design
В сегодняшней статье разберём настройку одного из параметров конфигурации при заказе виртуального выделенного сервера. Речь пойдёт о типе накопителя, который будет использоваться для виртуалки. Попробуем вместе разобраться, чем виды накопителей отличаются друг от друга, и на что может повлиять тот или иной выбор.
Читать: https://habr.com/ru/companies/ruvds/articles/802719/
@database_design
Architecting Success as a Woman in Tech
Read: https://www.mongodb.com/blog/post/architecting-success-as-woman-in-tech
@database_design
Read: https://www.mongodb.com/blog/post/architecting-success-as-woman-in-tech
@database_design
ClickHouse как бэкенд для Prometheus
Привет! Меня зовут Михаил Кажемский, я Lead DevOps в IT-интеграторе Hilbert Team. В последнее время к нам часто обращаются заказчики, которым нужна помощь с организацией хранения долгосрочных метрик в российских облаках. Так как для многих эта задача сейчас актуальная, в данной статье мы с моим коллегой Денисом Бабичевым решили рассказать, как мы используем мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.
Читать: https://habr.com/ru/articles/799791/
@database_design
Привет! Меня зовут Михаил Кажемский, я Lead DevOps в IT-интеграторе Hilbert Team. В последнее время к нам часто обращаются заказчики, которым нужна помощь с организацией хранения долгосрочных метрик в российских облаках. Так как для многих эта задача сейчас актуальная, в данной статье мы с моим коллегой Денисом Бабичевым решили рассказать, как мы используем мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.
Читать: https://habr.com/ru/articles/799791/
@database_design
Fireworks AI and MongoDB: The Fastest AI Apps with the Best Models, Powered By Your Data
Read: https://www.mongodb.com/blog/post/fireworks-ai-mongodb-fastest-ai-apps-with-best-models-powered-by-your-data
@database_design
Read: https://www.mongodb.com/blog/post/fireworks-ai-mongodb-fastest-ai-apps-with-best-models-powered-by-your-data
@database_design
Дизайн высоконагруженных приложений будущего. Путешествие без сценария с Мартином Клеппманом
Jesse Anderson, директор Big Data Institute, и Martin Kleppmann, автор книги "Высоконагруженные приложения. Программирование, масштабирование, поддержка", вместе исследуют меняющийся ландшафт обработки данных. Они начинают с истории создания книги Мартина, подчеркивая важность искусства задавать правильные вопросы. Мартин рассказывает об изменениях, произошедших в отрасли с 2017 года, подчеркивая рост облачных сервисов. Затем беседа приобретает новый поворот, когда Мартин погружается в академические круги, делясь своими соображениями о программном обеспечении для совместной работы на основе локального подхода и увлекательном мире Automerge. Начинающие инженеры-программисты получат несколько советов о том, как найти тонкий баланс между простотой и гибкостью. В завершение обсуждают о различных карьерных путях в динамичной сфере инженерии данных, что делает разговор полезным для профессионалов на любом этапе их пути.
Читать: https://habr.com/ru/articles/802891/
@database_design
Jesse Anderson, директор Big Data Institute, и Martin Kleppmann, автор книги "Высоконагруженные приложения. Программирование, масштабирование, поддержка", вместе исследуют меняющийся ландшафт обработки данных. Они начинают с истории создания книги Мартина, подчеркивая важность искусства задавать правильные вопросы. Мартин рассказывает об изменениях, произошедших в отрасли с 2017 года, подчеркивая рост облачных сервисов. Затем беседа приобретает новый поворот, когда Мартин погружается в академические круги, делясь своими соображениями о программном обеспечении для совместной работы на основе локального подхода и увлекательном мире Automerge. Начинающие инженеры-программисты получат несколько советов о том, как найти тонкий баланс между простотой и гибкостью. В завершение обсуждают о различных карьерных путях в динамичной сфере инженерии данных, что делает разговор полезным для профессионалов на любом этапе их пути.
Читать: https://habr.com/ru/articles/802891/
@database_design
Развитие баз данных
В 60-х годах прошлого века возникла потребность в надежной модели хранения и обработки данных, особенно важной для банков и финансовых организаций. В то время отсутствовали единые стандарты работы с данными и моделями, и вся работа сводилась к ручной упорядоченной организации информации. Банкам удавалось записывать информацию о транзакциях в виде файлов в заранее подготовленную структуру, причем у каждой организации было собственное представление о том, как это должно выглядеть и функционировать. Также отсутствовали понятия консистентности (согласованности данных) и целостности данных. В таких файлах часто встречались дубликаты клиентов и их транзакций, которые приходилось уточнять и приводить в порядок вручную.
Данная статься захватывает ключевые моменты в развитии систем управления базами данных, от первых иерархических моделей до современных реляционных, NoSQL и NewSQL систем.
Читать: https://habr.com/ru/articles/803247/
@database_design
В 60-х годах прошлого века возникла потребность в надежной модели хранения и обработки данных, особенно важной для банков и финансовых организаций. В то время отсутствовали единые стандарты работы с данными и моделями, и вся работа сводилась к ручной упорядоченной организации информации. Банкам удавалось записывать информацию о транзакциях в виде файлов в заранее подготовленную структуру, причем у каждой организации было собственное представление о том, как это должно выглядеть и функционировать. Также отсутствовали понятия консистентности (согласованности данных) и целостности данных. В таких файлах часто встречались дубликаты клиентов и их транзакций, которые приходилось уточнять и приводить в порядок вручную.
Данная статься захватывает ключевые моменты в развитии систем управления базами данных, от первых иерархических моделей до современных реляционных, NoSQL и NewSQL систем.
Читать: https://habr.com/ru/articles/803247/
@database_design