Как мы делаем свой DBaaS
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания.
Читать: https://habr.com/ru/companies/postgrespro/articles/801795/
@database_design
Требования к безопасности веб-проектов на «1С-Битрикс»
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design
Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования.
Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»»
@database_design
Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных
Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение.
В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе.
Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД.
Читать: https://habr.com/ru/companies/yadro/articles/800237/
@database_design
Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение.
В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе.
Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД.
Читать: https://habr.com/ru/companies/yadro/articles/800237/
@database_design
Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.
В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:
- какие подходы к доставке изменений мы использовали;
- почему выбрали переход на CDC и в чем были сложности в работе с изменениями до этого;
- чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе;
- какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями;
- как поддерживать решение после внедрения.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/801603/
@database_design
Калькулятор Конфигураций для Firebird SQL и 5 других новостей про Firebird
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
В последние месяцы в мире FirebirdSQL происходит значительное оживление: помимо релиза Firebird 5 было опубликовано много инструментов, статей и материалов, что я решил подготовить небольшой дайждест для читателей Хабра, которые, вероятно, соскучились по новостям о любимой СУБД.
Во-первых, вышла новая версия Калькулятора Конфигураций для Firebird, с поддержкой Firebird 5. В калькулятор (полностью бесплатный, доступен без регистрации) вводятся характеристики сервера, ...
Читать: https://habr.com/ru/articles/801665/
@database_design
Как на стоимость брендов влияет утечка информации?
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.
Читать: https://habr.com/ru/companies/onlinepatent/articles/802029/
@database_design
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
Читать: «Почему именно SQL и Python — мастхев для аналитика?»
@database_design
Tproger
Почему именно SQL и Python — мастхев для аналитика?
Канал Noukash выпустил ролик об основных инструментах аналитика: Python и SQL. Автор объяснил, почему важно владеть обоими языками, а мы от себя добавили ссылки на полезные материалы.
A Smarter Factory Floor with MongoDB Atlas and Google Cloud's Manufacturing Data Engine
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Read: https://www.mongodb.com/blog/post/smarter-factory-floor-mongodb-atlas-google-clouds-manufacturing-data-engine
@database_design
Есть ли жизнь после Microsoft Teams и OneDrive?
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure. Также будут заблокированы ключи на MS Visio. Планируемое отключение также коснется бесплатных версий Power BI Pro и Azure DevOps и сервиса Microsoft Online Protection, а также не будут доставляться обновления безопасности. Пока что неизвестно, коснется ли это Exchange, Outlook и сред разработки и что будет с образовательными лицензиями.
На фоне паники появились обещания «золотых гор» на «аналогичных сервисах». Но переход с одного сервиса на другой — это непростая задача, и развертывание альтернативных решений не происходит по щелчку пальцев. Также нельзя отрицать, что решения, такие как Azure и AWS (Amazon также может заблокировать доступ российским компаниям), — это не просто «хранилище файлов», а одновременно и инфраструктура, и платформа для приложений и сервисов, которые занимают более половины рынка и просто заменить их opensource не получится.
Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. Можно арендовать выделенные или виртуальные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания.
Однако при выборе варианта размещения серверов и доступа к ним важно учитывать не только их местоположение, но и ваши собственные ресурсы на миграцию и поддержку решений. Возможно, вам нужно разместить свои сервисы только в России или же доступ должен быть из любой точки земного шара. Также стоит учесть собственные финансовые и человеческие ресурсы на эти цели. Какой вариант лучше выбрать — решать вам.
Читать: https://habr.com/ru/companies/hostkey/articles/802061/
@database_design
👍1
Альтернативный вариант к подходу хранения SQL-кода в репозитории и его разработке
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Приветствую, current_user()!
Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.
Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно стоит что-нибудь добавить в нём.
Ознакомиться с альтернативным подходом...
Читать: https://habr.com/ru/articles/800375/
@database_design
Сотни миллионов рублей: посчитали, сколько тратит бизнес на российские BI-решения
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.
Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).
Читать статью и пройти опрос
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/801977/
@database_design
Transforming Industries with MongoDB and AI: Telecommunications and Media
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-telecommunications-media
@database_design
Прожарка. Luxms BI
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design
О плюсах платформы можно узнать на сайте производителя, по открытым материалам с конференций. Данный материал делает акцент на минусах системы, но это не значит, что платформа не заслуживает внимания клиентов. Лучший вариант всегда - сделай пилот до! И так, обратим внимание коллег из LuxMs на недостатки и риски:
Прожарить
Читать: https://habr.com/ru/articles/802349/
@database_design
AI-powered SQL Query Converter Tool is Now Available in Relational Migrator
Read: https://www.mongodb.com/blog/post/ai-powered-sql-query-converter-tool-now-available-relational-migrator
@database_design
Read: https://www.mongodb.com/blog/post/ai-powered-sql-query-converter-tool-now-available-relational-migrator
@database_design
ORA-07445 exception encountered: core dump - Why it happens and how to fix it
ORA-07445 exception encountered: core dump, can occur anywhere within Oracle code. Learn why this error occurs and the simple 3 steps to resolve it.
Read: https://blogs.oracle.com/database/post/ora07445-exception-encountered-core-dump-why-it-happens-and-how-to-fix-it
@database_design
ORA-07445 exception encountered: core dump, can occur anywhere within Oracle code. Learn why this error occurs and the simple 3 steps to resolve it.
Read: https://blogs.oracle.com/database/post/ora07445-exception-encountered-core-dump-why-it-happens-and-how-to-fix-it
@database_design
iOmega JAZ. Жёсткие диски со сменными блинами
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто негерметичные HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.
Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/794282/
@database_design
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто негерметичные HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.
Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать: https://habr.com/ru/companies/timeweb/articles/794282/
@database_design
Как я уронил прод на полтора часа, при чем тут soft delete и partial index
В жизни любого разработчика наступает момент, когда он роняет прод. Представьте: полдень, в Skyeng час пик, тысячи запланированных онлайн-уроков, а наша платформа лежит…
Все упало из-за ошибки в процессе деплоя, которая связана с тонкостью PostgreSQL. К сожалению, на этом моменте у нас прокололась не одна команда. И чтобы такое больше не произошло ни у нас, ни в другой компании — велкам под кат.
Читать: https://habr.com/ru/companies/skyeng/articles/802191/
@database_design
В жизни любого разработчика наступает момент, когда он роняет прод. Представьте: полдень, в Skyeng час пик, тысячи запланированных онлайн-уроков, а наша платформа лежит…
Все упало из-за ошибки в процессе деплоя, которая связана с тонкостью PostgreSQL. К сожалению, на этом моменте у нас прокололась не одна команда. И чтобы такое больше не произошло ни у нас, ни в другой компании — велкам под кат.
Читать: https://habr.com/ru/companies/skyeng/articles/802191/
@database_design
HDD, SSD или NVMe: что выбрать для виртуального сервера (тесты внутри)
В сегодняшней статье разберём настройку одного из параметров конфигурации при заказе виртуального выделенного сервера. Речь пойдёт о типе накопителя, который будет использоваться для виртуалки. Попробуем вместе разобраться, чем виды накопителей отличаются друг от друга, и на что может повлиять тот или иной выбор.
Читать: https://habr.com/ru/companies/ruvds/articles/802719/
@database_design
В сегодняшней статье разберём настройку одного из параметров конфигурации при заказе виртуального выделенного сервера. Речь пойдёт о типе накопителя, который будет использоваться для виртуалки. Попробуем вместе разобраться, чем виды накопителей отличаются друг от друга, и на что может повлиять тот или иной выбор.
Читать: https://habr.com/ru/companies/ruvds/articles/802719/
@database_design
Architecting Success as a Woman in Tech
Read: https://www.mongodb.com/blog/post/architecting-success-as-woman-in-tech
@database_design
Read: https://www.mongodb.com/blog/post/architecting-success-as-woman-in-tech
@database_design
ClickHouse как бэкенд для Prometheus
Привет! Меня зовут Михаил Кажемский, я Lead DevOps в IT-интеграторе Hilbert Team. В последнее время к нам часто обращаются заказчики, которым нужна помощь с организацией хранения долгосрочных метрик в российских облаках. Так как для многих эта задача сейчас актуальная, в данной статье мы с моим коллегой Денисом Бабичевым решили рассказать, как мы используем мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.
Читать: https://habr.com/ru/articles/799791/
@database_design
Привет! Меня зовут Михаил Кажемский, я Lead DevOps в IT-интеграторе Hilbert Team. В последнее время к нам часто обращаются заказчики, которым нужна помощь с организацией хранения долгосрочных метрик в российских облаках. Так как для многих эта задача сейчас актуальная, в данной статье мы с моим коллегой Денисом Бабичевым решили рассказать, как мы используем мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.
Читать: https://habr.com/ru/articles/799791/
@database_design