Работа с данными в Apache Spark
Фреймворк Spark позволяет выполнять множество различных операций с распределенными наборами данных. При этом, объем обрабатываемых данных может быть достаточно большим. Конечно, можно сохранять обрабатываемую информацию в файлы, но что делать, если набор данных не умещается на одном компьютере или на одном дисковом хранилище.
Для решения данной проблемы фреймворк поддерживает широкий диапазон различных механизмов ввода/вывода. Это можно объяснить в том числе и тем, что Apache Spark создавался в экосистеме Hadoop, предназначенной для работы с большими данными. Так, для доступа к данным Spark использует интерфейсы InputFormat и OutputFormat из Hadoop MapReduce, программной платформы, предназначенной для создания заданий, обрабатывающих большие объемы данных. А данные интерфейсы, в свою очередь поддерживают множество форматов файлов и систем хранения (SЗ, HDFS, Cassandra, HBаsе и т. д.)
Читать: https://habr.com/ru/companies/otus/articles/826056/
@database_design
___
Другие наши проекты
Фреймворк Spark позволяет выполнять множество различных операций с распределенными наборами данных. При этом, объем обрабатываемых данных может быть достаточно большим. Конечно, можно сохранять обрабатываемую информацию в файлы, но что делать, если набор данных не умещается на одном компьютере или на одном дисковом хранилище.
Для решения данной проблемы фреймворк поддерживает широкий диапазон различных механизмов ввода/вывода. Это можно объяснить в том числе и тем, что Apache Spark создавался в экосистеме Hadoop, предназначенной для работы с большими данными. Так, для доступа к данным Spark использует интерфейсы InputFormat и OutputFormat из Hadoop MapReduce, программной платформы, предназначенной для создания заданий, обрабатывающих большие объемы данных. А данные интерфейсы, в свою очередь поддерживают множество форматов файлов и систем хранения (SЗ, HDFS, Cassandra, HBаsе и т. д.)
Читать: https://habr.com/ru/companies/otus/articles/826056/
@database_design
___
Другие наши проекты
MongoDB объединяет усилия с ведущими AI партнёрами!
В июне MongoDB приветствовал семь новых AI партнёров, предлагающих продуктовые интеграции. Среди них AppMap, Mendable и OneAI, которые используют MongoDB для улучшения качества кода, автоматизации клиентских сервисов и создания надёжных чат-ботов. Узнайте больше о преимуществах этих партнёрств на нашем блоге! Ускорьте разработку AI-приложений с MongoDB и Haystack
Теперь Python-разработчики могут быстрее создавать умные приложения, используя MongoDB Atlas Vector Search и Haystack. Интеграция обеспечивает высокоточную обработку запросов благодаря семантическому поиску и помогает внедрять самые передовые модели ИИ от таких провайдеров, как OpenAI и Cohere.
Читать подробнее
___
Другие наши проекты
В июне MongoDB приветствовал семь новых AI партнёров, предлагающих продуктовые интеграции. Среди них AppMap, Mendable и OneAI, которые используют MongoDB для улучшения качества кода, автоматизации клиентских сервисов и создания надёжных чат-ботов. Узнайте больше о преимуществах этих партнёрств на нашем блоге! Ускорьте разработку AI-приложений с MongoDB и Haystack
Теперь Python-разработчики могут быстрее создавать умные приложения, используя MongoDB Atlas Vector Search и Haystack. Интеграция обеспечивает высокоточную обработку запросов благодаря семантическому поиску и помогает внедрять самые передовые модели ИИ от таких провайдеров, как OpenAI и Cohere.
Читать подробнее
___
Другие наши проекты
Будущее хранения данных. Где и на чем будем хранить данные в будущем
Объём данных, которые мы производим и используем, растёт феноменальными темпами. СМИ сегодня существуют преимущественно в цифровом формате, данные предприятий всё чаще хранятся на облачных платформах, а учёные накапливают огромные массивы исследовательской информации. Не забываем и про снимки из космоса и мемы с котиками. К 2025 году скорость роста данных превысит 175 зеттабайт в год. Центры обработки данных изо всех сил пытаются не отставать. Но объёмы продолжают увеличиваться с каждым днём.
Мало того, что объём данных, особенно неструктурированных, увеличился, облачное хранилище побудило компании – и частных лиц – принять подход «хранить всё», даже если эти данные не имеют какою-либо ценность.
Как предприятия могут безопасно хранить в будущем такой огромный объём данных, учитывая, что растёт он экспоненциально? Быстрый рост данных требует инновационных решений в бурно развивающейся области технологий. В течение достаточно длительного периода времени физические носители, такие как магнитные ленты и жёсткие диски, в конечном итоге демонстрируют 100% вероятность отказа. Учёные ищут новые методы, чтобы устранить текущие ограничения в отношении ёмкости, мощности, скорости и долговечности. Но как? Подробности под катом.
Читать: https://habr.com/ru/companies/timeweb/articles/826284/
@database_design
___
Другие наши проекты
Объём данных, которые мы производим и используем, растёт феноменальными темпами. СМИ сегодня существуют преимущественно в цифровом формате, данные предприятий всё чаще хранятся на облачных платформах, а учёные накапливают огромные массивы исследовательской информации. Не забываем и про снимки из космоса и мемы с котиками. К 2025 году скорость роста данных превысит 175 зеттабайт в год. Центры обработки данных изо всех сил пытаются не отставать. Но объёмы продолжают увеличиваться с каждым днём.
Мало того, что объём данных, особенно неструктурированных, увеличился, облачное хранилище побудило компании – и частных лиц – принять подход «хранить всё», даже если эти данные не имеют какою-либо ценность.
Как предприятия могут безопасно хранить в будущем такой огромный объём данных, учитывая, что растёт он экспоненциально? Быстрый рост данных требует инновационных решений в бурно развивающейся области технологий. В течение достаточно длительного периода времени физические носители, такие как магнитные ленты и жёсткие диски, в конечном итоге демонстрируют 100% вероятность отказа. Учёные ищут новые методы, чтобы устранить текущие ограничения в отношении ёмкости, мощности, скорости и долговечности. Но как? Подробности под катом.
Читать: https://habr.com/ru/companies/timeweb/articles/826284/
@database_design
___
Другие наши проекты
От «дата-ада» к знаку качества. Как в М.Видео-Эльдорадо работа с качеством данных улучшает результаты в бизнесе
Каждый бизнес-процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. Для успешного развития бизнеса важно качество этих данных. В недавней статье мы поделились тем как у нас зарождалась практика управления данными и о базовых понятиях в этой сфере.
В этом материале мы сделаем упор на ту пользу, которую принесло компании данное направление и какие бизнес-задачи закрывает созданный инструмент. Но, начнем с небольшого погружения для того, чтобы напомнить, как мы пришли к пониманию необходимости регламентирования управления качеством данных.
Читать: https://habr.com/ru/companies/mvideo/articles/827876/
@database_design
___
Другие наши проекты
Каждый бизнес-процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. Для успешного развития бизнеса важно качество этих данных. В недавней статье мы поделились тем как у нас зарождалась практика управления данными и о базовых понятиях в этой сфере.
В этом материале мы сделаем упор на ту пользу, которую принесло компании данное направление и какие бизнес-задачи закрывает созданный инструмент. Но, начнем с небольшого погружения для того, чтобы напомнить, как мы пришли к пониманию необходимости регламентирования управления качеством данных.
Читать: https://habr.com/ru/companies/mvideo/articles/827876/
@database_design
___
Другие наши проекты
30 самых полезных библиотек Python для веб-разработки в 2024 году
Узнайте о лучших библиотеках Python, которые помогут вам в 2024 году. От анализа данных до веб-разработки — все, что нужно для эффективного программирования на Python.
Читать: «30 самых полезных библиотек Python для веб-разработки в 2024 году»
@database_design
___
Другие наши проекты
Узнайте о лучших библиотеках Python, которые помогут вам в 2024 году. От анализа данных до веб-разработки — все, что нужно для эффективного программирования на Python.
Читать: «30 самых полезных библиотек Python для веб-разработки в 2024 году»
@database_design
___
Другие наши проекты
RAIDIX: тернистый путь к светлому счастью? Разбор на винтики
Добрый день, уважаемые читатели! Я являюсь архитектором по инфраструктурным решениям. В этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 – 5.2. Все изложенное – мой личный опыт, пройденный от сборки, тестирования, до внедрения.
О чем будет статья
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого-то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД – это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/companies/icl_group/articles/827944/
@database_design
___
Другие наши проекты
Добрый день, уважаемые читатели! Я являюсь архитектором по инфраструктурным решениям. В этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 – 5.2. Все изложенное – мой личный опыт, пройденный от сборки, тестирования, до внедрения.
О чем будет статья
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого-то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД – это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/companies/icl_group/articles/827944/
@database_design
___
Другие наши проекты
RAIDIX: тернистый путь к светлому счастью? Разбор на винтики
Привет, Хабр, и добрый день, уважаемые читатели! Я архитектор по инфраструктурным решениям, и в этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 – 5.2. Все изложенное – мой личный опыт, пройденный от сборки, тестирования, до внедрения.
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого-то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД – это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/companies/icl_group/articles/827970/
@database_design
___
Другие наши проекты
Привет, Хабр, и добрый день, уважаемые читатели! Я архитектор по инфраструктурным решениям, и в этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 – 5.2. Все изложенное – мой личный опыт, пройденный от сборки, тестирования, до внедрения.
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого-то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД – это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/companies/icl_group/articles/827970/
@database_design
___
Другие наши проекты
Университет Иллинойса использует MongoDB для интерактивного обучения
Профессор Абдуссалам Алавини из Университета Иллинойса в Урбана-Шампейн применяет MongoDB для создания динамичной учебной среды. Студенты получают практический опыт, используя MongoDB для своих проектов, что помогает bridging теорию и практику в обучении. Узнайте, как MongoDB трансформирует образование! Новейшие партнёрства MongoDB в сфере AI
В июне MongoDB приветствовал семь новых партнёров для интеграции AI-продуктов. Совместная работа с такими компаниями, как AppMap, Mendable и OneAI, позволяет разработчикам создавать более умные и эффективные приложения. Узнайте больше о наших партнёрствах и новых возможностях!
Читать подробнее
___
Другие наши проекты
Профессор Абдуссалам Алавини из Университета Иллинойса в Урбана-Шампейн применяет MongoDB для создания динамичной учебной среды. Студенты получают практический опыт, используя MongoDB для своих проектов, что помогает bridging теорию и практику в обучении. Узнайте, как MongoDB трансформирует образование! Новейшие партнёрства MongoDB в сфере AI
В июне MongoDB приветствовал семь новых партнёров для интеграции AI-продуктов. Совместная работа с такими компаниями, как AppMap, Mendable и OneAI, позволяет разработчикам создавать более умные и эффективные приложения. Узнайте больше о наших партнёрствах и новых возможностях!
Читать подробнее
___
Другие наши проекты
NetApp Snapvault и SnapLock – 100% защита от шифрования данных?
В современно мире, где данные это ценный актив, постоянно находящийся под атакой злоумышленников и некомпетентности обращения с ними со стороны «обороны», защита от шифрования выходит на первый план. В сложившемся положение, выделяются технологии NetApp SnapVault и SnapLock предлагающие ряд решений обещающих полную защиту данных, но действительно ли они могут гарантировать 100% безопасность? Давайте разберемся.
Читать: https://habr.com/ru/companies/itglobalcom/articles/828012/
@database_design
___
Другие наши проекты
В современно мире, где данные это ценный актив, постоянно находящийся под атакой злоумышленников и некомпетентности обращения с ними со стороны «обороны», защита от шифрования выходит на первый план. В сложившемся положение, выделяются технологии NetApp SnapVault и SnapLock предлагающие ряд решений обещающих полную защиту данных, но действительно ли они могут гарантировать 100% безопасность? Давайте разберемся.
Читать: https://habr.com/ru/companies/itglobalcom/articles/828012/
@database_design
___
Другие наши проекты
RAIDIX: тернистый путь к светлому счастью? Разбор на винтики
Привет, Хабр, и добрый день, уважаемые читатели! Я архитектор по инфраструктурным решениям, и в этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 — 5.2. Все изложенное — мой личный опыт, пройденный от сборки, тестирования, до внедрения.
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого‑то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД — это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/articles/827970/
@database_design
___
Другие наши проекты
Привет, Хабр, и добрый день, уважаемые читатели! Я архитектор по инфраструктурным решениям, и в этой статье расскажу про свой личный опыт работы программной СХД RAIDIX 5.1 — 5.2. Все изложенное — мой личный опыт, пройденный от сборки, тестирования, до внедрения.
В статье я расскажу то, с чем вы можете столкнуться при использовании данного продукта: для кого‑то это может быть полезным при выборе, т.к. в маркетинговых материалах вы этого точно не прочтете, а тем более не услышите на презентациях.
Конечно, у меня будут проходить параллели с именитыми игроками рынка СХД (ну не смогу я без этого), т.к. мой путь работы с СХД начинался еще в те далекие времена, когда господствовал IBM со своей серией DS и EMC со своей серией Clariion. Через мои руки прошло несметное число СХД, и я ярый поклонник классических СХД, как бы косо на меня не смотрели поклонники HCI и выделенных серверов со встроенными дисками. Но я остаюсь при своем мнении, что СХД — это эталон удобства, масштабируемости и отказоустойчивости.
Читать: https://habr.com/ru/articles/827970/
@database_design
___
Другие наши проекты
Дневник импортозамещения. Linux GUI – ложное искушение
Если даже бабушки работают с Linux GUI – можно ли утверждать, что администратор Linux тоже сможет работать с Linux Gui? Ответ на этот вопрос не так очевиден, достаточно сделать небольшое путешествие от простого запуска инсталлятора под root, до мониторинга с графиками.
Читать: https://habr.com/ru/articles/828300/
@database_design
___
Другие наши проекты
Если даже бабушки работают с Linux GUI – можно ли утверждать, что администратор Linux тоже сможет работать с Linux Gui? Ответ на этот вопрос не так очевиден, достаточно сделать небольшое путешествие от простого запуска инсталлятора под root, до мониторинга с графиками.
Читать: https://habr.com/ru/articles/828300/
@database_design
___
Другие наши проекты
Новый сервис Oracle Exadata теперь доступен
Мы рады сообщить о доступности Oracle Exadata Database Service на инфраструктуре Exascale. Теперь пользователи могут рассчитывать на высокую производительность, надёжность, доступность и безопасность для своих баз данных Oracle. Узнайте больше о новых возможностях!
Читать подробнее
___
Другие наши проекты
Мы рады сообщить о доступности Oracle Exadata Database Service на инфраструктуре Exascale. Теперь пользователи могут рассчитывать на высокую производительность, надёжность, доступность и безопасность для своих баз данных Oracle. Узнайте больше о новых возможностях!
Читать подробнее
___
Другие наши проекты
Oracle
Introducing Oracle Exadata Database Service on Exascale Infrastructure
We are pleased to announce the general availability of Oracle Exadata Database Service on Exascale Infrastructure. Exadata Database Service provides customers around the world with extreme performance, reliability, availability, and security benefits they…
Подключение СХД Qsan к серверам с операционной системой Linux
Мы продолжаем публикацию статей в стиле how-to касательно использования систем хранения данных (СХД) Qsan в различных типовых задачах. На сей раз рассмотрим первичную настройку серверов на базе операционных систем (ОС) семейства Linux при подключении блочных томов со стороны СХД.
Читать: https://habr.com/ru/companies/skilline/articles/828312/
@database_design
___
Другие наши проекты
Мы продолжаем публикацию статей в стиле how-to касательно использования систем хранения данных (СХД) Qsan в различных типовых задачах. На сей раз рассмотрим первичную настройку серверов на базе операционных систем (ОС) семейства Linux при подключении блочных томов со стороны СХД.
Читать: https://habr.com/ru/companies/skilline/articles/828312/
@database_design
___
Другие наши проекты
Записки оптимизатора (Часть 7). «Нелогичные» блокировки MS SQL для систем 1С предприятия
Продолжаем тему блокировок на сервере СУБД. Сегодня «нелогичные» блокировки. Нелогичные в кавычках, потому что с точки зрения пользователя они выглядят как обычные логические (Записки оптимизатора 1С (часть 6). Логические блокировки MS SQL Server в 1С: Предприятие), но природа их совсем другая.
Читать: https://habr.com/ru/companies/softpoint/articles/823250/
#ru
@database_design | Другие наши каналы
Продолжаем тему блокировок на сервере СУБД. Сегодня «нелогичные» блокировки. Нелогичные в кавычках, потому что с точки зрения пользователя они выглядят как обычные логические (Записки оптимизатора 1С (часть 6). Логические блокировки MS SQL Server в 1С: Предприятие), но природа их совсем другая.
Читать: https://habr.com/ru/companies/softpoint/articles/823250/
#ru
@database_design | Другие наши каналы
Как Notion проектировал свой data lake, чтобы успевать за быстрым ростом
За последние три года размер данных Notion увеличился в 10 раз из‑за роста количества пользователей и объёмов контента, с которым они работают. Удвоение этого показателя происходило каждые 6–12 месяцев. Нам нужно было справиться со стремительным ростом размеров данных, соответствуя при этом постоянно растущим требованиям, которые выдвигали критически важные сценарии использования наших продуктов и аналитических систем. Особенно это справедливо в применении к новым функциям Notion AI. Для того чтобы решить эти задачи нам нужно было создать озеро данных Notion и обеспечить его масштабирование. Вот как мы это сделали.
Читать: https://habr.com/ru/companies/wunderfund/articles/828906/
#ru
@database_design | Другие наши каналы
За последние три года размер данных Notion увеличился в 10 раз из‑за роста количества пользователей и объёмов контента, с которым они работают. Удвоение этого показателя происходило каждые 6–12 месяцев. Нам нужно было справиться со стремительным ростом размеров данных, соответствуя при этом постоянно растущим требованиям, которые выдвигали критически важные сценарии использования наших продуктов и аналитических систем. Особенно это справедливо в применении к новым функциям Notion AI. Для того чтобы решить эти задачи нам нужно было создать озеро данных Notion и обеспечить его масштабирование. Вот как мы это сделали.
Читать: https://habr.com/ru/companies/wunderfund/articles/828906/
#ru
@database_design | Другие наши каналы
Новые релизы Transaction Manager для Microservices от Oracle
Oracle выпустила новые версии Transaction Manager для Microservices (MicroTx). В новой версии Enterprise Edition добавлены новые функции, а также обновлены MicroTx Free и MicroTx Enterprise Edition с поддержкой новых платформ и фреймворков. Узнайте больше в статье.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle выпустила новые версии Transaction Manager для Microservices (MicroTx). В новой версии Enterprise Edition добавлены новые функции, а также обновлены MicroTx Free и MicroTx Enterprise Edition с поддержкой новых платформ и фреймворков. Узнайте больше в статье.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
New Release: Oracle Transaction Manager for Microservices (MicroTx) V24.2.1
Oracle has released new versions of the Transaction Manager for Microservices (MicroTx). With this release a number of new features have been added to the Enterprise Edition and both MicroTx Free and MicroTx Enterprise Edition (MicroTx EE) have been updated…
Новый релиз Oracle Key Vault 21.9
Компания Oracle анонсировала версию 21.9 Oracle Key Vault. Обновление включает важные улучшения в области безопасности и производительности, а также новые возможности для мультифакторной аутентификации и поддержки HSM. Обновление обещает повысить уровень защиты данных в корпоративных системах.
Читать подробнее
#en
@database_design | Другие наши каналы
Компания Oracle анонсировала версию 21.9 Oracle Key Vault. Обновление включает важные улучшения в области безопасности и производительности, а также новые возможности для мультифакторной аутентификации и поддержки HSM. Обновление обещает повысить уровень защиты данных в корпоративных системах.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Oracle Key Vault 21.9 improves stability and security
Announcing Oracle Key Vault 21.9
Снижение TCO с помощью Oracle Autonomous Database Elastic Pools
Узнайте, как инновационные Elastic Pools от Oracle могут помочь экономить средства за счет консолидации баз данных. В статье рассмотрена экономическая выгода и сравнены различные варианты консолидации.
Читать подробнее
#en
@database_design | Другие наши каналы
Узнайте, как инновационные Elastic Pools от Oracle могут помочь экономить средства за счет консолидации баз данных. В статье рассмотрена экономическая выгода и сравнены различные варианты консолидации.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
A Case Study for Simplified Database Consolidation
Oracle Autonomous Database Elastic Pools are an innovative and straightforward way to achieve the financial benefits of database consolidation. This article reviews a case for using elastic pools to lower TCO for a database estate and compares different…
Как найти и удалить 2 Тб ненужных файлов, которые не видит СУБД? Дорабатываем pg_orphaned
PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами.
Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД Platform V Pangolin. Наш продукт основан на открытых решениях PostgreSQL и включает в себя собственные доработки в области безопасности, отказоустойчивости и удобства эксплуатации. Я расскажу о том, почему нам не хватило готового инструмента PostgreSQL для очистки файлового мусора и как я вместе с коллегами дорабатывал его. Надеюсь, наш опыт станет полезен тем, кто работает с инструментарием PostgreSQL и ищет решения для работы с ненужными файлами.
Читать: https://habr.com/ru/companies/sberbank/articles/825962/
#ru
@database_design | Другие наши каналы
PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами.
Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД Platform V Pangolin. Наш продукт основан на открытых решениях PostgreSQL и включает в себя собственные доработки в области безопасности, отказоустойчивости и удобства эксплуатации. Я расскажу о том, почему нам не хватило готового инструмента PostgreSQL для очистки файлового мусора и как я вместе с коллегами дорабатывал его. Надеюсь, наш опыт станет полезен тем, кто работает с инструментарием PostgreSQL и ищет решения для работы с ненужными файлами.
Читать: https://habr.com/ru/companies/sberbank/articles/825962/
#ru
@database_design | Другие наши каналы
Поздравляем новых 2024 MongoDB Community Champions!
MongoDB объявила новый состав Community Champions — группу увлеченных и преданных своему делу защитников MongoDB, включая клиентов, партнеров и лидеров сообщества. Эти 18 человек демонстрируют выдающееся лидерство в продвижении бренда и технологий MongoDB. Узнайте больше на нашем сайте! Как обучение MongoDB помогает студентам
Преподаватель Университета Иллинойса в Урбана-Шампейн рассказывает о своих курсах по системам управления базами данных и управлению данными в облаке. Особое внимание уделяется MongoDB, которая упрощает обработку данных и обеспечивает масштабируемость. Узнайте больше о том, как это помогает студентам.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB объявила новый состав Community Champions — группу увлеченных и преданных своему делу защитников MongoDB, включая клиентов, партнеров и лидеров сообщества. Эти 18 человек демонстрируют выдающееся лидерство в продвижении бренда и технологий MongoDB. Узнайте больше на нашем сайте! Как обучение MongoDB помогает студентам
Преподаватель Университета Иллинойса в Урбана-Шампейн рассказывает о своих курсах по системам управления базами данных и управлению данными в облаке. Особое внимание уделяется MongoDB, которая упрощает обработку данных и обеспечивает масштабируемость. Узнайте больше о том, как это помогает студентам.
Читать подробнее
#en
@database_design | Другие наши каналы
Кибер Инфраструктура 6.0 — Что нового?
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 6.0 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это гиперконвергентное решение, объединяющее виртуализацию и программно‑определяемые хранилища. Наш продукт присутствует на рынке уже достаточно давно, используется заказчиками из различных отраслей, а также служит программной основой для программно‑аппаратных комплексов ведущих отечественных производителей. Подробнее о Кибер Инфраструктуре см. в обзоре новинок в версии 5.5 здесь.
Читать: https://habr.com/ru/companies/cyberprotect/articles/829372/
#ru
@database_design | Другие наши каналы
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 6.0 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это гиперконвергентное решение, объединяющее виртуализацию и программно‑определяемые хранилища. Наш продукт присутствует на рынке уже достаточно давно, используется заказчиками из различных отраслей, а также служит программной основой для программно‑аппаратных комплексов ведущих отечественных производителей. Подробнее о Кибер Инфраструктуре см. в обзоре новинок в версии 5.5 здесь.
Читать: https://habr.com/ru/companies/cyberprotect/articles/829372/
#ru
@database_design | Другие наши каналы