Инфраструктура для data engineer Kafka
В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".
Рекомендуется всем кто не знает что такое Kafka.
Читать: https://habr.com/ru/articles/836302/
#ru
@database_design | Другие наши каналы
В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".
Рекомендуется всем кто не знает что такое Kafka.
Читать: https://habr.com/ru/articles/836302/
#ru
@database_design | Другие наши каналы
Использование СХД Qsan в среде управления контейнерами Kubernetes
Существуют различные технологии по уплотнению ресурсов физических серверов с целью их более эффективного использования. Наиболее известный вариант – это виртуализация. Именно в данной сфере системы хранения данных (СХД) являются одним из ключевых элементов, поскольку позволяют достаточно легко реализовать кластеры высокой доступности (HA cluster). Однако, помимо виртуализации доступны иные методы повышения эффективности, одним из которых является применение контейнеров.
Читать: https://habr.com/ru/companies/skilline/articles/834556/
#ru
@database_design | Другие наши каналы
Существуют различные технологии по уплотнению ресурсов физических серверов с целью их более эффективного использования. Наиболее известный вариант – это виртуализация. Именно в данной сфере системы хранения данных (СХД) являются одним из ключевых элементов, поскольку позволяют достаточно легко реализовать кластеры высокой доступности (HA cluster). Однако, помимо виртуализации доступны иные методы повышения эффективности, одним из которых является применение контейнеров.
Читать: https://habr.com/ru/companies/skilline/articles/834556/
#ru
@database_design | Другие наши каналы
Продвинутые структуры Redis
Редис – это кеш? А, может быть, это основная база данных? Так мы и живём в Мойре – опенсорс-системе реалтайм-алёртинга, родом из компании Контур. Расскажу вам про плюсы и минусы такого подхода, про жизнь в Редисе при 3 миллионах RPS, про миграции данных и оптимизацию базы.
Читать: https://habr.com/ru/companies/skbkontur/articles/836944/
#ru
@database_design | Другие наши каналы
Редис – это кеш? А, может быть, это основная база данных? Так мы и живём в Мойре – опенсорс-системе реалтайм-алёртинга, родом из компании Контур. Расскажу вам про плюсы и минусы такого подхода, про жизнь в Редисе при 3 миллионах RPS, про миграции данных и оптимизацию базы.
Читать: https://habr.com/ru/companies/skbkontur/articles/836944/
#ru
@database_design | Другие наши каналы
Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF
Привет, Хабр! Мы продолжаем серию статей о проведённой миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущей статье мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL-скриптов из диалекта Teradata в диалект GreenPlum с помощью реализованного сервиса миграции кода. В этой статье мы расскажем вам о полученном нами опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.
Читать: https://habr.com/ru/companies/sberbank/articles/836942/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Мы продолжаем серию статей о проведённой миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущей статье мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL-скриптов из диалекта Teradata в диалект GreenPlum с помощью реализованного сервиса миграции кода. В этой статье мы расскажем вам о полученном нами опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.
Читать: https://habr.com/ru/companies/sberbank/articles/836942/
#ru
@database_design | Другие наши каналы
Распределённые блокировки с помощью Tarantool 3
Распределённая блокировка — очень удобный инструмент в кластере, который помогает обеспечивать эксклюзивный доступ к некоторому общему ресурсу. Цель такой блокировки — обеспечить доступ к ресурсу лишь одному сервису или запросу в данный момент времени. Так предотвращается гонка за данными и их неконсистентность. Распределённая (или кластерная) блокировка называется так потому, что она обеспечивается несколькими узлами, и выход из строя одного из них не повлияет на приложение. В этой статье я расскажу, как реализовать этот инструмент с помощью Tarantool 3.
Читать: https://habr.com/ru/companies/vk/articles/835958/
#ru
@database_design | Другие наши каналы
Распределённая блокировка — очень удобный инструмент в кластере, который помогает обеспечивать эксклюзивный доступ к некоторому общему ресурсу. Цель такой блокировки — обеспечить доступ к ресурсу лишь одному сервису или запросу в данный момент времени. Так предотвращается гонка за данными и их неконсистентность. Распределённая (или кластерная) блокировка называется так потому, что она обеспечивается несколькими узлами, и выход из строя одного из них не повлияет на приложение. В этой статье я расскажу, как реализовать этот инструмент с помощью Tarantool 3.
Читать: https://habr.com/ru/companies/vk/articles/835958/
#ru
@database_design | Другие наши каналы
GENERATE_SERIES в SQL Server 2022 и более ранних версиях
Я часто сталкиваюсь с необходимостью генерирования строк на лету. И не только для простого получения последовательности чисел или дат, но и, например, для наполнения базы данных тестовыми данными, создания сводных таблиц (pivot) с произвольным количеством столбцов, экстраполяции данных, заполнения пропусков в диапазонах дат или времени.
Читать: https://habr.com/ru/companies/otus/articles/837048/
#ru
@database_design | Другие наши каналы
Я часто сталкиваюсь с необходимостью генерирования строк на лету. И не только для простого получения последовательности чисел или дат, но и, например, для наполнения базы данных тестовыми данными, создания сводных таблиц (pivot) с произвольным количеством столбцов, экстраполяции данных, заполнения пропусков в диапазонах дат или времени.
Читать: https://habr.com/ru/companies/otus/articles/837048/
#ru
@database_design | Другие наши каналы
Семантическое кластеризование: откройте скрытые инсайты в ваших данных
Векторные базы данных, как предсказывает Forrester, наберут 200% популярности в 2024 году. Они помогают не только в генеративном ИИ, но и в раскрытии скрытых знаний через семантическое кластеризование. Этот метод организует данные по смыслу, улучшая анализ текстов и классификацию знаний. Успех Team-GPT благодаря MongoDB для Startups!
Программа MongoDB для Startups сыграла ключевую роль в росте Team-GPT, предлагая бесплатные кредиты, техподдержку и возможности для маркетинга. Основатели компании активно участвовали в мероприятиях MongoDB, что помогло значительно продвинуться. Впереди релиз Team-GPT 2.0!
Читать подробнее
#en
@database_design | Другие наши каналы
Векторные базы данных, как предсказывает Forrester, наберут 200% популярности в 2024 году. Они помогают не только в генеративном ИИ, но и в раскрытии скрытых знаний через семантическое кластеризование. Этот метод организует данные по смыслу, улучшая анализ текстов и классификацию знаний. Успех Team-GPT благодаря MongoDB для Startups!
Программа MongoDB для Startups сыграла ключевую роль в росте Team-GPT, предлагая бесплатные кредиты, техподдержку и возможности для маркетинга. Основатели компании активно участвовали в мероприятиях MongoDB, что помогло значительно продвинуться. Впереди релиз Team-GPT 2.0!
Читать подробнее
#en
@database_design | Другие наши каналы
Просто выберите Postgres
Отчасти это действенный совет, отчасти — вопрос к читателям.
Совет: при создании нового приложения, требующего постоянного хранения данных, как это и бывает в случае большинства веб-приложений, по умолчанию следует выбирать
Читать: https://habr.com/ru/articles/837098/
#ru
@database_design | Другие наши каналы
Отчасти это действенный совет, отчасти — вопрос к читателям.
Совет: при создании нового приложения, требующего постоянного хранения данных, как это и бывает в случае большинства веб-приложений, по умолчанию следует выбирать
Postgres.Читать: https://habr.com/ru/articles/837098/
#ru
@database_design | Другие наши каналы
К вопросу о стохастическом характере СУБД и проблемах с нагрузочным тестированием в облачной среде
Предпосылка к исследованию
Исследование гипотезы СУБД по природе своей является стохастической, а не детерминированной системой.
С целью проверки утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД .
Читать: https://habr.com/ru/articles/837216/
#ru
@database_design | Другие наши каналы
Предпосылка к исследованию
Исследование гипотезы СУБД по природе своей является стохастической, а не детерминированной системой.
С целью проверки утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД .
Читать: https://habr.com/ru/articles/837216/
#ru
@database_design | Другие наши каналы
MongoDB Atlas для Правительства теперь поддерживает GCP Assured Workloads
MongoDB Atlas для Правительства теперь поддерживает регионы Google Cloud Assured Workloads в США, расширяя уже доступную поддержку AWS GovCloud и регионов AWS в США. Теперь пользователи госсектора и независимые разработчики ПО могут более гибко модернизировать приложения и мигрировать данные в облако. Также MongoDB Atlas для Правительства теперь доступен через Google Cloud Marketplace. Семантическое векторное кластерирование — ключ к новым инсайтам
Технология семантического векторного кластерирования позволяет объединять схожие данные и выявлять скрытые связи, что упрощает управление знаниями и ускоряет принятие решений. Компании могут использовать эту методику для обнаружения паттернов в данных о взаимодействии с клиентами, улучшая общий бизнес-процесс.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB Atlas для Правительства теперь поддерживает регионы Google Cloud Assured Workloads в США, расширяя уже доступную поддержку AWS GovCloud и регионов AWS в США. Теперь пользователи госсектора и независимые разработчики ПО могут более гибко модернизировать приложения и мигрировать данные в облако. Также MongoDB Atlas для Правительства теперь доступен через Google Cloud Marketplace. Семантическое векторное кластерирование — ключ к новым инсайтам
Технология семантического векторного кластерирования позволяет объединять схожие данные и выявлять скрытые связи, что упрощает управление знаниями и ускоряет принятие решений. Компании могут использовать эту методику для обнаружения паттернов в данных о взаимодействии с клиентами, улучшая общий бизнес-процесс.
Читать подробнее
#en
@database_design | Другие наши каналы
Ролевая модель в СХД АЭРОДИСК ENGINE
Хабровчане, привет!
Сегодня будем играть в ролевую игру. Разберём новый функционал СХД АЭРОДИСК — ролевую модель управления доступом.
Читать: https://habr.com/ru/companies/aerodisk/articles/837050/
#ru
@database_design | Другие наши каналы
Хабровчане, привет!
Сегодня будем играть в ролевую игру. Разберём новый функционал СХД АЭРОДИСК — ролевую модель управления доступом.
Читать: https://habr.com/ru/companies/aerodisk/articles/837050/
#ru
@database_design | Другие наши каналы
MongoDB Atlas помогает CTF Life улучшать обслуживание клиентов
CTF Life, страховая компания из Гонконга, использует MongoDB Atlas для модернизации своих систем. Это позволяет быстрее обрабатывать данные и предлагать персонализированные услуги. Благодаря новому клиентскому приложению специалисты CTF Life могут предоставлять клиентам более точные и своевременные рекомендации.
Читать подробнее
#en
@database_design | Другие наши каналы
CTF Life, страховая компания из Гонконга, использует MongoDB Atlas для модернизации своих систем. Это позволяет быстрее обрабатывать данные и предлагать персонализированные услуги. Благодаря новому клиентскому приложению специалисты CTF Life могут предоставлять клиентам более точные и своевременные рекомендации.
Читать подробнее
#en
@database_design | Другие наши каналы
Нагрузочное тестирование СУБД в облачной среде — часть 2
Начало Нагрузочное тестирование СУБД в облачной среде — часть 1 / Хабр (habr.com)
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час.
Читать: https://habr.com/ru/articles/837462/
#ru
@database_design | Другие наши каналы
Начало Нагрузочное тестирование СУБД в облачной среде — часть 1 / Хабр (habr.com)
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час.
Читать: https://habr.com/ru/articles/837462/
#ru
@database_design | Другие наши каналы
Улучшение бизнес-кредитования с MongoDB и генеративным ИИ
Кредиты являются основной банковской деятельностью, но их оценка может быть сложной из-за рисков. Генеративный ИИ и MongoDB облегчают анализ бизнес-планов и рисков, предоставляя детализированные и многомерные оценки. Узнайте, как эти технологии помогают банковским специалистам принимать обоснованные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Кредиты являются основной банковской деятельностью, но их оценка может быть сложной из-за рисков. Генеративный ИИ и MongoDB облегчают анализ бизнес-планов и рисков, предоставляя детализированные и многомерные оценки. Узнайте, как эти технологии помогают банковским специалистам принимать обоснованные решения.
Читать подробнее
#en
@database_design | Другие наши каналы
Перенос Exadata в облако: преимущества и возможности
Exadata уже более десятилетия является эталоном для Oracle Database благодаря высокой производительности, надежности и безопасности. Узнайте, как сохранить эти преимущества при переводе ваших нагрузок Exadata в публичное или гибридное облако и получить дополнительные выгоды.
Читать подробнее
#en
@database_design | Другие наши каналы
Exadata уже более десятилетия является эталоном для Oracle Database благодаря высокой производительности, надежности и безопасности. Узнайте, как сохранить эти преимущества при переводе ваших нагрузок Exadata в публичное или гибридное облако и получить дополнительные выгоды.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Exadata in the Cloud is Your Future – What Are You Waiting For?
Exadata has been recognized for over a decade as the industry standard for Oracle Database workloads requiring the fastest performance, highest availability, and most robust security. If you are considering moving your Exadata workloads to the cloud, either…
Как сократить расходы на резервное копирование данных
В статье рассматривается важность учета затрат на перемещение данных при создании резервной копии критической базы данных для аварийного восстановления. Узнайте, как минимизировать эти расходы и обеспечить надежную защиту данных.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье рассматривается важность учета затрат на перемещение данных при создании резервной копии критической базы данных для аварийного восстановления. Узнайте, как минимизировать эти расходы и обеспечить надежную защиту данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Don’t Be Fooled by Misleading Data Egress Announcements
We take a closer look at the Disaster Recovery (DR) scenario we mentioned previously, i.e. the impact of Data Movement charges on the cost of maintaining a second copy of a critical database for DR purposes.
Присоединяйтесь к команде Oracle на CloudWorld 2024!
Oracle приглашает всех на CloudWorld 2024! Узнайте о новейших достижениях в области облачных технологий и глобально распределённых баз данных. Отличная возможность для обучения и общения с экспертами. Не пропустите это событие!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle приглашает всех на CloudWorld 2024! Узнайте о новейших достижениях в области облачных технологий и глобально распределённых баз данных. Отличная возможность для обучения и общения с экспертами. Не пропустите это событие!
Читать подробнее
#en
@database_design | Другие наши каналы
Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры
Завершение цикла
Нагрузочное тестирование СУБД в облачной среде — часть 1 / Хабр (habr.com)
Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат / Хабр (habr.com)
Задача
Оценить производительность СУБД при постоянной нагрузке, в условиях нестабильной инфраструктуры .
Проблема
На производительность СУБД влияет множество случайных факторов. Производительность инфраструктуры не постоянна и меняется в очень широком диапазоне.
Гипотеза
В идеальных условиях, при постоянной нагрузке, значения производительности СУБД должно иметь нормальное распределение.
Читать: https://habr.com/ru/articles/838020/
#ru
@database_design | Другие наши каналы
Завершение цикла
Нагрузочное тестирование СУБД в облачной среде — часть 1 / Хабр (habr.com)
Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат / Хабр (habr.com)
Задача
Оценить производительность СУБД при постоянной нагрузке, в условиях нестабильной инфраструктуры .
Проблема
На производительность СУБД влияет множество случайных факторов. Производительность инфраструктуры не постоянна и меняется в очень широком диапазоне.
Гипотеза
В идеальных условиях, при постоянной нагрузке, значения производительности СУБД должно иметь нормальное распределение.
Читать: https://habr.com/ru/articles/838020/
#ru
@database_design | Другие наши каналы
Попытка разогнать сеть для БД со 100 до 200Гб/c или «failure is always an option»
У нас есть прекрасно работающая стандартная конфигурация серверов. RAID1 для системных дисков, 2 карты по два 25Гб/с порта под сеть. Итого 100 Гб/с, которые мы научились выжимать в предыдущей заметке про iScsi (https://habr.com/ru/companies/beeline_tech/articles/821855/) под цели СУБД.
В то же время сетевое оборудование, расположенное между сервером и СХД, может значительно больше, чем 100Гб/c, как и СХД. Поэтому захотелось посмотреть, можно ли выжать на стороне сервера 200Гб/c
! Спойлер: Можно, но вы этого не захотите.
Читать: https://habr.com/ru/companies/beeline_tech/articles/838192/
#ru
@database_design | Другие наши каналы
У нас есть прекрасно работающая стандартная конфигурация серверов. RAID1 для системных дисков, 2 карты по два 25Гб/с порта под сеть. Итого 100 Гб/с, которые мы научились выжимать в предыдущей заметке про iScsi (https://habr.com/ru/companies/beeline_tech/articles/821855/) под цели СУБД.
В то же время сетевое оборудование, расположенное между сервером и СХД, может значительно больше, чем 100Гб/c, как и СХД. Поэтому захотелось посмотреть, можно ли выжать на стороне сервера 200Гб/c
! Спойлер: Можно, но вы этого не захотите.
Читать: https://habr.com/ru/companies/beeline_tech/articles/838192/
#ru
@database_design | Другие наши каналы
Телеграм бот на C# с использованием Yandex Cloud Functions
Всем привет!
Данная статья содержит информация о том, как написать телеграм бота на C# с использованием Yandex Cloud Functions и Телеграм Webhook. Также в данной статье будет рассмотрено CI/CD с помощью GitHub Actions.
P.S. полезная литература находится в ссылках!
Читать: https://habr.com/ru/articles/838220/
#ru
@database_design | Другие наши каналы
Всем привет!
Данная статья содержит информация о том, как написать телеграм бота на C# с использованием Yandex Cloud Functions и Телеграм Webhook. Также в данной статье будет рассмотрено CI/CD с помощью GitHub Actions.
P.S. полезная литература находится в ссылках!
Читать: https://habr.com/ru/articles/838220/
#ru
@database_design | Другие наши каналы
❤🔥1
Кластеризация PostgreSQL за день или за 15 минут: разбираем варианты и подводные камни реализации
Кластеризация необходима для большинства СУБД уровня Enterprise. Есть много способов создать или развернуть кластер: от бесплатных до дорогих, от простых до сложных. У разных вендоров свои приоритеты: одни делают настройку кластера в пару кликов (как в MS SQL), другие фокусируются на надежности и функциональности (Oracle).
В мире СУБД на базе PostgreSQL на сторону которых всё активнее переходит российский IT, тоже есть свои кластерные инструменты и решения: как бесплатные и открытые Patroni, Stolon, pacemaker/corosync, так и проприетарные. Лидер по популярности среди открытых решений – Patroni. Сегодня я расскажу, почему настраивать кластеризацию на нем руками весело только первые пару раз. Поговорим об особенностях поддержки Patroni в Proxima DB, снижении порога входа для новичков и повторяемости конфигураций.
Читать: https://habr.com/ru/companies/orion_soft/articles/838566/
#ru
@database_design | Другие наши каналы
Кластеризация необходима для большинства СУБД уровня Enterprise. Есть много способов создать или развернуть кластер: от бесплатных до дорогих, от простых до сложных. У разных вендоров свои приоритеты: одни делают настройку кластера в пару кликов (как в MS SQL), другие фокусируются на надежности и функциональности (Oracle).
В мире СУБД на базе PostgreSQL на сторону которых всё активнее переходит российский IT, тоже есть свои кластерные инструменты и решения: как бесплатные и открытые Patroni, Stolon, pacemaker/corosync, так и проприетарные. Лидер по популярности среди открытых решений – Patroni. Сегодня я расскажу, почему настраивать кластеризацию на нем руками весело только первые пару раз. Поговорим об особенностях поддержки Patroni в Proxima DB, снижении порога входа для новичков и повторяемости конфигураций.
Читать: https://habr.com/ru/companies/orion_soft/articles/838566/
#ru
@database_design | Другие наши каналы