DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
ИИ Яндекс пытается переплюнуть Тинькофф?

В своё время читал, как голосовой консультант "Олег" от компании Тинькофф рекомендовал пользователю совершить 'Роскомнадзор' в качестве решения проблемы.
Думал - шутка.

Недавно решил потрогать Яндекс360 в варианте Премиум. В ответ Yandex решил сделать мне приятное своими нейросетевыми алгоритмами, о чём известил меня ненавязчивым пушем - Цветочное настроение.
Миниатюра фото уже намекает, да?
Хватит ли Диска для всех букетов...

Читать: https://habr.com/ru/articles/823031/

@database_design
___
Другие наши проекты
Как мы решали задачу сегментирования бизнес-объектов

Привет! Меня зовут Владимир, я руководитель управления разработки и тестирования в СИГМЕ. Сегодня хочу рассказать, как наша команда дорабатывала CRM-систему заказчика. Она используется для контроля всевозможных коммуникаций с клиентами — от звонков на горячую линию и переписки в мессенджерах до визитов в офисы и почтовых рассылок. Архитектурно CRM спроектирована так, что способна сопровождать оказание практически любых услуг, но исторически сосредоточена на взаимодействии с клиентами энергосбытовых компаний.

Перед нами стояла задача написать подсистему, которая позволит настраивать условия и в соответствии с ними сегментировать клиентскую базу. Клиенты, соответствующие заданным условиям, будут попадать в определенный сегмент. Эта функция нужна заказчику, чтобы выстраивать диалог с клиентами с учетом их психологического профиля и предпочтений, а также адресно предлагать услуги.


Читать: https://habr.com/ru/companies/sigma/articles/823015/

@database_design
___
Другие наши проекты
Microsoft Power BI can now connect with the Oracle Database using Microsoft Entra ID SSO tokens

This blog announces the availability of Microsoft Entra ID SSO tokens to connect Microsoft Power BI with Oracle Database

Read: https://blogs.oracle.com/database/post/pbi-with-oracle-db

@database_design
___
Другие наши проекты
Сильный ИИ. Элира2. Сохранение диалогов ChatGPT

Всем привет!

В этой статье я расскажу о том, как можно сохранить диалоги в ChatGPT вместе с изображениями из чата!

Несмотря на уже довольно долгое существование ChatGPT в нем до сих пор отсутствует функция сохранения диалогов с изображениями. Более того, при наличии изображений в диалоге, ссылка для сохранения вообще не создается. Именно поэтому я решил создать скрипт, который позволит сохранять диалоги напрямую через веб-интерфейс ChatGPT, используя Selenium.


Читать: https://habr.com/ru/articles/823428/

@database_design
___
Другие наши проекты
Миграция в облако глазами инженера: как мы строили гибрид для 144 виртуальных машин и 104 ТБ данных

Привет, Хабр! В этой статье Вячеслав Закариев, DevOps из компании Henderson, рассказывает о миграции в облако инфраструктуры крупного российского производителя и селлера одежды. Под катом: переезд с Hyper V на VMware, организация собственного ЦОД в офисе, интеграция его в облако, 140+ виртуальных машин от 250 ГБ до 4 ТБ каждая, честный отзыв Вячеслава по итогам переезда и много чего ещё.


Читать: https://habr.com/ru/companies/oxygendc/articles/822355/

@database_design
___
Другие наши проекты
Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса

С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка.

Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.


Читать: https://habr.com/ru/companies/yandex/articles/822321/

@database_design
___
Другие наши проекты
Архивация сегментов WAL с помощью Pgbackrest

Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL.

Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL.


Читать: https://habr.com/ru/companies/T1Holding/articles/823360/

@database_design
___
Другие наши проекты
ELK: использовать нельзя изобрести

Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?


Читать: https://habr.com/ru/companies/vk/articles/822391/

@database_design
___
Другие наши проекты
Собираем полноценный NAS с 4 NVME дисками размером с небольшую книгу

Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!

На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.

Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
Что получилось, что не получилось?

Читать: https://habr.com/ru/articles/823814/

@database_design
___
Другие наши проекты
Быстрый запуск Redis через Docker Compose

Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.


Читать: https://habr.com/ru/articles/823936/

@database_design
___
Другие наши проекты
👍1
Секретные материалы: удобство (без)опасности

Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.

Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.


Читать: https://habr.com/ru/companies/bastion/articles/824096/

@database_design
___
Другие наши проекты
Почему Starburst Icehouse подходит не всем

Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.


Читать: https://habr.com/ru/companies/vk/articles/824258/

@database_design
___
Другие наши проекты
Auditing access to your sensitive data is now simpler and more precise

Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities

Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise

@database_design
___
Другие наши проекты
Новые возможности Audit Vault и Database Firewall

В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных.

Читать подробнее
___
Другие наши проекты
Секретные материалы: удобство (без)опасности

Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада.

Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру.


Читать: https://habr.com/ru/companies/bastion/articles/824748/

@database_design
___
Другие наши проекты
Как мы повышали производительность очереди сообщений

Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности.

Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/

@database_design
___
Другие наши проекты