Мультивселенная СУБД
183 subscribers
115 photos
1 video
4 files
257 links
Канал для тех, кто хочет стать супергероем этой мультивселенной
Download Telegram
В продолжении предыдущего поста

📚Статья Microsoft open sources PostgreSQL extensions to muscle in on NoSQL

Когда я прочел первые пару абзацев у меня случилось озарение! Microsoft сколотила себе состояние на продаже коммерческого ПО 💰. Откуда такая тяга к открытию своих разработок? 🤔 И тут меня осенило, это прекрасный способ потопить своих конкурентов! 😈 Прежде всего MongoDB 🌊🏄

Microsoft в сотрудничестве с FerretDB открыто заявляет:
Выбросите свою MongoDB в унитаз. Переходите к нам! У нас всеми любимый PostgreSQL под капотом! Предлагаю бесплатную миграцию!!!

Пока MongoDB inc пытается сохранить лицо, сказав, что
...документо-ориентированная модель стала промышленным стандартом. Проекты интеграции Mongo API в РСУБД - вещь не новая. MongoDB всё равно производительнее и круче...и т.п.

Конечно, товарищи из MongoDB отчасти правы, но я думаю, что цель у Microsoft убрать конкурента с шахматной доски! 🧹

Буду следить за новостями о проектах миграции на FerretDB.
🤔1
С пятницей!

#mems
😁5
12 февраля в четверг прошёл митап в СПб от компании PostgrePro PGMeetup СПб/25.

❇️Общее впечатление
Мне кажется, что цель митапа была максимально комплементарно отозваться об облачном провайдере Selectel.
"Хоспади", сколько хороших слов было сказано 🆒 и продемонстрированы максимально теплые взаимоотношения между компании даже сложно оценить... Обнимались как могли в рамках делового приличия 👩‍❤️‍💋‍👨

Предлагаю рассмотреть доклады:
1️⃣ Много не мало. Зачем нужен выделенный сервер под облачные базы данных - Гришин Александр

Концептуально новой продукт - Облачная база данных на выделенном физическом сервере как сервис.

Этот тезис полностью описывает доклад. Даже добавить нечего. Новая более дешевая услуга для клиентов. Всё.

2️⃣Через тернии к звездам - как засунуть Петабайт в Postgres - Михаил Жилин

Мне кажется есть некий "мисандестентдинг", потому что автор Петабайт засунул не в PostgreSQL, а в Shardman. Это чуть-чуть иной продукт 🦑. Пусть и основанный на Postgres, но всё-таки это распределенная СУБД. Доклад очень хороший, т.к. излагается в формате истории. Как человек подошел к задаче и на какие грабли наткнулся 👀

Основные мысли, которые я вынес:

👉 Даже если у вас полностью однородные физические ноды кластера (одинаковые CPU, RAM, SSD), то всё равно можно наткнуться на проблему падения или роста производительности отдельных нод. В докладе было 7 нод и две ноды вели себя аномально.

👉 При тестировании кластера появляется множество проблем с железом. Эти проблемы нужно идентифицировать и устранять.

👉 В примере из доклада чаще всего выходили из строя планки оперативной памяти. За ним кулеры и различные кабели.

👉 Помимо проблем с железом могут быть проблемы на уровне драйверов и операционной системы. Поэтому так важно в этом разбираться и правильно тюнить.

👉 По факту результаты теста не так важны, как важен пользовательский опыт реализации подобного теста.

3️⃣Новости и вызовы кластерных технологий PostgreSQL - Павел Конотопов

Описание:
Расскажем про open-source и proprietary решения для построения отказоустойчивых кластеров баз данных. За последние годы появился новый функционал в существующих решениях...


Даже особо добавить нечего. Доклад превратился в обзор разных решений и что в них появилось за последний год. Ну, кто с этим часто возится на работе тому полезно. Самое интересное для меня было на таймкоде с 29:30 по 32:00 ⌚️. Автор решил рассказать об экспериментах с DuckDB. Фактически привёл сведения о том, что при интеграции этих двух СУБД скорость выполнения аналитических запросов стала чуть ли не в 10 раз быстрее! Интересно было бы разобрать тестовый кейсы. Надеюсь, мой дипломник достойно освятит эту тему в своей работе к концу весны! 🤔
😱2
📚 Western Digital представит жёсткие диски HAMR ёмкостью 44 ТБ в 2026 году

📚Почему мы перешли на RAID 10

В качестве продолжения предыдущего поста решил посмотреть какого прогресса добились производители жестких дисков.

Selectel предоставила сервера с дисками Western Digital Ultrastar DC SN840 на 15,36 ТБ. Рыночная стоимость такого диска в РФ где-то около 220 000 руб. Для сравнения HDD диск на 16 ТБ стоит около 30 000 рублей. Примерно в 7 раз дешевле.💥

При это уже сейчас Seagate может поставлять в ЦОД
диски объемом 36 ТБ!

В общем, к чему это всё.

Объемы накопителей (HDD, SSD, NVMe) растут год за годом. Уже на протяжении 70 лет. Пока какого-то пика не видно. Да, были года "застоя", но затем рост продолжился.

Цена за 1ГБ хранения информации постоянно уменьшается. Сейчас собрать сервер с недорогими дисками и объемом 360 ТБ может позволить себе почти каждый. Даже с учетом RAID 10 и прочих накладных расходов выходит 160 ТБ полезного объема! Это огромное значение! Даже для мира СУБД!

Если мы хотим выжить максимум из СУБД надо уметь разбираться и в аппаратной части подконтрольных систем. Хотя с учетом того, что все пользуются услугами ЦОД и облаков глубоко копать и не нужно. Однако, понимание направления "копания" и указания инженерам на что нужно обратиться внимание - крайне важный фактор в диагностике проблем.

Я так красиво вас подвожу к посещению своего факультатива по "Инфраструктуре многопроцессорных систем" в сентябре месяце 😉🤑
Сделаю репост из блога коллеги в свой канал.
Об Redis и об DragonFly
На этой неделе вышло две новости, которые было вселили в меня надежду на то, что в экосистеме кеш-сервисов намечается серьёзная конкуренция. Во-первых, вышел третий майлстоун релиза Redis 8, в котором заявлены многочисленные улучшения производительности. Во-вторых, DragonFly объвил о продукте DragonFly Swarm, своём аналоге Redis/Valkey Cluster. Ну началось, подумал я, Valkey пушнул конкуренцию.

По факту оказалось что: Redis, похоже, просто обращает внимание пользователей на возможность включить io-threads, которая была всегда, и говорит, что так можно увеличить производительность в 2 раза. Ну мы это прекрасно видели на своих тестах, 2 раза это конечно хорошо, но это слабый скейлинг по ядрам (продиктованный родовой травмой Redis).

В свою очередь DragonFly похоже пока делает закрытый продукт - в анонсе предлагается потестировать Swarm либо в их облаке (супер-промоушен своего облака), либо обратиться к сейллзам.
Фраза дня:

А чем в основном занимается айтишник в оплаченное время? В более-менее интерпрайзном ландшафте айтишник в основном занимается поиском ответов на вопросы вида «что это за херня».


С пятницей!

#mems
😁5
📚 Postgres Professional обновила книги «Postgres: первое знакомство» и «PostgreSQL 17 изнутри»

В целом, ничем не примечательная статья. Postgres Pro ежегодно обновляют свою литературу под актуальную версию PostgreSQL.

Хотел поделиться своими планами. Ни для кого не секрет, что компания Postgres Pro пишет свои обучающие курсы (публикует их бесплатно) и проводит сертификацию для всех желающих. Эта сертификация воистину сложный процесс. По статистике экзамен сдают с 3-ого раза 🤯! То есть можно и с 1-ого раза сдать, но многие и с 6-ой попытки проваливаются.

Однако, сертификация проводится по версии PostgreSQL 13. Довольная старая версия. Вендор обещал в этом году обновить экзамен до версии PostgreSQL 16. Я жду этого момента.

Как только это произойдет, то попробую его сдать в первых рядах. Надеюсь, оригинальная книжка Егора Рогова по "PostgreSQL 16 изнутри" мне в этом поможет. И конечно же нельзя забывать и других знаменитых авторов, книги которых обязательно стоит изучить по PostgreSQL 16.
🔥4
🎥 Небольшой новостной срез с Хабра.
Не скажу, что это особо ценные статьи, но для истории стоит их учесть. Авось, кому-то будет интересно.

Как фильтры Блума в 10 раз ускорили SQLite
Странно, что статью от июня 2022 года решили перевести только сейчас. В оригинале говорят указано больше деталей. Но я не сверял.

Orion soft обновил промышленную СУБД для высоконагруженных систем Proxima DB
Обычные новости и не более того. Ждем 12 марта, когда вендор на своем вебинаре расскажет обо всём подробнее. Посмотрю. 🛰

Миграция данных Cassandra с помощью Cassandra Data Migrator
Статья не для всех. Однако, здорово, что СУБД Cassandra по-прежнему актуальная для рынка РФ. Даже проекты какие-то внедряются. Надо будет по подробнее почитать по компанию "Цифра". 🔏
Как гром среди ясного неба

31 марта – 01 апреля в Москве пройдёт конференция PGConf.
Russia 2025
.

Традиционная конференция по СУБД PostgreSQL, её форкам и экосистеме в целом. Я стараюсь участвовать по всех московских активностях компании PostgresPro. Однако, на этот раз решил примерить на себя роль докладчика 😎

Постараюсь заявить о себе и о кафедрах МФТИ БИТ и Блокчейн. Надеюсь, получится завести новые знакомства и новые проекты! Исследовательский потенциал только растёт! 💪
🔥11👍2😱2
С пятницей!

#mems
😁2
📚Pinecone обновляет архитектуру векторной базы данных для приложений искусственного интеллекта

Pinecone - лидер (по версии db-engines) среди истинно-векторных СУБД. Однако, у неё закрытый исходный код, нет on-premise версии (только облачная инсталляция). Казалось бы, эти факторы негативно влияют на популярность, но результат оказался иным. Давайте разберем что же нового предлагает вендор своим клиентам. 🤔

Как я говорил на лекциях, область применения векторных СУБД довольно маленькая. По сути, все задачи сводятся к поиску "ближайших соседей". Это могут делать и другие СУБД внедрив соответствующую библиотеку (Annoy,ScaNN) . Однако, всё меняется, когда вырастает нагрузка. Причем растут требования по RPS и к объему обрабатываемой информации. И сама нагрузка отличается.
В новых сценариях использования вы видите, что фактические рабочие нагрузки очень неравномерны, так что это противоположность предсказуемой рабочей нагрузке

Дополнительно подсветили еще одну проблему
Часто векторные индексы для рекомендательных систем создаются в пакетном режиме, что занимает несколько часов, — написал он в блоге. — Это означает, что такие индексы устаревают через несколько часов, но это также позволяет значительно оптимизировать индекс выдачи, поскольку его можно рассматривать как статичный

Для решения основных задач используется две архитектуры

❗️Pod-Based Architecture
Она полезная для выполнения высокопроизводительных вычислений (HPC) и 👉тем, где требуется масштабируемость и управление ресурсами.

❗️Serverless Architecture
Обладает высокоточным векторным поиском «из коробки». Не требуются экспертные знания. Предсказуемо низкие задержки.

Компания Pinecone попыталась соединить лучшее из двух миров и создать единую архитектуру. Вроде как у них это получилось 💪

Маркетинговые плюшки перечислять не буду, но идея интересная. Надеюсь, разработчики представят более подробные материалы об их инновационном решении. 👍
🤔1
📚 MongoDB приобретает Voyage AI для улучшения генерации с использованием расширенного поиска

На фоне успешного индийского контракта с индийским стартапом Zepto, компания MongoDB решила прикупить стартап Voyage AI, которые специализируется на повышении качества данных и уменьшению галлюцинаций.
"Не можешь повторить - покупай" (с)

Прекрасный тезис американских бизнесменов. Обычно такими вещами промышляют ИТ-гиганты, такие, как Oracle, Microsoft, то сейчас подтягиваются и другие. В очередной раз это доказывает, что MongoDB будет делать всё возможное, чтобы развивать свою СУБД и привлекать всё больше и больше клиентов. 🤑
📚 Couchbase обеспечивает более гибкую разработку агентного ИИ с помощью NIM от Nvidia

Продолжаем цикл статей про интеграции функции ИИ в СУБД. 👀

На этот раз хочу отметить компанию Couchbase, которая для своего облачного сервиса использует возможности технологии NIM от Nvidia. Вендоры СУБД используют различные способы развития своего продукта.

Кто-то меняет архитектуру своего облачного сервиса, кто-то покупает конкурентов, а кто-то использует мощь фреймворков для более тесной интеграции оборудования и баз данных. 🦄

Мир очень велик! 🌏И каждый идёт по своему пути. Очень интересно наблюдать какой путь приведёт компанию к мировому господству! 😱
С пятницей!

#mems
😁2
🧸 Вышла SQL Noir — игра для изучения SQL

Разработчики выпустили SQL Noir — игру для изучения SQL. По сюжету пользователю надо взять на себя роль детектива и раскрыть несколько преступлений, анализируя улики в базе данных


Еще одна похожая игра SQL Squid Game

Как же здорово, что игровые механики понемногу захватывают рынок образования. Теперь реально можно сказать маме, что новая крутая видеокарта или игровой ноут мне нужны для учебы 😁. Надеюсь, таких проектов будет всё больше и больше! Я сам начинаю внедрять в своих новые проекты подобную идеологию. Пока очень поверхностно, но думаю это будет хорошая отправная точка! 💪
🔥2
🚀 Вышла бесплатная версия коммерческой СУБД TigerGraph DB TigerGraph DB Community Edition

Здорово, что появляется все больше и больше бесплатных начальных продуктов, которые можно попробовать и оценить их удобство и мощь. Такой шаг должен стать отличным стимулом для многих разработчиков, которые хотят разрабатывать ИИ-агентов и ищут для этого подходящую инфраструктуру.

Думаю в следующем учебном году включу TigerGraph DB в свой курс по базам данных. Это тренд и его стоит детально изучить на лекциях и семинарах. 😉

❇️Почему именно сейчас?

👉Больше вычислительной мощности — можно использовать до 16 процессоров (у конкурентов до 4).

👉Более высокие ограничения по объёму памяти — 200 ГБ памяти для хранения графов и 100 ГБ памяти для хранения векторов.

👉 Полностью интегрированный гибридный поиск по графам и векторам — нет необходимости подключать векторные СУБД, что делает её идеальной базой данных для приложений на основе ИИ.

👉 Поддержка нескольких языков запросов — разработчики могут использовать GSQL, OpenCypher и ISO GQL.

👉Создано для развития агентного ИИ

❇️ Кому следует использовать TigerGraph DB Community Edition?

📌Разработчики искусственного Интеллекта и Инженеры ML
📌Специалисты по обработке данных и аналитики
📌Основатели стартапов и новаторы
📌Академические и исследовательские группы

❇️Что вы можете создать с помощью TigerGraph DB Community Edition?
📌Графики знаний на основе искусственного интеллекта
📌Персонализированный поиск и рекомендации
📌Обнаружение мошенничества и оценка рисков
📌Аналитика озер данных с помощью Iceberg
👍2
Forwarded from Arenadata
Гостем нового выпуска подкаста «Люди и код» стал основатель и технический директор компании Picodata Константин Осипов.

🎙 Он много лет занимался разработкой открытого ПО в компании MySQL, затем был главным архитектором технологии Tarantool в Mail. ru. В 2019 году Константин создал компанию Picodata. 

📞 В этом подкасте он рассказывает о СУБД Picodata: какие задачи она помогает решать и чем отличается от других систем управления базами данных. А ещё — про современный подход к R&D: 

🟩 что понимают под исследованиями и разработкой в контексте R&D; 
🟩 какие задачи нужно решить, чтобы построить R&D-отдел;
🟩 какую ценность приносит исследовательская деятельность бизнесу и каким компаниям это нужно;
🟩 какие знания необходимы R&D-инженеру и нужно ли иметь учёную степень для работы в этой области; 
🟩 кто ставит цели для исследований и как оцениваются результаты.

🔊 Слушать подкаст >>

Все новости Picodata читайте в телеграм-канале Picodata News.

#Picodata #ArenadataВПодкастах
Please open Telegram to view this post
VIEW IN TELEGRAM
🗣️ Основные тезисы с подкаста:

Развитие СУБД отстает от возможностей "железа". 🐣

Если поразмышлять, то высокая производительность не нужна. Важна минимальная скорость 📉. Как быстро будет работать СУБД в нештатных ситуациях. 🐌

То, что раньше было невозможно - становится возможным (CRM, Real-time analitics) благодаря развитию СУБД. 🧚‍♂️

Picodata сильна в малых выборках с высокой частотой (1000+) 🧞‍♂️

Мир СУБД - классический конкурс красоты (победитель забирает всё) 💃

R&D лаборатория у вендера - инвестиция в будущее 💰

Проблема всех СУБД - когнитивная сложность 🤯

SQL с нами надолго. Поэтому следует перестать беспокоиться и начать любить SQL. 💘
1
📚Почему Redis работает так быстро, несмотря на то, что он однопоточный?

Фактически это перевод статьи от сентября 2024 года, но автор дополнил её чуть большими пояснениями и иллюстрациями. Получилось хорошо. В преддверье нашей лекции по Redis в апреле месяце - отличный вариант для знакомства. 😊

Фактически это индустриальный стандарт по реализации КЭШ слоя хранения данных и даже больше. Если нужны in-memory вычисления, то точно стоит посмотреть с сторону Redis. 👍

На лекции разберем подробнее.

Valkey и DragonFly тоже 😉
Конец финансового года - пора перемен!

С пятницей

#mems
🍾3