Сделаю репост из блога коллеги в свой канал.

Об Redis и об DragonFly
На этой неделе вышло две новости, которые было вселили в меня надежду на то, что в экосистеме кеш-сервисов намечается серьёзная конкуренция. Во-первых, вышел третий майлстоун релиза Redis 8, в котором заявлены многочисленные улучшения производительности. Во-вторых, DragonFly объвил о продукте DragonFly Swarm, своём аналоге Redis/Valkey Cluster. Ну началось, подумал я, Valkey пушнул конкуренцию.

По факту оказалось что: Redis, похоже, просто обращает внимание пользователей на возможность включить io-threads, которая была всегда, и говорит, что так можно увеличить производительность в 2 раза. Ну мы это прекрасно видели на своих тестах, 2 раза это конечно хорошо, но это слабый скейлинг по ядрам (продиктованный родовой травмой Redis).

В свою очередь DragonFly похоже пока делает закрытый продукт - в анонсе предлагается потестировать Swarm либо в их облаке (супер-промоушен своего облака), либо обратиться к сейллзам.

Фраза дня:

А чем в основном занимается айтишник в оплаченное время? В более-менее интерпрайзном ландшафте айтишник в основном занимается поиском ответов на вопросы вида «что это за херня».

С пятницей!

#mems

📚 Postgres Professional обновила книги «Postgres: первое знакомство» и «PostgreSQL 17 изнутри»

В целом, ничем не примечательная статья. Postgres Pro ежегодно обновляют свою литературу под актуальную версию PostgreSQL.

Хотел поделиться своими планами. Ни для кого не секрет, что компания Postgres Pro пишет свои обучающие курсы (публикует их бесплатно) и проводит сертификацию для всех желающих. Эта сертификация воистину сложный процесс. По статистике экзамен сдают с 3-ого раза 🤯! То есть можно и с 1-ого раза сдать, но многие и с 6-ой попытки проваливаются.

Однако, сертификация проводится по версии PostgreSQL 13. Довольная старая версия. Вендор обещал в этом году обновить экзамен до версии PostgreSQL 16. Я жду этого момента.

Как только это произойдет, то попробую его сдать в первых рядах. Надеюсь, оригинальная книжка Егора Рогова по "PostgreSQL 16 изнутри" мне в этом поможет. И конечно же нельзя забывать и других знаменитых авторов, книги которых обязательно стоит изучить по PostgreSQL 16.

🎥 Небольшой новостной срез с Хабра.
Не скажу, что это особо ценные статьи, но для истории стоит их учесть. Авось, кому-то будет интересно.

Как фильтры Блума в 10 раз ускорили SQLite
Странно, что статью от июня 2022 года решили перевести только сейчас. В оригинале говорят указано больше деталей. Но я не сверял.

Orion soft обновил промышленную СУБД для высоконагруженных систем Proxima DB
Обычные новости и не более того. Ждем 12 марта, когда вендор на своем вебинаре расскажет обо всём подробнее. Посмотрю. 🛰

Миграция данных Cassandra с помощью Cassandra Data Migrator
Статья не для всех. Однако, здорово, что СУБД Cassandra по-прежнему актуальная для рынка РФ. Даже проекты какие-то внедряются. Надо будет по подробнее почитать по компанию "Цифра". 🔏

⚡Как гром среди ясного неба ⚡

31 марта – 01 апреля в Москве пройдёт конференция PGConf.
Russia 2025.

Традиционная конференция по СУБД PostgreSQL, её форкам и экосистеме в целом. Я стараюсь участвовать по всех московских активностях компании PostgresPro. Однако, на этот раз решил примерить на себя роль докладчика 😎

Постараюсь заявить о себе и о кафедрах МФТИ БИТ и Блокчейн. Надеюсь, получится завести новые знакомства и новые проекты! Исследовательский потенциал только растёт! 💪

С пятницей!

#mems

📚Pinecone обновляет архитектуру векторной базы данных для приложений искусственного интеллекта

Pinecone - лидер (по версии db-engines) среди истинно-векторных СУБД. Однако, у неё закрытый исходный код, нет on-premise версии (только облачная инсталляция). Казалось бы, эти факторы негативно влияют на популярность, но результат оказался иным. Давайте разберем что же нового предлагает вендор своим клиентам. 🤔

Как я говорил на лекциях, область применения векторных СУБД довольно маленькая. По сути, все задачи сводятся к поиску "ближайших соседей". Это могут делать и другие СУБД внедрив соответствующую библиотеку (Annoy,ScaNN) . Однако, всё меняется, когда вырастает нагрузка. Причем растут требования по RPS и к объему обрабатываемой информации. И сама нагрузка отличается.

В новых сценариях использования вы видите, что фактические рабочие нагрузки очень неравномерны, так что это противоположность предсказуемой рабочей нагрузке

Дополнительно подсветили еще одну проблему

Часто векторные индексы для рекомендательных систем создаются в пакетном режиме, что занимает несколько часов, — написал он в блоге. — Это означает, что такие индексы устаревают через несколько часов, но это также позволяет значительно оптимизировать индекс выдачи, поскольку его можно рассматривать как статичный

Для решения основных задач используется две архитектуры

❗️Pod-Based Architecture
Она полезная для выполнения высокопроизводительных вычислений (HPC) и 👉тем, где требуется масштабируемость и управление ресурсами.

❗️Serverless Architecture
Обладает высокоточным векторным поиском «из коробки». Не требуются экспертные знания. Предсказуемо низкие задержки.

Компания Pinecone попыталась соединить лучшее из двух миров и создать единую архитектуру. Вроде как у них это получилось 💪

Маркетинговые плюшки перечислять не буду, но идея интересная. Надеюсь, разработчики представят более подробные материалы об их инновационном решении. 👍

📚 MongoDB приобретает Voyage AI для улучшения генерации с использованием расширенного поиска

На фоне успешного индийского контракта с индийским стартапом Zepto, компания MongoDB решила прикупить стартап Voyage AI, которые специализируется на повышении качества данных и уменьшению галлюцинаций.

"Не можешь повторить - покупай" (с)

Прекрасный тезис американских бизнесменов. Обычно такими вещами промышляют ИТ-гиганты, такие, как Oracle, Microsoft, то сейчас подтягиваются и другие. В очередной раз это доказывает, что MongoDB будет делать всё возможное, чтобы развивать свою СУБД и привлекать всё больше и больше клиентов. 🤑

📚 Couchbase обеспечивает более гибкую разработку агентного ИИ с помощью NIM от Nvidia

Продолжаем цикл статей про интеграции функции ИИ в СУБД. 👀

На этот раз хочу отметить компанию Couchbase, которая для своего облачного сервиса использует возможности технологии NIM от Nvidia. Вендоры СУБД используют различные способы развития своего продукта.

Кто-то меняет архитектуру своего облачного сервиса, кто-то покупает конкурентов, а кто-то использует мощь фреймворков для более тесной интеграции оборудования и баз данных. 🦄

Мир очень велик! 🌏И каждый идёт по своему пути. Очень интересно наблюдать какой путь приведёт компанию к мировому господству! 😱

С пятницей!

#mems

🧸 Вышла SQL Noir — игра для изучения SQL

Разработчики выпустили SQL Noir — игру для изучения SQL. По сюжету пользователю надо взять на себя роль детектива и раскрыть несколько преступлений, анализируя улики в базе данных

Еще одна похожая игра SQL Squid Game

Как же здорово, что игровые механики понемногу захватывают рынок образования. Теперь реально можно сказать маме, что новая крутая видеокарта или игровой ноут мне нужны для учебы 😁. Надеюсь, таких проектов будет всё больше и больше! Я сам начинаю внедрять в своих новые проекты подобную идеологию. Пока очень поверхностно, но думаю это будет хорошая отправная точка! 💪

🚀 Вышла бесплатная версия коммерческой СУБД TigerGraph DB TigerGraph DB Community Edition

Здорово, что появляется все больше и больше бесплатных начальных продуктов, которые можно попробовать и оценить их удобство и мощь. Такой шаг должен стать отличным стимулом для многих разработчиков, которые хотят разрабатывать ИИ-агентов и ищут для этого подходящую инфраструктуру.

Думаю в следующем учебном году включу TigerGraph DB в свой курс по базам данных. Это тренд и его стоит детально изучить на лекциях и семинарах. 😉

❇️Почему именно сейчас?

👉Больше вычислительной мощности — можно использовать до 16 процессоров (у конкурентов до 4).

👉Более высокие ограничения по объёму памяти — 200 ГБ памяти для хранения графов и 100 ГБ памяти для хранения векторов.

👉 Полностью интегрированный гибридный поиск по графам и векторам — нет необходимости подключать векторные СУБД, что делает её идеальной базой данных для приложений на основе ИИ.

👉 Поддержка нескольких языков запросов — разработчики могут использовать GSQL, OpenCypher и ISO GQL.

👉Создано для развития агентного ИИ

❇️ Кому следует использовать TigerGraph DB Community Edition?

📌Разработчики искусственного Интеллекта и Инженеры ML
📌Специалисты по обработке данных и аналитики
📌Основатели стартапов и новаторы
📌Академические и исследовательские группы

❇️Что вы можете создать с помощью TigerGraph DB Community Edition?
📌Графики знаний на основе искусственного интеллекта
📌Персонализированный поиск и рекомендации
📌Обнаружение мошенничества и оценка рисков
📌Аналитика озер данных с помощью Iceberg

🗣️ Основные тезисы с подкаста:

❗Развитие СУБД отстает от возможностей "железа". 🐣

❗Если поразмышлять, то высокая производительность не нужна. Важна минимальная скорость 📉. Как быстро будет работать СУБД в нештатных ситуациях. 🐌

❗То, что раньше было невозможно - становится возможным (CRM, Real-time analitics) благодаря развитию СУБД. 🧚‍♂️

❗Picodata сильна в малых выборках с высокой частотой (1000+) 🧞‍♂️

❗Мир СУБД - классический конкурс красоты (победитель забирает всё) 💃

❗R&D лаборатория у вендера - инвестиция в будущее 💰

❗Проблема всех СУБД - когнитивная сложность 🤯

❗SQL с нами надолго. Поэтому следует перестать беспокоиться и начать любить SQL. 💘

📚Почему Redis работает так быстро, несмотря на то, что он однопоточный?

Фактически это перевод статьи от сентября 2024 года, но автор дополнил её чуть большими пояснениями и иллюстрациями. Получилось хорошо. В преддверье нашей лекции по Redis в апреле месяце - отличный вариант для знакомства. 😊

Фактически это индустриальный стандарт по реализации КЭШ слоя хранения данных и даже больше. Если нужны in-memory вычисления, то точно стоит посмотреть с сторону Redis. 👍

На лекции разберем подробнее.

Valkey и DragonFly тоже 😉

Конец финансового года - пора перемен!

С пятницей

#mems

📚 Тенденции ценообразования СУБД: Что Вам нужно знать?
Интересная статья про то, что важно не только разработать крутой продукт и популяризировать его, но и продумать стоимостную модель. В истории не мало примеров, когда ошибки в ценообразовании сводили на нет все технические и маркетинговые усилия, приводя к провалу перспективных продуктов. Даже такие гиганты, как Oracle и IBM, в своё время сталкивались с трудностями из-за негибких схем лицензирования и высокой стоимости владения их решениями.

Сегодня пользователи выбирают не только функциональность, но и прозрачность, удобство масштабирования и прогнозируемость расходов. Поэтому растёт популярность облачных сервисов и моделей оплаты по факту использования.

Если раньше цена воспринималась как что-то вторичное, то теперь это ключевая часть успеха продукта наравне с его возможностями.

Дополнительно можно глянуть небольшую статейку по теме
RDS' margin is EC2's opportunity

Начинается первый день конференции.
Уже меньше часа до моего выступления