📚 Двигатель памяти: как векторные базы данных обеспечивают работу ИИ-помощников следующего поколения

Очень объемная статья про становление векторных баз данных и их тесной интеграции с ИИ. С множеством отсылок и мнений ключевых менеджеров и специалистов.

Для меня новым стало понимание роли векторных БД в ИИ.
Векторные БД используются для:

👉 Долгосрочной памяти (Long-Term Memory): Главная роль. Векторные БД позволяют ИИ запоминать предыдущие взаимодействия с пользователем (разговоры, предпочтения, контекст) и использовать эту информацию для более персонализированных, последовательных и релевантных ответов в будущем.
👉 Понимание контекста: Помогают ассистентам поддерживать контекст диалога на протяжении долгого времени.
👉 Быстрый доступ к знаниям: Обеспечивают мгновенный доступ к огромным объемам корпоративных или персональных данных (документы, чаты, письма) для ответов на вопросы.

Как итог всех статьи:
Векторные БД — это "двигатель памяти" (Memory Machine) 🏇, которые преобразует ИИ-ассистентов в умных помощников, которые способны учиться и поддерживать длительный диалог.

📚 InfluxDB v3: почему Rust лучше подходит для баз данных временных рядов

Статья посвящена переходу InfluxDB с языка Go на Rust при разработке версии 3 своей системы управления временными рядами (time series database).

В мире БД всё больше появляется статей про некое противостояние Go и Rust. Какой язык лучше для разработки? Как же выбрать?

На самом деле вопрос бессмысленный, т.к все упирается в задачи вашей СУБД и прямые руки разработчиков.

InfluxDB v3 построена на стеке FDAP :
👉 Apache Arrow — колоночный формат для быстрой обработки данных.
👉 DataFusion — SQL-движок с поддержкой векторизованной обработки.
👉 Parquet — формат хранения с высокой степенью сжатия.
👉 Apache Flight / FlightSQL — протоколы для быстрой передачи больших объёмов данных.

Основные преимущества Rust

Управление памятью: Rust (с системой владения и заимствования) обеспечивает предсказуемое и эффективное управление памятью без сборщика мусора (GC).
Нулевая стоимость абстракций (Zero-Cost Abstractions): Rust позволяет писать высокоуровневый и безопасный код, что важно для обработки огромных потоков данных временных рядов.
Параллелизм и Многопоточность: Система типов и модель владения Rust обеспечивают безопасную работу с памятью и потоками на этапе компиляции.

Поглядим, как это чудесное изменение повлияет на сообщество и форки InfluxDB 🤔

Парочка статей с Хабра

1️⃣Шардирование баз данных: проблемы, альтернативы, практические рекомендации
Всё больше и больше статей про шардирование БД 🌊. К чему это всё? Мне кажется это больше хайп какой-то.

"У меня на работе есть шардированная БД! Ля-ля-ля... а что у вас? До сих пор сидите на одном инстанте, фу.... как это старо... " (с)

Другого объяснения у меня нет 😁

Сама статья полезная и для своего будущего курса по распределенных БД обязательно будет упомянута.

2️⃣Data Mesh: ожидания vs реальность
К сожалению, я бесконечно далек от идеологий хранения и обработки данных на уровне предприятия, но сама тема довольно интересная. Понимание данного подхода позволяет оценить работу архитектора данных. Какими материями они мыслят.

Поиграемся с терминами...

С пятницей!

#mems

Из Физтеха в бигтехи - 1

Вы знали, что на Физтехе учат высоким нагрузкам? В прошлом году я познакомился с Константином Ратвиным, сотрудником кафедры Банковских Информационных Технологий Физтеха. Оказывается, на кафедре делается много интересного в сотрудничестве с такими компаниями как Сбер, Тарантул Лабз, Постгрес Про и других. Мы взяли небольшое интервью о том, как кафедра взаимодействует с бигтехами, и какие интересные проекты студенты выполняют.

Как Физтех в целом и ваша кафедра взаимодействует с компаниями?

Все кафедры действуют независимо друг от друга, у каждой свои уникальные договоренности. Расскажу про мою кафедру Банковских Информационных Технологий (БИТ) при Сбербанк-Технологиях. У БИТ есть программы для бакалавриата и магистратуры. Основные направления: Машинное обучение и анализ данных и Высоконагруженные распределённые системы. Мы стараемся, чтобы наши студенты знакомились с продуктами компании СберТех и после окончания академических программ смогли проще адаптироваться в компании.

Компании-вендоры могут привлекаться для чтения приглашенных лекций и демонстрации работы их продуктов. Например, есть тема в лекции, рассказать о распределенных СУБД. У нас в РФ есть продукт YDB. Почему бы не попросить вендора рассказать о ней на занятии? Или например рассказать о СУБД Redis. Преподаватель может рассказать какие-то общие факты. Возможно было бы здорово привлечь специалиста, который работает с этой СУБД довольно долго и может рассказать какие-то интересные жизненные примеры из разработки эксплуатации этой СУБД.

Такое партнертво резко увеличивает вовлеченность студентов в дисциплину, т.к. знания при таком подходе самые актуальные и востребованные. В конце обучения все студенты пишут своих выпускные квалификационные работы (ВКР). Это самая сложная пора для научного руководителя. Надо придумать 100500 вариантов тем и затем студенты должны что-то выбрать и далее начинается тяжелый путь исследования и разработки.

Каждый год составлять список уникальный тем задача крайне сложная. Но и это не самая большая проблема. Положа руку на сердце, почти все ВКР пишутся в отрыве от практических задач, «в стол». Но компании-вендоры могут сами предложить темы для исследования и проработки. И такой подход имеет смысл для компании, для сообщества, и значительно повышает мотивацию юного ученого, т.к. он видит, что его труд нужен еще кому-то кроме кафедры и научрука.

Дипломный проект с компаниями - что это за формат, предполагает ли он стажировки? Как производится отбор на стажировки?

Дипломный проект с вендором – это привилегия, а не стандартный формат. И как любую привилегию её нужно заслужить.

Приведу пример с Tarantool Labs. Студент подает заявку на участие. Затем проходит 2 этапа собеседования. После чего принимается решение о его зачислении. Этапы не простые. В прошлом году из четырех заявок моих студентов одобрили только одну.

В этой лаборатории студентам предлагаю темы потенциальных исследование. Студент выбирает её и затем ему назначается куратор. Далее этот куратор на протяжении месяцев ведет свою работу. По окончанию у студента есть реальный практических опыт работы с продуктом Tarantool и фактичски готовая ВКР.
Это уникальное взаимодействие. Чаще всего мое взаимодействие с вендором сводится к выпрашиваю списка тем для исследований. Если студенту тема понравилась, то он начинает её самостоятельную проработку и может иногда задавать вопросу какому-нибудь специалисту от вендора и не более того. В любом случае это лучше, чем ничего.

В следущих постах - три студенческих проекта:
- встраивание векторного поиска в Apache Ignite
- тесты детерминированного исполнения для СУБД Tarantool
- генератор повреждений и метод восстановления данных из СУБД PostgreSQL

(продолжение следует)

Если кто-то из знакомых уже разобрал интересную тему по СУБД, то проще сделать репост, чем повторять то же самое 😎

От себя добавлю вот что... PostgreSQL — безусловный ТОП-1 на рынке РФ. Туда же относятся и все его форки. Я, конечно, тоже не прочь урвать кусок пирога с рынка ИТ-образования в сфере СУБД, но, если честно, особой тяги к PostgreSQL у меня нет. Во многом потому, что ниша слишком переполнена. Контент-мейкеров по Postgres — тьма-тьмущая, а тягаться в ВУЗах с проектами от PostgrePro в одиночку нереально. Была бы команда... вот тогда другой вопрос 🙄

Поэтому я решил сконцентрироваться на NoSQL и DistributedSQL. Контента в этих категориях в разы меньше, и есть шанс создать что-то действительно редкое, а то и уникальное.

Положа руку на сердце, основные деньги всё же у тех, кто работает в экосистеме PostgreSQL. Так что если поступит хорошее предложение о совместных проектах — почему бы и не поучаствовать? 🤑

Очень надеюсь до конца лета выпустить 1-2 авторские статьи 👨‍🎓, а дальше буду молиться и надеяться, что на кафедре студенты запишутся на мои факультативы 🧖

В офисе: Большое интервью про Postgres с Олегом Бартуновым (Рубрика #Database)

Посмотрел интересное интервью с Олегом Бартуновым, генеральным директором и сооснователем компании Postgres Professional, ведущим разработчиком (Major Contributor) PostgreSQL, членом сообщества PostgreSQL Foundation. Интервью брал Ваня Боталов, автор канала "Деплой". Ребята говорили больше двух часов и обсудили целую пачку тем, среди которых я бы выделил

1. Путь Олега к IT
Олег начинал как астроном, но понял, что астрономия - это наука о данных. В 1990-х годах познакомился с технологией баз данных в университете UCSC, США, где узнал о PostgreSQL. С 1996 года стал активным участником сообщества PostgreSQL, но астрономом быть не перестал:)
2. Создание Postgres Professional
Компания Postgres Professional была основана в 2015 году, хотя еще в 2005 году Олег написал письмо в Министерство экономики о необходимости создания российской базы данных. Тогда он ответа не получил, а лет через 10 решил взять дело в свои руки. В итоге, компания стала крупнейшим российским разработчиком СУБД на базе PostgreSQL.
3. Критика IT-образования в России
Олег критикует университетское образование, которое готовит "пользователей Microsoft и Oracle", а не системных разработчиков. Он подчёркивает важность фундаментального образования и системного мышления, а не только прикладных навыков. Прикольно, что он не только критикует, но и сам работает над улучшением образования, создавая программы обучения и взаимодействуя со студентами.
4. Импортозамещение и технологическая суверенность
После ухода Oracle и Microsoft из России в 2022 году появились новые возможности для роста российских СУБД. Россия показала миру, что можно жить без Oracle и Microsoft. PostgreSQL в России поднялся на передний край благодаря высоким требованиям к производительности.
5. Open Source и международное сообщество
Postgres Professional занимает 2-3 место в мире по вкладу в развитие PostgreSQL. Компания активно участвует в международных конференциях, включая организацию PGConf.Nepal. Бартунов отмечает кризис в open source из-за попыток монетизации - фактически, это приводит к дрифту лицензий части продуктов в зону Шредингера, где софт оказывается в дуально открыто/закрытом состоянии:)
6. Искусственный интеллект и будущее программирования
ИИ рассматривается как новая промышленная революция. Профессия программиста изменится: прикладные разработчики могут исчезнуть, но появятся новые специальности. Важно учить детей критическому мышлению и пониманию технологий.
7. Проблемы изоляции IT
Изоляция мешает развитию, поскольку новые идеи рождаются в общении и конкуренции. Россия отстаёт от Америки в развитии технологий на 2-3 года. Политические факторы приводят к разделению рынков.
8.Государственная политика и развитие IT
Бартунов критикует работу с министерствами, предпочитая прямое сотрудничество с университетами. Государство должно чётко определить стратегию развития IT и создать условия для возвращения специалистов.

Если суммировать тезисы, c большей частью из которых я согласен, то
- Россия должна развивать не только прикладное, но и системное программирование, воспитывая собственных разработчиков СУБД и другого системного ПО.
- Уход западных вендоров создал возможности для роста российских IT-компаний. Postgres Pro стала примером успешного импортозамещения в области СУБД.
- Качественное IT-образование должно начинаться со школы и включать фундаментальные знания, а не только изучение конкретных технологий.
- Участие в международных open source проектах позволяет российским разработчикам оставаться частью глобального сообщества и развивать конкурентоспособные продукты.
- Необходимо готовить новое поколение специалистов, понимающих работу с ИИ и способных адаптироваться к изменениям в профессии.

В общем, мне понравилось это интервью - все четко и по делу:)

#Database #Management #Leadership #Software #Engineering

📚В продолжении предыдущего поста про статьи на Хабре...еще троечка )))

1️⃣Книга: «Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд.»
Только буквально недавно писал про Data Mesh и вот, книга для тех, кто не в теме, но хочет быть в теме. Поеду в отпуск, куплю, полистаю. Тема очень интересная для общего развития.

2️⃣Семантическое моделирование. Проектирование БД с помощью ER-модели
Если бы эта статья вышла в октября-ноябре или в марте-апреле, то цены бы ей не было! Простая статья про проектирование базы данных для студенческих проектов. Не более того, к сожалению.
Как правильно заметили в комментариях, не хватает современного взгляда. Где современные стандарты моделирования (Linked Data \ Semantic Web)? Как JSON помогает решать проблему связи многие-ко-многих и т.д. Почему-то об этом никто не пишет.

3️⃣Хоронить HDD рано: Seagate выпустила самый вместительный жесткий диск в истории — 40 ТБ
В очередной раз поражает развития современных технологий! Жесткий диск в 40 ТБ! Один! Ужас! Объемы потрясающие и по адекватной цене. И компании на рынке те же, что и были 30 лет назад: Seagate, Western Digital и Toshiba. Тащат индустрию вперед со своими уникальными технологиями! Эхххх, жаль у нас такого нет.

📚 Как-то много разборов статей с Хабра, но ничего не поделать... Особо ничего интересного не происходит.

1️⃣ Что такое OLTP: просто о сложном
В целом, мне понравилась статья или текст (как некоторые его называют). Единственное, что она черезчур объемная. Можно было и покороче и конечно прослеживается ИИ сгенированный текст. Я не против, но стоит лучше скрывать следы.

Для студентов подходит 100%. Как показывают практика многие выпускника до сих путают OLTP, OLAP, HTAP понятия. Странно, но факт.

2️⃣ Firebird Conf 2025
Не получилось у меня побывать на конференции. Много работы. Посмотрю как-нибудь видосы и если будет, что сказать, то напишу.
Что касаемо статьи, то кажется, что сообщество firebird начало расти и мы наконец-то увидим больше внедрений этой СУБД. Возможно 🙂
Скорей всего по требованию гос-тендеров они внедрили сертификацию. Теперь можно сдавать экзамены и получать сертификаты, а не просто, прослушал курс - держи бумажку.

3️⃣ Как заставить вашу базу данных летать, а не ползать. Часть 2 – когда репликации недостаточно и пора использовать шардинг
Вроде бы неплохая статья, но автор видимо совсем не стесняется использовать ИИ. Хоть бы попытался замаскироваться что ли 🙂
Текст в ней полезный и не противоречивый, но довольно поверхностный. Я думаю задай вы вопрос ИИ-агенту напрямую, то получили ничуть не хуже ответ.

📚 Beyond Durability: Database Resilience and Entropy Reduction with Write-Ahead Logging at Netflix

Авторы — инженеры Netflix Prudhviraj Karumanchi и Vidhya Arvind — рассказывают о создании сервиса write-ahead log (WAL) для повышения надёжности и долговечности данных, особенно в условиях масштабных инфраструктурных сбоев, распределённых транзакций и "мульти-базовых" состояний.

WAL as Service - интересное решение! Действительно, если у тебя в бизнес-процессах множество распределенных транзакций, то для поддержки нужно уровня надежности WAL как сервис - крутая идея!

WAL обеспечивает следующее:
👉 durability – сохранение изменений;
👉 traceability – отслеживание;
👉 ordering guarantees – строгий порядок;
👉 replay capability – возможность повторного воспроизведения

Netflix внедрил собственный сервис WAL как универсальный слой между клиентами и базами данных. Это позволило повысить надёжность, сохранить порядок транзакций, устранить потери в "многобазовых" сценариях и сделало систему масштабируемой и расширяемой.

Немного об опыте работы с ИИ-ассистентом.

Во время проработки выпускной квалификационной работы со студентами мы задали вопрос ИИ: "Каким цветом изображается проводка на поэтажном плане помещения?"

ИИ дал очень качественный ответ со ссылкой на ГОСТ Р 21.1703-2000 и т.п. Не придраться. Казалось бы, всё супер! Однако, один из студентов заметил, а точно ли ГОСТ верный? Прошло уже 25 лет. Может есть еще какие-то правила?

Написали следующий вопрос: "ГОСТ Р 21.1703-2000. Есть ли более новый ГОСТ?"

ИИ как ни в чем не бывало пишет, что да, ГОСТ Р 21.1703-2000 устарел и теперь всё немного по другому...

Мораль: нельзя слепо доверять ИИ. Всегда сомневайтесь в его ответе и задавайте уточняющие вопросы.

С пятницей!

#mems

📚 Новый OLTP: Postgres с раздельными вычислениями и хранилищем

Я как-то писал о том, что Databricks купил компанию Nexon и вот результат покупки - новая РСУБД Lakebase, которая входит в платформу Databricks Data Intelligence.

По сути Lakebase - это модульная СУБД в которой, как утверждают авторы, разделен compute engine от storage. Система во время выполнения запроса может регулировать свою вычислительную мощность.

Написано, что Lakebase это OLTP, но судя по описанию, это больше похоже на HTAP СУБД, которая прекрасно переваривает любую нагрузку.

Подожду отзывы пользователей и тогда будет понятно насколько это крутое решение.

🎥 Новый UUID как первичный ключ в вашей базе данных / Yandex Cloud - Андрей Бородин (Яндекс)

❗Презентация

Шикарный доклад! Даже добавить особо нечего.

🎥 AI, PostgreSQL vs MySQL, Cloud Native database, один день из жизни DBA - Вадим Бобцов

Забавное интервью о роли DBA в жизни компании.

Перечислю факты, которые меня зацепили:
👉 Вадим из Белоруссии переехал на Кипр
👉 DBA могут позволить себе далеко не все компании. Всё-таки это профессия для компаний среднего или выше сегмента.
👉 Есть ощущение, что у развивающихся стартапов есть запрос на консалтинговые услуги DBA. Быть DBA фрилансеров вполне себе норм.
👉 На DBA не учат в ВУЗах. Этому учат на курсах.
👉 Вадим попал в Wargaming исключительно благодаря тому, что ВУЗ сотрудничал с этой компанией.
👉 Wargaming проводил доп.обучение студентов и предлагал стажировки.

Итого: стажировка - это шикарная возможность попасть в интересующую вас компанию на ранних этапах. Компании берут в приоритете тех, кто проходил их обучающий контент.
С "улицы" устроиться всегда сложнее.

Когда-то до популярности ИИ это был прекрасный мем. Сейчас он всё менее и менее актуальный...

С пятницей!
#mems

Ох, уж эта вечная борьба...

С пятницей!
#mems

Всем приветики-пистолетики! 🔫

Я чуть-чуть бездельничаю и ничего не пишу в канал. Может быть позже напишу о своей прокрастинации и как именно я отдыхаю 📺👀. А пока поделюсь с вами планами на осень.

1️⃣ 23 сентября - Data Internals X — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных

Буду выступать в качестве автора и ведущего сессии: "Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?»"

Поговорим о том о сём и об образовании конечно! Будет интересно! 😜

2️⃣ 6 октября - PGConf.Academy 2025 — практическая конференция для преподавателей информационных технологий от Postgres Professional

Выступаю с докладом: "Эволюция дисциплины «Системы Баз Данных» в МФТИ на кафедре БИТ" 🧐

Дисциплине уже 6 лет и есть чем поделиться с сообществом.

Осень ожидается очень насыщенной! ☄️ Я подумываю выступить на еще одной конференции в ноябре... но пока собираюсь с мыслями 🤪

p.s. подтверждение от программного комитета конференций я уже получил.

При устройстве на новую работу вам могут назначить наставника. Ранее за это не особо любили доплачивать, но сейчас почти во всех компаниях платят какие-то деньги. Даже должностные инструкции поменяли под это.

По идее такой человек более мотивирован помогать новичкам

С пятницей!
#mems

Есть такая теорема – BAC (Backup, Availability, Consistency), по аналогии с CAP.
Она звучит так: при резервном копировании всей системы микросервисов нельзя одновременно обеспечить и доступность, и согласованность.

Чтобы раскрыть суть, стоит посмотреть на бэкапы с позиции архитектурных компромиссов:
◼︎ Бэкапить сервисы по отдельности – но тогда при восстановлении данные могут быть несогласованными (например, один сервис сохранил событие, а другой нет)
◼︎ Согласованный бэкап – все сервисы бэкапятся одновременно, но в это время система становится недоступной для изменений
◼︎ Не делать резервных копий – сохраняются доступность и согласованность, но без бэкапов

И даже в такой, казалось бы, банальной вещи, как бэкапы для микросервисов все немного усложняется, в итоге:
◼︎ Приходится выбирать, где важнее согласованность, а где доступность (и обосновывать это)
◼︎ Выбирать стратегии под конкретные сервисы, например, где нужна строгая согласованность (вроде платежей) - кооринированные бэкапы, а где согласованность не так критична, вроде ленты новостей, условных лайков или статитики просмотров, – индивидуальные бэкапи + реплей событий.

Поделитесь в комментариях, как бэкапите решения на MSA, с какими проблемами сталкиваетесь, как решаете

Почитать подробнее тут: https://design.inf.usi.ch/sites/default/files/biblio/bac-theorem.pdf

С пятницей!

#mems