🌟 qsv — анализ и разные манипуляции с CSV-файлами

— cargo install qsv --locked --features all_features

Иногда для отдельных кейсов достаточно хранить информацию просто в csv вместо базы данных.
И в таких случаях для удобной работы можно использовать утилиту qsv.

qsv — это программа командной строки для индексирования, нарезки, анализа, фильтрации, сортировки и объединения CSV-файлов.
Для всех этих манипуляций предусмотрены простые и удобные команды.

🖥 GitHub

@sqlhub

🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML

— pip install txtai

Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров

🖥 GitHub
🟡 Доки

@sqlhub

💻 Релиз новой версии nxs-data-anonymizer 1.9.0 — инструмента анонимизации баз данных

Опубликован nxs-data-anonymizer 1.9.0 — инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0.

Программа поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Nxs-data-anonymizer можно использовать через неименованные каналы (pipe) в командной строке для перенаправления дампа из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Процесс анонимизации может быть индексирован - через указанные промежутки выводятся данные о прогрессе выполнения операции. Благодаря внешним командам через добавление в значение столбца "type: command" можно задавать значение полей.

В зависимости от типа сущностей в настройках безопасности инструмент анонимизирует столбцы для таблиц с правилами, описанными в разделе filters. Если таблица не содержит никаких правил, данные все равно будут в надёжно защищены, так как анонимайзер не включит их в результирующий дамп.

🖥 GitHub

@sqlhub

💻 node-postgres — удобный клиент PostgreSQL для Node.js

— npm install pg

node-postgres представляет собой набор модулей Node.js для взаимодействия с PostgreSQL.
В node-postgres есть поддержка колбеков, промисов, async/await, пула соединений, курсоров, привязки к C/C++ и многого другого.
node-postgres написан на чистом JavaScript

🖥 GitHub
🟡 Доки

@sqlhub

💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG

— curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin

WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Доки

@sqlhub

💻Doris — простая в использовании, высокопроизводительная и универсальная аналитическая БД

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.3-bin-x64.tar.gz
tar zxf apache-doris-2.0.3-bin-x64.tar.gz
mv apache-doris-2.0.3-bin-x64 apache-doris

JAVA_HOME=/home/doris/jdk8

./bin/start_fe.sh --daemon

Если кто ещё не сталкивался, существует Doris — быстрая БД на основе MPP. При запросах к большим массивам данных она возвращает результаты за пару секунд.

С использованием Doris можно создавать приложения для анализа поведения пользователей, платформы для A/B-тестирования, анализа логов и заказов в e-commerce.

🖥 GitHub
🟡 Доки

@sqlhub