💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG

— curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin

WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Доки

@sqlhub

🚀 DevToys — open-source набор инструментов для разработчика

Если кто вдруг не знает, существует замечательный набор инструментов для разработчика — DevToys.
Проект написан на C#, всего в DevToys доступно более 28 утилит, включая конвертер JSON в YAML и обратно, конвертер изображений в Base64, хеш-генераторы MD5, SHA1, SHA256, SHA512, генератор заглушек Lorem Ipsum, валидатор XML, превью разметки Markdown, среду для тестирования регулярных выражений, конвертер изображений, пипетку для выбора цветов, симулятор дальтонизма, инструмент для сжатия изображений и другие.

🖥 GitHub

@sqlhub

💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных

curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run

Spice — open-source портативная среда выполнения, предлагающая унифицированный интерфейс SQL для получения данных из любой базы данных и не только.
Spice написана на Rust для максимальной производительности.

🖥 GitHub
🟡 Доки

@sqlhub

🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain

Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД.
К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно.

Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG.
И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе.

🟡 Создание Text-to-SQL системы

@sqlhub

🌟 Lance — колоночная БД для ML- и LLM-приложений

— pip install pylance

Lance — колоночная БД для ML и LLM, реализованная на Rust.
Предназначена для работы с изображениями, видео, 3D-облаками точек, аудио и конечно с табличными данными. Поддерживает любые файловые системы POSIX, а также облачные хранилища, такие как AWS S3 и Google Cloud Storage.

Lance совместима с Pandas, DuckDB, Polars, Pyarrow.

🖥 GitHub
🟡 Примеры использования

@sqlhub

🌟 qsv — анализ и разные манипуляции с CSV-файлами

— cargo install qsv --locked --features all_features

Иногда для отдельных кейсов достаточно хранить информацию просто в csv вместо базы данных.
И в таких случаях для удобной работы можно использовать утилиту qsv.

qsv — это программа командной строки для индексирования, нарезки, анализа, фильтрации, сортировки и объединения CSV-файлов.
Для всех этих манипуляций предусмотрены простые и удобные команды.

🖥 GitHub

@sqlhub

🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML

— pip install txtai

Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров

🖥 GitHub
🟡 Доки

@sqlhub