AnythingLLM: фреймворк для запуска агентов локально с любым ИИ на выбор

Nvidia RTX анонсирует AnythingLLM, - решение для запуска локальных ИИ-агентов, работающих автономно без облака.

Удобное приложение обеспечивает выполнение многоэтапного планирования и решения задач на домашнем компьютере.

Встроены функции хранения и анализа документов, общение по ним, векторные хранилища любого вида, поддержка всех возможных ИИ провайдеров, - Mistral, Ollama, OpenAI, Anthropic.
Автоматически подтягивает все доступные модели по API ключу.
Интегрируется и общается с SQL базами, можно создавать агентов с разными функциями, вроде:
- поиск по интернету - причем с разными провайдерами на выбор
- сбор информации с сайтов, чтение содержимого
- работа с различными RAGами
- голосовое управление агентом

Ставится как десктопное приложение или можно в докере поднять на сервере и работать через WebUI!

Главное преимущество - полный контроль над данными и независимость от интернета.

Ну тут уж я фобию переборол, установил, - решение огонь.
Проверено, рекомендую!

#NVIDIA #AnythingLLM #RTX
-------
@tsingular

🔥 AnythingLLM: OpenSource фреймворк с поддержкой документов

AnythingLLM от Mintplex Labs. Это полноценное веб-приложение, которое превращает любые ваши документы в контекст для чата с LLM.

- Поддержка и проприетарных, и опенсорсных LLM (от GPT-4 до Llama)
- 🆕 Встроенный конструктор AI-агентов без кода
- Мультимодальность (работа с изображениями)
- Поддержка разных векторных БД (LanceDB, Pinecone, Chroma и др.)
- Можно развернуть как локально, так и в облаке

Полезное для бизнеса:
1. Встраиваемый виджет чата для вашего сайта
2. Многопользовательский режим с разграничением прав
3. Полноценное API для интеграций
4. Умная система работы с большими документами (экономит деньги на токенах)

Прикольная фича - система "рабочих пространств". Это как отдельные потоки для разных задач, которые не пересекаются контекстом. То есть можно сделать одно пространство для техдокументации, другое для маркетинговых материалов и т.д.

А еще порадовала поддержка разных TTS/STT движков - от встроенного браузерного до OpenAI и ElevenLabs.

Для разработчиков: написано на React + NodeJS, можно развернуть через Docker или напрямую из исходников.

Github : 36K звезд, 113 авторов

В общем, если хотите свой собственный ChatGPT для работы с корпоративными документами - интересный вариант. И главное - бесплатный! Основной сайт из РФ - через VPN.

#Frameworks #OpenSource #AnythingLLM
———
@tsingular