Построение сложного RAG для работы с технической документацией

Можно ли взять любой RAG засунуть туда документацию и получить крутой ответ?
Спойлер: НЕТ

На этой неделе я исследовал возможности построения RAG-системы
для работы со сложными многосоставными 2-3-4 задания в одном запросе к технической документации
Хочу поделиться интересными находками и подходом, который дал хорошие результаты

Тестовый кейс документация Manticore Search

Для тестирования подхода я взял документацию Manticore Search - высокопроизводительной базы данных для поиска и аналитики
Она отлично подходит для скачивания есть на GitHub в формате md
- Множество взаимосвязанных концепций
- Комбинация SQL и HTTP API
- Специфичные форматы данных (векторы, JSON)
- Различные режимы работы (RT, Plain)

А теперь к проблеме

Классический подход к RAG (просто разбить документацию на чанки и искать по ним) не работает для сложных технических запросов
Например, запрос

"Покажи как оформить json чтобы делать replace в knn колонках 
RT индекса поле называется embedding и пришли пример python запроса"

Кстати предлагаю вам попробовать самим проверить свой RAG сможете ли добиться такого же ответа как у меня (в комментариях)

Такой запрос требует
- Понимания контекста (что такое RT индекс, KNN колонки)
- Объединения информации из разных частей документации
- Генерации корректных примеров кода
- Проверки технической точности

Архитектура эксперимента

- Qwen 7B (16 FP) на RTX 4090
- Multilingual E5 Large для эмбеддингов
- Собственный механизм Chain of Thought

Структура данных в Milvus:

Collection: documentation
Fields:
  - id: primary key
  - filename: string (для формирования ссылок в ответе)
  - chunk_text: string (текст чанка)
  - embeddings: float_vector[1024] (векторы от e5-large)
  - category: string (раздел документации)
  - subcategory: string (подраздел)
  - full_text: string (полный текст документа)

После поиска, объединяем найденные чанки по иерархии документации, получая ~30K токенов контекста для LLM. Ответ в формате Markdown будет содержать
- Уровень анализа запроса
- Найденные документы с их URL
- Готовые примеры кода
- Полный текст документации

Процесс обработки запроса

Query Expansion
- Используем LLM для генерации 3-5 альтернативных запросов
- Учитываем технический контекст
- Переводим на язык документации (английский)

Векторный поиск
- Для каждого расширенного запроса ищем топ-3 результата
- Получаем ~9 релевантных чанков
- Используем иерархию документации для контекста

Объединение + ответ
- Делюсь с вами своей схемой SO + CoT + Outlines + vLLM (В комментариях) + ответ модели на такой запрос

Так и по классике выводы

Что особенного и можно ли повторит?
0) Да самое важное уделить время на разработку стратегии разметки и поиска
(ой маркетинг где RAG работает с любой докой не правда? Как так? =))
1) Статический Chain of Thought
2) Оптимизация контекста по иерархии
3) Локальное развертывание
4) Понимание работы Structured Output

P.S
Решение субъективно и основано на конкретном опыте
Требуется дальнейшее тестирование на разных типах документации
Возможны ошибки при очень специфических запросах
Считаю что нужен агент планировщик поиска по документации

P.S.S Все примеры и код основаны на реальном опыте работы с технической документацией Manticore Search

@daisytranscribe_bot

Приятный фидбек по среди недели!

А ты все еще используешь платные сервисы для STT!
Учитесь как делать удобно себе

Вечная дилема выбора даже AI не помог

С праздником всех причастных ❤️❤️❤️

Deep Research за копейки?

Йоу, народ! Время рассказать, чем я тут занимался в последнее время

Спойлер: Deep Кодил

Короче, решил я окунуться в мир опенсорса на тему Deep Research
Знаете, такие штуки, которые умнее обычного гугления
И вот что я там накопал прошелся по 3-4 репо и пока вот мой топ для понимания как это работает.

Значит берем LangGraph(langsmith)
Берем tavily
Берем LLM
Берем другую LLM которая будет кодить (кстати я попробовал Cursor скоро расскажу как оно там)

1. Можно кастомить агентов с помощью Structure Output + CoT (Chain of Thought, если кто не в курсе).
2. Есть готовые репо, типа этого: https://github.com/langchain-ai/ollama-deep-researcher

Но я же не ищу легких путей! Взял этот репо и перепилил всё под себя что поменял
- Промпты обновил (добавил SO, чтоб было красиво)
- Граф немного перекроил
- Подключил свои серваки с vLLM (видюхи не простаивают!)
- Поправил промпты рефлексии

Короче, получилось вот это чудо:

https://github.com/vakovalskii/ndt-deep-researcher

И вот что самое крутое: с сегодняшнего дня почти все мои наработки будут попадать на GitHub!
Да-да, вы тоже сможете их попробовать!

Я там расписал README так подробно, что даже моя бабушка сможет повторить мой опыт создания такого агента и использования его в быту
Ну, почти 😅

Основная фишка текущего подхода - это визуализация и работа с Structured Output и работа с моделькой 7b =)
Дальше буду кастомить свой CoT

Что умеет эта штука для меня
- Работает на разных языках (прям как я после пятничного стрима "запускаем новое направление))
- Ищет инфу в интернете через Tavily (круче, чем ваша школьная разработка на силениум )


А самое интересное впереди! Скоро расскажу, как сделать монструозную систему с генерацией биг отчета и поиском инфы в нескольких источниках

Следите за обновлениями, кто хочет быть в теме!
Ну а я пошел кодить дальше, пока команда думает, что я занимаюсь "стратегическим планированием" 😎

Deep Web Research Продолжаю эксперименты на небольших моделях(локальных) сейчас в тесте t-tech/T-lite-it-1.0
Собрал сложный граф на кучи зависимостях (оно живое и работает!)
Это просто что-то Ринат бы из @llm_under_hood оценил (оч много кастомных CoT и задач рассуждений) я не думал что 7b модель может выдавать такие результаты

Просто покажу вам кусочек информации которую выдает такой подход при простом рисерче информации!

# Research Topic: Лучшие SAST анализаторы 2025 года

## Research Evolution
Исследование началось с выявления ключевых инструментов SAST и их интеграции в DevSecOps и менеджмент безопасности, а также с анализа технологических достижений в анализаторах металлов и сплавов. В ходе последующих итераций были выявлены инновации в интеграции машинного обучения в анализаторы кода и его влияние на безопасность разработки. В заключительной итерации были синтезированы все ключевые выводы и инсайты, подкрепленные соответствующими источниками.

## Comprehensive Findings
В 2025 году инструменты статического анализа кода (SAST) продолжат играть ключевую роль в обеспечении безопасности и качества программного обеспечения, особенно для групп DevSecOps и менеджеров по безопасности. Новые исследования подчеркивают важность интеграции машинного обучения в SAST инструменты для повышения их эффективности и точности. В частности, инструмент Xygeni Лидер выделяется своей способностью обеспечивать высокую точность обнаружения уязвимостей и низкий уровень ложных срабатываний, что делает его предпочтительным выбором для современных команд DevSecOps [1].

Интеграция машинного обучения в SAST инструменты, такие как Xygeni, будет способствовать ускорению и повышению безопасности разработки приложений, что подчеркивает важность использования передовых технологий в области безопасности разработки [3]. Это позволит командам DevSecOps применять проактивный и целостный подход к безопасности, гарантируя устойчивость приложений как к уязвимостям на уровне кода, так и к рискам третьих лиц.

Кроме того, инструменты анализа данных с использованием искусственного интеллекта (AI), такие как Sisense, станут еще более важными для компаний, стремящихся извлекать значимую информацию из растущих объемов данных. AI-инструменты позволят улучшить понимание данных, обеспечивая возможность прогнозного анализа и анализа трендов [1].

### Основные выводы и инсайты:

1. **Интеграция машинного обучения в SAST инструменты**: Улучшение точности и скорости обнаружения уязвимостей в приложениях [1, 3]. Это позволит снизить количество ложных срабатываний и повысить эффективность процесса анализа кода.

2. **Роль Xygeni Лидера**: Высокая точность и низкий уровень ложных срабатываний делают его идеальным выбором для DevSecOps [1]. Xygeni Лидер поддерживает бесшовную интеграцию CI/CD и обеспечивает высокоскоростное сканирование, что делает его подходящим для современных команд DevSecOps.