DeepResearch Showdown: Битва AI-систем за качество исследований!

Решил по подсказке Богдана замутить честный(свой) бенчмарк систем для глубокого исследования
Потратил я уже 4 часа на сборку и анализ и вот что получилось!

Дисклеймер вопросы которые я задавал системам интересны мне т.е субъективные

Что нового?
Я собрал универсальный промпт для оценки и автоматизировал сборку ответов в полуручном варианте
Сделал сборку и верификацию реузльтатов
По каждому результату прошелся глазами и проверил что же там ответила система

Всего 5 вопросов, но каждый - с прицелом на конкретные метрики
Автоматизировал оценку через Claude 3.5 Sonnet
Добавил свой скептический взгляд в оценку
Сравнивал: OpenAI, Grok, Perplexity, NDT (мой проект на Tavily + 7B)

Метрики оценки (1-10 баллов):

Глубина (Depth) = источники + полнота не менее 10 шт
Структура (Structure) = логика + разделы + связность
Актуальность (Relevance) = даты + тренды + прогнозы (учитываю наличие этих блоков в ответе)
Методология (Methodology) = процесс + выборка + воспроизводимость (каждый вопрос кроме openai был задан 2-3 раза)
Ценность (Value) = применимость + рекомендации (насколько это информация была ценна для меня нашел ли я такое же в интернете и сильно ли это сократило время на рисерч)

Боевые задачи для тестирования:

Bitcoin: текущий курс + прогнозы (фокус: Актуальность + Методология)
SAST анализаторы 2025 с LLM (фокус: Глубина + Структура)
ITER: сроки и бюджет (фокус: Методология + Глубина)
AI-стартапы с агентами на LLM в 2025 (фокус: Структура + Ценность)
Адаптивные AI-интерфейсы и "жидкий" UX (фокус: Глубина + Актуальность)

Сами вопросы

1) Легкий уровень: Актуальный курс биткоина и прогнозы

2) Уточнение задачи: Самые лучшие SAST анализаторы 2025 года с применением LLM

3)Поиск конкретных цифр и дат: Когда будет запущен ITER сколько было потрачено денег на его создание

4) Исследование и сравнение: Перспективные идеи AI стартапов с применением агентов на базе LLM и Structured Output 2025 год сравни их по инновационности

5) Исследования и сравнения чуть сложнее 4 запроса: Найди исследование того что интерфейсы с AI функциями должны адаптироваться под запросы пользователей найди примеры гибридных подходов или "жидких" интерфейсов сделай акцент на Web app приложениях

🔥 Интересные находки:

OpenAI единственный задает уточняющие вопросы (+2 балла за это)
Мой Deep Research (cкоро выложу новую версию) на Tavily показал себя достойно с учетом 7B модели
Время обработки:
• OpenAI: до 6 минут на запрос
• NDT: 3-4 минуты
• Grok: ~1 минута (free)
• Perplexity: <1 минуты (free)

💰 Стоимость эксперимента:

OpenAI: $200 за подписку (спасибо Артему за поддержку!)
NDT: нужна 4090 + Tavily API + DevOps + Backend + NLP + Analytic (Я)
Grok & Perplexity: бесплатные версии (есть ограничения по кол-ву запросов в сутки)

Для интересующихся, все результаты OpenAI доступны по ссылкам
[1] [2] [3] [4] [5]
(особенно советую глянуть 3 и 5 исследования):

Как итог сейчас у нас места

1) Grok
2) OpenAI
3) Perplexity
4) NDT DeepReserach (на минуточку в одного разработчика за неделю)

В целом разница не сильно большая по метрикам но и если вы ищете лучшее то вывод думаю можно сделать легко

Stay tuned! Буду пилить новые эксперименты! 🚀
P.S. Кто хочет присоединиться к следующему раунду тестирования - welcome в комменты!

Enterprise RAG Challenge
Как всегда меня немного затянуло =)

Прямо сейчас участвую в Enterprise RAG Challenge от @llm_under_the_hood, и хочу рассказать, что pdf2md challenge почти в кармане.

В итоге я тестировал около 6 стратегий поиска информации
Разметка смог протестировать только одну стратегию, но и самую затратную она и заняла больше всего времени.
Я топлю за on-premise так что никаких облачных моделей все на своем железе благо мы в NDT закупились у теперь у нас есть 10 штук 4090 !

Итак, мы взяли все 100 PDF финансовых отчетов, это примерно ~14454 страниц
Из них было 3026
Общее кол-во категорий 13 (направлений)

1) Команда помогла найти топ библиотеку и конвертировала все PDF в markdown в текст.
2) Даже топ подход теряет около 2-5 % данных просто потому, что не видит кодировки или выводит ромбики. Сюда входят даже платные сервисы и самая топовая обработка

Все модели поднимаются в FP16 на vLMM
Векторная модель intfloat/multilingual-e5-large развернутая на 4 2080ti пропускная способность бешеная в 32 батч сайз


3) Я поднял наш весь свободный кластер и классифицировал все 14к страниц через 6 серверов с vLLM 4090 с развернутыми qwen 2 VL 7b instruct (это заняло примерно 2 часа времени)
На выход были вот такие:

      "has_tables": true,
      "table_count": 56,
      "content_types": {
        "image": 11,
        "mixed_image_text": 11,
        "chart": 3,
        "text": 20,
        "mixed_chart_text": 1,
        "mixed_table_text": 33,
        "table": 21
      }

4) Далее мы перевели все таблицы в markdown, img 2 markdown процесс занял у нас примерно 4 часа

5) Далее мы векторизировали часть данных (чанки + названия компаний, они были предоставлены в subset)

И загрузили в Milvus с вот такой схемой:

{
  "fields": [
    {"name": "id", "type": "Int64"},
    {"name": "text", "type": "VarChar(65535)"},
    {"name": "page_number", "type": "VarChar(10)"},
    {"name": "file_path", "type": "VarChar(2048)"},
    {"name": "company_name", "type": "VarChar(256)"},
    {"name": "embedding", "type": "FloatVector(1024)", "index": {"name": "embedding", "type": "COSINE", "nlist": 1024}},
    {"name": "company_embedding", "type": "FloatVector(1024)", "index": {"name": "company_embedding", "type": "COSINE", "nlist": 1024}},
    {"name": "sparse", "type": "SparseFloatVector", "index": {"name": "sparse", "type": "BM25"}}
  ]
}

Сейчас, кстати 6 утра, и хорошо отрабатывает вот так поиск с подходом ANN search:

{
  "query": "",
  "top_k": 5,
  "search_type": "vector",
  "text_weight": 0.7,
  "company_weight": 0.3
}

Самое важное, что при просмотре найденного контекста я беру топ 3 чанка и загружаю полные страницы из файловой системы:

{
  "results": [
    {
      "relevance": 0.8573796153068542,
      "collection": "Financial_Services",
      "text": "```markdown\n# Pintec Technology Holdings Limited\n## Consolidated Statements of Operations and Comprehensive Loss\n(RMB and US$ in thousands, except for share and per share data, or otherwise noted)\n\n### For the years ended December 31",
      "company_name": "Pintec Technology Holdings Limited",
      "file_path": "mk_embedded\\9e794a58e511f6a6a9a13b201d652deff9f9f69a.pdf.json",
      "page_number": "204",
      "id": "456258446756725963"
    },

Что хоро вижу четкую связь между названием компании, текстом и найденной страницей (достаточно близко), нет сильной разреженности
Ну и далее 4 схемы для SO в реквестах есть тип данных которые хотят видеть это упрощает жизнь, куда же без него:

NUMBER_SCHEMA = {
    "type": "object",
    "properties": {
        "value": {"type": "string"},
        "confidence": {"type": "number"},
        "reasoning": {"type": "string"}
    },
    "required": ["value", "confidence", "reasoning"]
}

BOOLEAN_SCHEMA = {
    "type": "object",
    "properties": {
        "value": {"type": "boolean"},
        "confidence": {"type": "number"},
        "reasoning": {"type": "string"}
    },
    "required": ["value", "confidence", "reasoning"]
}

И так далее для других типов под каждый типо свой промпт
На текущий момент прогнались все вопросы пошел глядеть и сабмитить!

Все херня выбрасывай

Просмотрев ответы и поняв что я чукча релевантность найденного источника желает оставлять лучшего я решил переделать на давно работающий у нас подход роутер агент под каждую компанию созданна коллекция

И что это такое а то что я каждый док гружу как коллекцию

self.router_schema = {
    "type": "object",
    "properties": {
        "collections": {
            "type": "array",
            "items": {"type": "string"},
            "description": "List of collection names that match the query"
        },
        "companies": {
            "type": "array",
            "items": {"type": "string"},
            "description": "List of company names from the query or ['unknown'] if impossible to determine"
        },
        "reasoning": {
            "type": "string",
            "description": "Brief explanation of why these collections and companies were chosen"
        }
    },
    "required": ["collections", "companies", "reasoning"]
}

Крч пошел новый прогон где я прям уверен в нормальном мапинге)))

Кстати все снова опять на qwen 7b

И уже на 40 вопросах я вижу 100% попадание

Да я учел что есть вопросы где нужно вернуть несколько коллекций!

Засабмитил с роутер агентом
Заодно ввел классификации запросов по тематикам
Я все, вырубаю сервер =)

Enterprise RAG Challenge