🔍 Microsoft Chain-of-Retrieval (CoRAG): Новый подход к умному поиску информации

Вышла очень любопытная разработка от Microsoft и Renmin University!
Они представили CoRAG - систему, которая делает поиск информации похожим на человеческий процесс мышления.

🧠 Как это работает технически

1. Пошаговый поиск: Вместо того чтобы сразу искать ответ, система разбивает запрос на маленькие подзапросы. Прямо как люди, когда решают сложную задачу!

2. Rejection Sampling: Система генерирует несколько цепочек поиска (до 16 штук) и выбирает лучшую, основываясь на вероятности правильного ответа.

3. Масштабирование на тесте: Можно управлять балансом между скоростью и качеством, регулируя:
- Длину цепочки поиска (L)
- Количество пробных цепочек (N)
- Температуру сэмплирования (0.7 по умолчанию)

4. Архитектурные фишки:
- Использует E5-large для начального поиска
- Работает с базой из 36 млн документов
- Обучается на датасете из 125k примеров

🚀 Результаты, - огонь:
- На сложных вопросах (multi-hop QA) показывает улучшение на 10+ пунктов
- Превосходит даже более крупные модели
- Отлично справляется с задачами, требующими пошагового рассуждения

💡 Примеры применения:

1. Умный поиск по документации

# Вместо простого поиска по ключевым словам
"Как настроить OAuth в Django?"

# CoRAG может построить цепочку:
"Что такое OAuth?" -> 
"Какие библиотеки OAuth есть для Django?" ->
"Как настроить social-auth-app-django?" ->
"Какие типичные ошибки при настройке?"

2. Аналитика кода

# Вместо прямого поиска проблемы
"Почему падает производительность?"

# CoRAG может:
"Какие endpoints самые медленные?" ->
"Какие SQL-запросы они используют?" ->
"Есть ли N+1 проблемы в этих запросах?" ->
"Какие индексы могут помочь?"

3. Умный дебаггер

# Система может анализировать ошибку пошагово:
"В каком контексте возникает ошибка?" ->
"Какие переменные доступны?" ->
"Похожие паттерны в логах?" ->
"Типичные решения такой проблемы?"

4. Архитектурные решения

# При проектировании системы:
"Какие требования к масштабируемости?" ->
"Какие паттерны подходят?" ->
"Примеры похожих систем?" ->
"Типичные проблемы и решения?"

Особенно круто, что всё это можно настраивать под конкретные задачи: где-то нужна скорость, а где-то - точность.

Наконец-то можно написать ЛЛМ-зануду, который засыпет ИИ дополнительными вопросами! 🤓

Paper

#Microsoft #CoRAG #RAG
———
@tsingular