RAGLAB: Революция в оценке алгоритмов NLP

Представлен RAGLAB - новый фреймворк для прозрачной оценки алгоритмов Retrieval-Augmented Generation (RAG) в NLP-исследованиях.
Платформа стандартизирует ключевые переменные, воспроизводит шесть существующих RAG-алгоритмов и оценивает их по десяти бенчмаркам.
Модульная архитектура упрощает сравнение методов и интеграцию в проверяемые модули.
Тесты выявили преимущество selfrag-llama3-70B, при этом классические системы RAG уступили прямым LLM в тестах с множественным выбором.
Т.е. с RAG нужно готовить расширенный контрекст, а дальше передавать выбор в LLM. Ну так и делаем.

Похоже, в ближайшие 5 лет будет актуальной профессия - RAG-инженер.
Слишком много получается методик и в них нужно разбираться.

#RAGLAB #NLP #RetrievalAugmentedGeneration
-------
@tsingular