🌟 ColPali: комбайн для построения многовекторных эмбедингов из документов с помощью VLM.
ColPali - это набор моделей, фреймворк и коллекция преднастроенных методов тонкой настройки для обработки документов разной модальности с учетом текстового и визуального содержания.
ColPali позиционирует себя как замену сложных и хрупких конвейеров OCR.
▶️ Модель
ColPali - файнтюн PaliGemma-3B с улучшенной архитектурой и уникальной стратегии обучения, которая генерирует многовекторные преставления текста и изображений в ColBERT-стиле.
▶️ Фреймворк
ColPali - набор кода для
инференса и
обучения моделей
ColPali. Поддерживаются версии 1.1, 1.2 и модель
Сolqwen2-v0.1 (ретривер на базе Qwen2-VL-2B-Instruct, построенный по аналогии с
ColPali).
▶️ColPali Cookbooks - репозиторий с набором блокнотов для изучения, файнтюна и адаптации
ColPali к RAG-системам в задачах:
🟢Создание собственных карт сходства для интерпретации выборки
ColPali;
🟢Генерации карт сходства для интерпретации ColQwen2;
🟢Файнтюн
ColPali с помощью LoRA и опционального квантования 4-bit/8-bit.
Для локального запуска
ColPali Cookbooks понадобится поддержка Jupyter Notebook в IDE или их можно попробовать в
Google Collab.
📌Лицензирование кода : MIT License.
📌Лицензирование моделей: MIT License.
🟡Набор моделей🟡Arxiv🟡Demo🖥GitHub ColPali🖥Github ColPali Cookbooks@ai_machinelearning_big_data#AI #ML #VLM #Vidore #Colpali #Cookbooks 