VLM заменит CV?
Ты знал что qwen 2.5 VL вернет тебе bbox?
А теперь магия без рук!
Я взял этот квен Qwen2.5-VL-72B-Instruct-FP8-Dynamic
Взял на иммерс эту тачку https://immers.cloud/flavor/view/?id=984 (Цена, месяц = 269 660,16 ₽)
Наконец дождался пока vLLM обновится и станет поддерживать 2.5 VL
Взял вот такой код
Получил вот такой ответ
Но это только начало просто вернуть bbox таблицы это легко
По мимо этого мы можем получить содержимое, но ведь есть кейсы сложнее
А что если прислать сообщения из тг например?
Определить sender'ов и сразу в один проход достать текст?
Да на х4 4090 это около 35 секунд, но!
Сам текст она достала нем немного ужасно, но с этим уже можно работать!
Я вас направил! Дальше я думаю вы знаете как использовать это в бизнесе и стартапах!
Ты знал что qwen 2.5 VL вернет тебе bbox?
А теперь магия без рук!
Я взял этот квен Qwen2.5-VL-72B-Instruct-FP8-Dynamic
Взял на иммерс эту тачку https://immers.cloud/flavor/view/?id=984 (Цена, месяц = 269 660,16 ₽)
Наконец дождался пока vLLM обновится и станет поддерживать 2.5 VL
Взял вот такой код
OBJECT_JSON_SCHEMA = {
"type": "object",
"properties": {
"objects": {
"type": "array",
"items": {
"type": "object",
"properties": {
"bbox_2d": {
"type": "array",
"description": "Coordinates of the table bounding box [x1, y1, x2, y2]",
"items": {
"type": "integer"
}
},
"label": {
"type": "string",
"description": "Object label, e.g. 'table'"
}
},
"required": ["bbox_2d", "label"]
}
}
},
"required": ["objects"]
}
Получил вот такой ответ
{
"id": "chatcmpl-9a5edf7433e246b78376c4f18bdbf263",
"object": "chat.completion",
"created": 1741078401,
"model": "qwen2.5-vl-72b-instruct",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"reasoning_content": null,
"content": "{\"objects\": [{\"bbox_2d\": [54, 126, 532, 434], \"label\": \"table\"}]}",
"tool_calls": []
},
"logprobs": null,
"finish_reason": "stop",
"stop_reason": null
}
],
"usage": {
"prompt_tokens": 724,
"total_tokens": 760,
"completion_tokens": 36,
"prompt_tokens_details": null
},
"prompt_logprobs": null
}
Но это только начало просто вернуть bbox таблицы это легко
По мимо этого мы можем получить содержимое, но ведь есть кейсы сложнее
А что если прислать сообщения из тг например?
Определить sender'ов и сразу в один проход достать текст?
"objects": [
{
"bbox_2d": [
58,
292,
540,
360
],
"label": "Кстати вы знали что Qwen 2.5 VL может выдавать bbox объектов? https://qwenlm.github.io/blog/qwen2.5-vl/",
"sender": "user1",
"type": "text"
},
{
"bbox_2d": [
60,
374,
276,
404
],
"label": "о спасибо попробую",
"sender": "user2",
"type": "text"
},
{
"bbox_2d": [
60,
413,
490,
466
],
"label": "00:19, 72.9 KB",
"sender": "user2",
"type": "voice"
}
Да на х4 4090 это около 35 секунд, но!
Сам текст она достала нем немного ужасно, но с этим уже можно работать!
Я вас направил! Дальше я думаю вы знаете как использовать это в бизнесе и стартапах!
👍17🔥6❤3
Forwarded from AI для Всех (Artemii)
This media is not supported in your browser
VIEW IN TELEGRAM
🔥10😁4
Снова ваш карманный AI-эксперт летал в Москву и вместе с командой @red_mad_robot рассказывал и обучал.
Речь как всегда, шла вокруг LLM и GenAI
Как вывод: сейчас всё меняется очень быстро
Полгода назад мы рассказывали про Naive RAG, а сегодня про MAS, MCP Deep Research и LLaDa
Что ж, попрактиковался с микрофоном, были очень интересные вопросы!
Речь как всегда, шла вокруг LLM и GenAI
Как вывод: сейчас всё меняется очень быстро
Полгода назад мы рассказывали про Naive RAG, а сегодня про MAS, MCP Deep Research и LLaDa
Что ж, попрактиковался с микрофоном, были очень интересные вопросы!
🔥34 11❤6
Neural Deep pinned «Мои пет-проекты в AI: от идеи до 9000 MAU за год Я тут по-тихому разрабатываю через Claude инструменты, которыми пользуюсь каждый день сам, и по недавней выгрузке имею ~9 000 активных пользователей в месяц Некоторым проектам меньше месяца, некоторым больше…»
This media is not supported in your browser
VIEW IN TELEGRAM
С 8 марта, вас ожидает чело́век павук
😁23🔥13 8❤5
Провожу исследование разных подходов retrieval (лучшего поиска информации на основе датасета RAG челенджа и спасибо @IlyaRice (1 место) в предоставленных данных
Задача проверялась простая найти самый релевантный контекст(страницу) из 13 тысяч для ответа LLM на вопросы финансовых отчетов
Перед запуском использовался простой query expansion с парой few-shot примеров
few-shots генерировались на основе вычитки в документы где точно знаем ответ (подбор релевантности)
(В E5 и bge-m3 не использовалось более одного примера в логах — переделаю)
Кейс запуска!
E-5 (без реранкера)
bge-m3 (без реранкера)
OpenAI Small (без реранкера)
Скоро запущу прогоны с кросс-энкодером!
Также создам коллекцию с крупными моделями векторизации.
Average Pairwise Match Scores (с лучшим результатом Ильи:
Matches with ilyaRice o3 (Base Model):
Задача проверялась простая найти самый релевантный контекст(страницу) из 13 тысяч для ответа LLM на вопросы финансовых отчетов
Перед запуском использовался простой query expansion с парой few-shot примеров
few-shots генерировались на основе вычитки в документы где точно знаем ответ (подбор релевантности)
Exemple:
1) Original query: Did Downer EDI Limited announce a share buyback plan in the annual report? If there is no mention, return False.
Expansions query: Share buyback plan
2) Original query: According to the annual report, what is the Cash flow from operations (in USD) for Wheeler Real Estate Investment Trust, Inc. (within the last period or at the end of the last period)? If data is not available, return 'N/A'.
Expansions query: Cash flow from operations (in USD) last period or at the end of the last period
3) Original query: For Aurora Innovation, Inc., what was the value of Number of patents at year-end at the end of the period listed in annual report? If data is not available, return 'N/A'.
Expansions query: Total count of patents over company owned
(В E5 и bge-m3 не использовалось более одного примера в логах — переделаю)
Кейс запуска!
E-5 (без реранкера)
bge-m3 (без реранкера)
OpenAI Small (без реранкера)
Скоро запущу прогоны с кросс-энкодером!
Также создам коллекцию с крупными моделями векторизации.
Average Pairwise Match Scores (с лучшим результатом Ильи:
Ope-ily: 66.00%
Ope-E5-: 28.00%
Ope-BGE: 17.00%
ily-E5-: 31.00%
ily-BGE: 20.00%
E5--BGE: 14.00%
Matches with ilyaRice o3 (Base Model):
OpenAI Small (No Reranker): 66.00%
E5-large: 31.00%
BGE-M3: 20.00%
🔥21❤7👍3
Forwarded from Лёха ведет дневник
Кто-нибудь успел затестить GigaChat 2 MAX, которую сегодня зарелизил Сбер?
Глядя на бенчмарки, обгоняет GPT4o и Qwen 72B (вот с этими модельками у меня достаточно взаимодействия было, и я знаю, на что они способны)
Выглядит так, что на русском языке это сейчас лучшая модель (но надо потестить конечно же)
Все жду, когда будет релиз Structured Output, вот тогда можно будет создавать нормальные агентские сценарии 😎
@alexs_journal
Глядя на бенчмарки, обгоняет GPT4o и Qwen 72B (вот с этими модельками у меня достаточно взаимодействия было, и я знаю, на что они способны)
Выглядит так, что на русском языке это сейчас лучшая модель (но надо потестить конечно же)
Все жду, когда будет релиз Structured Output, вот тогда можно будет создавать нормальные агентские сценарии 😎
@alexs_journal
2 18👍7
Forwarded from LLM под капотом
Можно запускать новые Enterprise RAG эксперименты!
49 человек попросило запустить заново Enterprise RAG Challenge Submission API, чтобы можно было поставить еще несколько экспериментов.
Он запущен по новому адресу - https://rag.abdullin.com
Можете отправлять свои новые эксперименты туда. Только, пожалуйста, не забывайте заполнять форму с протоколом эксперимента. Так мы сможем потом подвести итоги и проанализировать.
Самый интересный сейчас момент - это полностью локальные системы, у которых локально работает все - parsing/OCR, embeddings (если они есть) и LLM. В Leaderboards у нас пока помечены как локальные системы только те архитектуры, в которых LLM локальный. Я потом постараюсь добавить колонку для
Если верить цифрам R-Score/G-Score, узкое место полностью локальных систем - это retrieval. Если в облаке openai large embeddings творят чудеса, то с локальными системами еще предстоит разобраться.
Тут дополнительно варианты разные варианты retrieval в Enterprise RAG Challenge уже изучали Valerii и Илья (см https://t.iss.one/neuraldeep/1348 в NeuralDeep).
Мне кажется перспективным направлением решение Dmitry Buykin. Оно работает в облаке, но вместо embeddings использует онтологии с SO/CoT чеклистами. Теоретически тут “R Score” может упасть не так сильно при переносе на локальные модели.
Ваш, @llm_under_hood 🤗
PS: Если останется интерес, то можно попробовать через пару месяцев прогнать новый раунд ERC. С тем же генератором вопросов, но с новыми файлами.
49 человек попросило запустить заново Enterprise RAG Challenge Submission API, чтобы можно было поставить еще несколько экспериментов.
Он запущен по новому адресу - https://rag.abdullin.com
Можете отправлять свои новые эксперименты туда. Только, пожалуйста, не забывайте заполнять форму с протоколом эксперимента. Так мы сможем потом подвести итоги и проанализировать.
Самый интересный сейчас момент - это полностью локальные системы, у которых локально работает все - parsing/OCR, embeddings (если они есть) и LLM. В Leaderboards у нас пока помечены как локальные системы только те архитектуры, в которых LLM локальный. Я потом постараюсь добавить колонку для
Fully Local
.Если верить цифрам R-Score/G-Score, узкое место полностью локальных систем - это retrieval. Если в облаке openai large embeddings творят чудеса, то с локальными системами еще предстоит разобраться.
Тут дополнительно варианты разные варианты retrieval в Enterprise RAG Challenge уже изучали Valerii и Илья (см https://t.iss.one/neuraldeep/1348 в NeuralDeep).
Мне кажется перспективным направлением решение Dmitry Buykin. Оно работает в облаке, но вместо embeddings использует онтологии с SO/CoT чеклистами. Теоретически тут “R Score” может упасть не так сильно при переносе на локальные модели.
Ваш, @llm_under_hood 🤗
PS: Если останется интерес, то можно попробовать через пару месяцев прогнать новый раунд ERC. С тем же генератором вопросов, но с новыми файлами.
👍19❤5
Продолжаю эксперименты по документам из RAG Challenge
Задела эта тема так как это финансовые документы и наконец есть результаты (правильные ответы)
Собрал стенд с разными векторными моделями и подходами поиска и составить для себя лучший автоматический пайплайн поиска и ответа
На скрине оценка качества retrieval, сравнение моих двух подходов на базе векторов openai (small/large) моделей + query expansion CoT)
+ Я почти правильно собрал метрики подсчёта оценки так как почти такие же метрики у Ильи (первое место)
В комментариях приложу md файл + html для вашей оценки
P.S Забыл самое важное
small openai для векторов подойдет когда вы хотите с экономить но если вам важны очень хороший ретривал и высокая разница в score то в финансовом секторе пока ничего лучше large от openai нет)
Задела эта тема так как это финансовые документы и наконец есть результаты (правильные ответы)
Собрал стенд с разными векторными моделями и подходами поиска и составить для себя лучший автоматический пайплайн поиска и ответа
На скрине оценка качества retrieval, сравнение моих двух подходов на базе векторов openai (small/large) моделей + query expansion CoT)
+ Я почти правильно собрал метрики подсчёта оценки так как почти такие же метрики у Ильи (первое место)
В комментариях приложу md файл + html для вашей оценки
P.S Забыл самое важное
small openai для векторов подойдет когда вы хотите с экономить но если вам важны очень хороший ретривал и высокая разница в score то в финансовом секторе пока ничего лучше large от openai нет)
❤13🔥8 4
Forwarded from red_mad_robot
AI_tools_2025_red_mad_robot.pdf
7.7 MB
Рынок перенасыщен AI-решениями, но далеко не все из них дают бизнесу измеримую пользу. Важно понимать, какие инструменты оптимизируют процессы, снижают затраты и повышают эффективность.
Команда red_mad_robot AI собрала подборку рабочих сервисов — сохраняйте, делитесь и дополняйте список в комментариях.
P.S. Это первая часть подборки — в ней собраны только международные инструменты. В следующем выпуске разберём российские решения.
#AI_moment
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19👎2 2🤨1
Forwarded from Лёха ведет дневник
Периодически буду делиться тем, чем занимаемся на работе и какие продукты и полезные штуки делаем
Знакомьтесь — @daisytranscribe_bot⚡
Это бесплатный ТГ-бот транскрибатор (переводит аудио в текст) и у него есть несколько приятных особенностей:
1⃣ Поддержка файлов длительностью до 160 минут
2⃣ Максимальный размер файла — 2 GB! (покажите мне хоть одного такого бота)
3⃣ Поддержка нескольких языков
4⃣ Разделение спикеров по ролям
5⃣ Возможность задать кастомный промпт для работы с распознанным текстом
На текущий момент бот обработал более 55 тыс. файлов суммарной длительностью более 12 тыс. часов.
Пользуйтесь на здоровье🩵
@alexs_journal
Знакомьтесь — @daisytranscribe_bot
Это бесплатный ТГ-бот транскрибатор (переводит аудио в текст) и у него есть несколько приятных особенностей:
На текущий момент бот обработал более 55 тыс. файлов суммарной длительностью более 12 тыс. часов.
Пользуйтесь на здоровье
@alexs_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥19
Deep Research Showdown теперь на Хабре
Йоу, народ 👋
Переписал свои изыскания про Deep Research на Хабр. Если вам интересно, как я мучил LLM-ки, сравнивал OpenAI, Grok, Perplexity и свой NDT на Tavily, то залетайте, читайте и поднимайте мне карму! 🙏
Это моя первая статья на Хабре, буду рад вашим комментариям🩶
Йоу, народ 👋
Переписал свои изыскания про Deep Research на Хабр. Если вам интересно, как я мучил LLM-ки, сравнивал OpenAI, Grok, Perplexity и свой NDT на Tavily, то залетайте, читайте и поднимайте мне карму! 🙏
Это моя первая статья на Хабре, буду рад вашим комментариям
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Deep Research Showdown: битва AI-систем за качество исследований
Как я сравнил топовые AI-модели для глубокого анализа данных и собственную разработку Привет! Меня зовут Валера Ковальский, я CEO NDT by red_mad_robot. Недавно я протестировал ведущие AI-системы,...
2🔥26👍10 3
Forwarded from Korenev AI - GPT в тапочках🩴
Ловите новый вкусный видос!
Там мы разбираем, как научить LLM новым навыкам, начиная с простых методов и заканчивая продвинутыми техниками. Парни делятся реальным опытом! Одна только история про автоматическое формирование отчетов с LLM только чего стоит!
В пасхалке – разбор проблем извлечения информации из сложных PDF-документов и таблиц.
В видео даются практические советы по подготовке данных, выбору методов обучения, оценке результатов и стоимости всего этого банкета.
Забивайте на все дела, отменяйте все поездки и походы по гостям, срочно смотреть!
Ютуб
Рутуб
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18👍5 4
Forwarded from Daisy news
Теперь в Daisy Web можно создавать изображения. Выбери «Генерация изображений» в списке моделей, опиши задумку — и получи результат. Чтобы картинка получилась качественнее, модель автоматически доработает и улучшит твой запрос.
А ещё добавили новые AI-модели:
🔥 Claude 3.7 — лучшая нейросеть для написания кода;
🔥 Gemini 2.0 — теперь ещё эффективнее справляется с запросами.
⚡️ Daisy Web — удобная веб-версия бота с возможностью анализа изображений и документов
🌼 @daisygpt_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍4
Forwarded from BOGDANISSSIMO
Пересесть с классической IDE на Cursor - как пересесть с лошади на автомобиль. Риск ДТП выше, если ты невнимателен и медленно обучаемый, но это не значит что до того как садиться на машину нужно для тренировки дальше для тренировки кататься на лошади. В конечном итоге бенефиты ускорения работы х10 переплёвывают все минусы
👍24🤨3
В продолжение вайб кодинга на уровне квестов и курсора
Взялся протестировать один наш сервис для gptdaisy.com начинаем тонуть в запросах на генерацию изображений там связка async image generation сервис состоит из Comfy(кастомное апи написанное нами + flux + rabbit)
И так получил файлы от лида и взял наш новенький сервер с двумя 4090 и раскатил все что надо, скачал модели докер куда фигуда в общем сказка все на моих любимых скриптах
Цель была стабилизировать сервис и проверить на масштабирование как будет вести себя при n воркерах там еще и удаленные есть и сколько у нас будет IPM(image per minute) сейчас кстати почти честные 15 штук
В общем сервис не взлетел апи принимало запросы картинки не отдавлись
В общем я же вайб кодер взял подключил курсор к core + worker он проиндексировал папки ну и выдал пачки кода которые я принял
Получил я в итоге рабочий сервис все завелось, довольный я, лег спать
На утро пустил на сервер бекенд лида и получил порцию консервированных оценок кода от ллм в общем и целом результат на лицо(на скрине)
Курсор (клод 3.7) переписал все обратно на синхронные функции и зачем-то решил каждый раз открывать закрывать содениение по ws чтож тут должен быть мем но придумайте сами =)
Взялся протестировать один наш сервис для gptdaisy.com начинаем тонуть в запросах на генерацию изображений там связка async image generation сервис состоит из Comfy(кастомное апи написанное нами + flux + rabbit)
И так получил файлы от лида и взял наш новенький сервер с двумя 4090 и раскатил все что надо, скачал модели докер куда фигуда в общем сказка все на моих любимых скриптах
Цель была стабилизировать сервис и проверить на масштабирование как будет вести себя при n воркерах там еще и удаленные есть и сколько у нас будет IPM(image per minute) сейчас кстати почти честные 15 штук
В общем сервис не взлетел апи принимало запросы картинки не отдавлись
В общем я же вайб кодер взял подключил курсор к core + worker он проиндексировал папки ну и выдал пачки кода которые я принял
Получил я в итоге рабочий сервис все завелось, довольный я, лег спать
На утро пустил на сервер бекенд лида и получил порцию консервированных оценок кода от ллм в общем и целом результат на лицо(на скрине)
Курсор (клод 3.7) переписал все обратно на синхронные функции и зачем-то решил каждый раз открывать закрывать содениение по ws чтож тут должен быть мем но придумайте сами =)
😁13 6👍4❤2
Результаты Enterprise RAG challenge (https://abdullin.com/erc/)
На сайте клацаем кнопку Show Local Models Only
На сегодня я завершаю свои исследования по локальным RAG подходам по документам и расскажу как мы заняли 4 место с разницей в 8 баллов от 70+b моделек (Локальных) и 1 первое место среди 32b моделей и Full Dense retrieval and cross-encoder reranker подходом (никаких кстати langchain и другого готового рагоделья только вайб кодинг в курсор и requests + vLLM)
Предыдущие посты на эту тему:
1) Анализ разных векторных моделек
2) Сравнение локальных моделей векторизации с 1 местом
3) Первые эксперименты
В итоге навайбкодил около 11к строк кода которые позволили показать такие результаты
Важное отступление что более 7 дней у меня в итоге заняло эксперименты по экстракту данных из PDF (карл)
И так для начала какое решение я принял сразу что-то ошибочно:
1) Никакой подготовки стендов заранее, все материалы команда и я в частности приступили изучать в день старта соревнований (взял из команды 2 человек ребята помогли вчитаться в условия и понять данные) (Вот тут рефлексия что нужно выделять как минимум неделю заранее свою что бы войти в курс дела)
2) Заранее пополнили все нужные нам сервисы для аренды локальных мощностей
3) Выкинул наш пайплайн RAG и я его стал строить с 0
4) Были заранее развернуты и заготовлены cross encoder bge-rerank + bge-m3 embedding model Арендована машина с А100 для (qwen 2.5 32b (16FP) instruct)
Первый этап парсинг данных из PDF
тут не обошлось без приключений так как внутри компании мы сконцентрировались на интеграциях к конфлюенс и системам для забора данных на документах мы давно не делали акцент по этому пошли гуглить и перебирать что же сможет нам достоверно достать данные из PDF
Перебрав около 3-5 библиотек финальный результат был сделан на библиотеке Marker
Далее чанкование и векторизация
Ничего нового каждая страница была разбита на чанки по 400 токенов с перекрытием в 80 токенов и дальше векторизирована батчами в сервис vLLM где развернута модель bge-m3
Далее под каждый док была созданная коллекция и настроены модели данных (что бы при запросе на KNN возвращать чанки номер страницы с которой он был взят и путь до файла где есть фулл контент страницы как потом я выяснил данный подход называется Parent Document Extraction)
Роутинг был заранее понятен из названия компаний и документов к ним в сабсет там были названя компаний их легко было смэтчить с документами(это я ксатит понял только почти в самом конце и выкинул роутинг совсем)
И так из приятного в сабсете(датасет) изначально указаны типы по этому были составлены через клод промпты под каждый тип запроса
Ну и пошли прогоны (прогонял я систему наверное раз 40 не менее)
Каждый раз вчитываясь что же она отвечает
Ищем чанки внутри дока через KNN
Ранжируем через bge-reranker (cross-encoder)
Передаем в ллм с CoT+SO для ответа
Были проблемы и с множественными вопросами но как показала моя практика курсор (в 20 итераций) смог учесть эти особенности и неплохо обработал этот формат
Как итог часть этих наработок уже ушла в наш прод продукт Smart Platform которая нацелена решать проблему создания RAG агентов для крупных компаний на локальных мощностях
Stay Tuned!
Скоро будет большой анонс нашей платформы будем с нашим CPO рассказывать что же мы там ваяли за год
P.S мы уже провели внутренние демо нашего продукта получили очень позитивный фидбек! Значит движемся куда нужно!
На сайте клацаем кнопку Show Local Models Only
На сегодня я завершаю свои исследования по локальным RAG подходам по документам и расскажу как мы заняли 4 место с разницей в 8 баллов от 70+b моделек (Локальных) и 1 первое место среди 32b моделей и Full Dense retrieval and cross-encoder reranker подходом (никаких кстати langchain и другого готового рагоделья только вайб кодинг в курсор и requests + vLLM)
Предыдущие посты на эту тему:
1) Анализ разных векторных моделек
2) Сравнение локальных моделей векторизации с 1 местом
3) Первые эксперименты
В итоге навайбкодил около 11к строк кода которые позволили показать такие результаты
Важное отступление что более 7 дней у меня в итоге заняло эксперименты по экстракту данных из PDF (карл)
И так для начала какое решение я принял сразу что-то ошибочно:
1) Никакой подготовки стендов заранее, все материалы команда и я в частности приступили изучать в день старта соревнований (взял из команды 2 человек ребята помогли вчитаться в условия и понять данные) (Вот тут рефлексия что нужно выделять как минимум неделю заранее свою что бы войти в курс дела)
2) Заранее пополнили все нужные нам сервисы для аренды локальных мощностей
3) Выкинул наш пайплайн RAG и я его стал строить с 0
4) Были заранее развернуты и заготовлены cross encoder bge-rerank + bge-m3 embedding model Арендована машина с А100 для (qwen 2.5 32b (16FP) instruct)
Первый этап парсинг данных из PDF
тут не обошлось без приключений так как внутри компании мы сконцентрировались на интеграциях к конфлюенс и системам для забора данных на документах мы давно не делали акцент по этому пошли гуглить и перебирать что же сможет нам достоверно достать данные из PDF
Перебрав около 3-5 библиотек финальный результат был сделан на библиотеке Marker
Далее чанкование и векторизация
Ничего нового каждая страница была разбита на чанки по 400 токенов с перекрытием в 80 токенов и дальше векторизирована батчами в сервис vLLM где развернута модель bge-m3
Далее под каждый док была созданная коллекция и настроены модели данных (что бы при запросе на KNN возвращать чанки номер страницы с которой он был взят и путь до файла где есть фулл контент страницы как потом я выяснил данный подход называется Parent Document Extraction)
Роутинг был заранее понятен из названия компаний и документов к ним в сабсет там были названя компаний их легко было смэтчить с документами(это я ксатит понял только почти в самом конце и выкинул роутинг совсем)
И так из приятного в сабсете(датасет) изначально указаны типы по этому были составлены через клод промпты под каждый тип запроса
Ну и пошли прогоны (прогонял я систему наверное раз 40 не менее)
Каждый раз вчитываясь что же она отвечает
Ищем чанки внутри дока через KNN
Ранжируем через bge-reranker (cross-encoder)
Передаем в ллм с CoT+SO для ответа
Были проблемы и с множественными вопросами но как показала моя практика курсор (в 20 итераций) смог учесть эти особенности и неплохо обработал этот формат
Как итог часть этих наработок уже ушла в наш прод продукт Smart Platform которая нацелена решать проблему создания RAG агентов для крупных компаний на локальных мощностях
Stay Tuned!
Скоро будет большой анонс нашей платформы будем с нашим CPO рассказывать что же мы там ваяли за год
P.S мы уже провели внутренние демо нашего продукта получили очень позитивный фидбек! Значит движемся куда нужно!
5🔥24👍3
Neural Deep
Результаты Enterprise RAG challenge (https://abdullin.com/erc/) На сайте клацаем кнопку Show Local Models Only На сегодня я завершаю свои исследования по локальным RAG подходам по документам и расскажу как мы заняли 4 место с разницей в 8 баллов от 70+b…
Кстати схема работы моего решения) Если смотреть между строк почти ничем не отличается от других топ решений
👍17🔥5