Все херня выбрасывай

Просмотрев ответы и поняв что я чукча релевантность найденного источника желает оставлять лучшего я решил переделать на давно работающий у нас подход роутер агент под каждую компанию созданна коллекция

И что это такое а то что я каждый док гружу как коллекцию

self.router_schema = {
    "type": "object",
    "properties": {
        "collections": {
            "type": "array",
            "items": {"type": "string"},
            "description": "List of collection names that match the query"
        },
        "companies": {
            "type": "array",
            "items": {"type": "string"},
            "description": "List of company names from the query or ['unknown'] if impossible to determine"
        },
        "reasoning": {
            "type": "string",
            "description": "Brief explanation of why these collections and companies were chosen"
        }
    },
    "required": ["collections", "companies", "reasoning"]
}

Крч пошел новый прогон где я прям уверен в нормальном мапинге)))

Кстати все снова опять на qwen 7b

И уже на 40 вопросах я вижу 100% попадание

Да я учел что есть вопросы где нужно вернуть несколько коллекций!

Засабмитил с роутер агентом
Заодно ввел классификации запросов по тематикам
Я все, вырубаю сервер =)

Enterprise RAG Challenge

LLaDA - это диффузионная языковая модель (LLM) что?


Появился новый тип LLM на основе диффузионных моделей

Отличие от авторегрессии(текущие LLM) в том, что в таких моделях каждый токен предсказывается последовательно, а в диффузионном подходе предсказывается целая матрица токенов в заданном фрейме

Это похоже на то, как идёт генерация изображений 100×100 пикселей из шума в понятную картинку

В этом подходе модель генерирует не последовательность, а целый текстовый фрейм. Нужны сравнения по весу, стоимости обучения и инференса - подход выглядит новаторским. На мой взгляд, это несколько усложняет процесс инференса и сборки датасета, но нужно тестировать! Посмотрим, что там по open-source.

Основные отличия вот в чем
Авторегрессивные модели (большинство существующих LLM):
Генерируют текст последовательно, токен за токеном слева направо
Каждый новый токен зависит от предыдущих токенов
Более прямолинейный процесс генерации

Диффузионные модели (LLaDA, Mercury):
Генерируют все токены одновременно, постепенно "очищая" шум
Работают по принципу "от грубого к точному" (coarse-to-fine)
Могут позволить более гибкое управление текстом (например, задание определенных слов в конкретных позициях)

До сих пор диффузионные модели доминировали в генерации изображений и видео, в то время как текст опирался на авторегрессию
Mercury от Inception Labs представлена как первая коммерческая диффузионная LLM

Судя по посту Karpathy, такой подход может привести к появлению моделей с уникальными сильными и слабыми сторонами


Потенциальные преимущества диффузионных LLM могут включать параллельную генерацию (возможно, более быстрый инференс) и более гибкое управление содержимым ждем open-source и гоу тестить!

VLM заменит CV?

Ты знал что qwen 2.5 VL вернет тебе bbox?

А теперь магия без рук!

Я взял этот квен Qwen2.5-VL-72B-Instruct-FP8-Dynamic

Взял на иммерс эту тачку https://immers.cloud/flavor/view/?id=984 (Цена, месяц = 269 660,16 ₽)

Наконец дождался пока vLLM обновится и станет поддерживать 2.5 VL

Взял вот такой код

OBJECT_JSON_SCHEMA = {
    "type": "object",
    "properties": {
        "objects": {
            "type": "array",
            "items": {
                "type": "object",
                "properties": {
                    "bbox_2d": {
                        "type": "array",
                        "description": "Coordinates of the table bounding box [x1, y1, x2, y2]",
                        "items": {
                            "type": "integer"
                        }
                    },
                    "label": {
                        "type": "string",
                        "description": "Object label, e.g. 'table'"
                    }
                },
                "required": ["bbox_2d", "label"]
            }
        }
    },
    "required": ["objects"]
}

Получил вот такой ответ

{
  "id": "chatcmpl-9a5edf7433e246b78376c4f18bdbf263",
  "object": "chat.completion",
  "created": 1741078401,
  "model": "qwen2.5-vl-72b-instruct",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": null,
        "content": "{\"objects\": [{\"bbox_2d\": [54, 126, 532, 434], \"label\": \"table\"}]}",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 724,
    "total_tokens": 760,
    "completion_tokens": 36,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

Но это только начало просто вернуть bbox таблицы это легко

По мимо этого мы можем получить содержимое, но ведь есть кейсы сложнее

А что если прислать сообщения из тг например?
Определить sender'ов и сразу в один проход достать текст?

  "objects": [
    {
      "bbox_2d": [
        58,
        292,
        540,
        360
      ],
      "label": "Кстати вы знали что Qwen 2.5 VL может выдавать bbox объектов? https://qwenlm.github.io/blog/qwen2.5-vl/",
      "sender": "user1",
      "type": "text"
    },
    {
      "bbox_2d": [
        60,
        374,
        276,
        404
      ],
      "label": "о спасибо попробую",
      "sender": "user2",
      "type": "text"
    },
    {
      "bbox_2d": [
        60,
        413,
        490,
        466
      ],
      "label": "00:19, 72.9 KB",
      "sender": "user2",
      "type": "voice"
    }

Да на х4 4090 это около 35 секунд, но!
Сам текст она достала нем немного ужасно, но с этим уже можно работать!

Я вас направил! Дальше я думаю вы знаете как использовать это в бизнесе и стартапах!

Снова ваш карманный AI-эксперт летал в Москву и вместе с командой @red_mad_robot рассказывал и обучал.

Речь как всегда, шла вокруг LLM и GenAI

Как вывод: сейчас всё меняется очень быстро

Полгода назад мы рассказывали про Naive RAG, а сегодня про MAS, MCP Deep Research и LLaDa

Что ж, попрактиковался с микрофоном, были очень интересные вопросы!