🌟 Inclusion AI предложила метод спекулятивного декодирования с параллельной сборкой дерева черновиков

Метод UBTree ускоряет вывод больших языковых моделей.

Спекулятивное декодирование поручает черновик небольшой модели, а целевая проверяет сразу несколько предложенных токенов одним проходом и принимает их до первой ошибки.

UBTree относится к той же семье параллельных драфтеров, что DFlash и DSpark, и закрывает их недостаток - они предлагают весь блок токенов одновременно и потому работают быстро, но на размытых распределениях целевой модели, где несколько продолжений близки по вероятности, угадывают хуже.

Черновик в UBTree собирается двумя параллельными проходами:

🟢первый делает модель DFlash, которая подбирает по 64 варианта токена на каждую из шестнадцати позиций блока, причём каждую позицию считает независимо от соседних;

🟢биграммный селектор оценивает, насколько один вариант годится в продолжение другому: пару соседей он прогоняет через два небольших перцептрона поверх замороженных эмбеддингов целевой модели, отдельно для предшественника и для последователя, и добавляет полученную оценку к оценке DFlash с весом, зависящим от глубины.

Все пары считаются одновременно, из оценок переходов набирается дерево на 64 узла, и целевая модель проверяет его целиком за один проход.

Селектор обучали на откликах, перегенерированных при высокой температуре, с перенормированной KL-функцией потерь - так в разметку попадают не только самые вероятные продолжения, но и правдоподобные альтернативы, за счёт которых дерево чаще совпадает с выбором целевой модели.

Вместе с методом выложены две черновые модели - Ling3-Tiny-UBTree на 183 млн параметров работает в паре с Ling-3.0-tiny (8 млрд параметров, 1 млрд активных), Ling3-Flash-UBTree на 482 млн - с Ling-3.0-flash (124 млрд, 5 млрд активных).

Они ничего не генерируют и нужны только как драфтеры к своей целевой модели.

🟡 Тесты

На семи тестах, от GSM8K и AIME до LiveCodeBench и MT-Bench, UBTree даёт среднее ускорение 6,88× на Qwen3-4B и 6,94× на Qwen3-8B и опережает ближайший древовидный метод DARTree во всех 28 сравнениях, в среднем на 7,4-13,4%.

В SGLang на Ling3-Flash-124B выходит 3,27× против 2,73× у DSpark и 2,80× у DFlash, на Qwen3.8-27B - 4,78× против 4,32× у DSpark.

На длинном контексте LongBench-v2 число принятых за раунд токенов выше, чем у сильнейшего из конкурентов, на 31,0-39,7%.

Поддержка UBTree для Ling3 в SGLang пока не опубликована. Команда обещает дополнительные черновые модели в течение месяца.

📌Лицензирование: MIT


🟡Страница проекта
🟡Набор моделей
🟡Техотчет


@ai_machinelearning_big_data

#AI #ML #LLM #Decoding #UBTree #InclusionAI

🌟 Hume AI открыла доступ модели, которая отвечает на вопросы по записи голоса

В представленном продукте, Audio Decisions, на вход идёт запись, свой вопрос к ней и перечень допустимых ответов, на выходе - вероятности по этим ответам с оценкой уверенности.

Форматов ответа четыре: да или нет, выбор из вариантов, шкала оценок и отрезок времени внутри записи, когда, например, смеются или вздыхают.

Спрашивать можно про язык и речь, число и смену говорящих, эмоцию, акустическую обстановку, неречевые события, динамику разговора, намерение и исход и социальные сигналы.

Набор вопросов можно поменять по запросу без дополнительной разметки и дообучения, а порог уверенности привязывается к правилам заказчика.

Нацелен продукт прежде всего на контакт-центры, где звонки оценивают по фиксированной рубрике, а её модификация выливается в отдельный проект.

По заявлению Hume AI, на живом звонке модель успевает отвечать на десятки вопросов каждые несколько секунд, а архив из 40 тысяч записей открывает для поиска за минуты.

В примере из анонса голосовой агент в розничной торговле проверяет неуверенность и раздражение в голосе, число говорящих, фоновый шум и намерение покупателя, а затем отдаёт эти ответы языковой модели вместе с транскриптом, чтобы та решила, подождать, уточнить или передать разговор человеку.

🟡Тесты

Hume AI ставит себя впереди Gemini 3.8 Flash, Qwen3.8-Omni-Flash, Inkling-Small, gpt-audio-1.5, Gemini 3.5 Flash Lite и Nemotron 3 Nano Omni.

В сравнении с людьми модель совпала со средним мнением группы слушателей в 70,7% случаев против 56,5% у отдельного оценщика.

Доступ открывают по заявке в листе ожидания на странице продукта, цена - 47 центов за миллион входных токенов.

@ai_machinelearning_big_data

#news #ai #ml