🧐 Почему детектирование — самая недооцененная часть обработки речи

Но при этом одна из самых важных

👉 VAD (voice activity detection) — модель детектирования человеческой речи на аудио сигналах, характеристики которой во многом определяют качество работы всей системы.

Легче всего в этом убедиться на примере умной колонки. В ней обычно задействованы все три основные речевые модели: детектирование, распознавание и синтез. VAD работает в фоне, по его результатам активируется модель ASR (automatic speech recognition) и, затем, синтез. Соответственно, чем больше ресурсов потребляет фоновый VAD, тем меньше их остается основным моделям. Так же и с качеством: детектирование не всей речи напрямую сказывается на результатах распознавания, а если детектируются лишние звуки, то ASR работает дольше и увеличивается время на ответ пользователю.

➡️Несмотря на это, по запросам voice activity detection, speech to text, speech synthesis на arxiv находится 58, 539 и 427 статей соответственно. Почему не смотря на свою важность, детектирование практически в 10 раз менее популярно, чем распознавание и синтез?

1. Ограниченность в ресурсах

На VAD всегда ставится много ограничений: обработка в режиме реального времени, высокие показатели полноты детектирования, работа модели в фоновом режиме и тд. Поэтому исследователям часто интереснее заниматься обучением моделей в других задачах с большей нацеленностью на качество обучения, а в детектировании использовать классические алгоритмы, не требующие больших затрат оперативной памяти.

2. Невидимость для пользователей

В большинстве случаев пользователи взаимодействуют с голосовыми интерфейсами, приложениями или системами распознавания речи, в которых не виден сам процесс детектирования речи, из-за чего создается впечатление, что эта часть менее значима.