Это немного печально и сбивает с толку, что LLM (большие языковые модели) на самом деле мало связаны с языком — это просто исторически сложилось.

По сути, они (прим. — LLM) являются универсальной технологией для статистического моделирования потоков токенов. Более подходящее название было бы, например, авторегрессионые трансформеры или что-то подобное.

Им не важно, что токены представляют собой фрагменты текста. Токенами могут быть также фрагменты изображений, аудио, выборы действий, молекулы или что угодно. Если вы можете свести свою задачу к моделированию потоков токенов (для любого произвольного словаря, состоящего из набора дискретных токенов), вы можете «накинуть LLM на неё».

На самом деле, по мере того как стек LLM становится всё более зрелым, мы можем увидеть, как множество задач сходятся к этой модели. То есть задача фиксируется как предсказание следующего токена с помощью LLM, но значение и использование этих токенов меняется в зависимости от области применения.

Если это действительно так, возможно, фреймворки глубокого обучения (например, PyTorch и аналогичные) слишком общие для того, как большинство задач будут выглядеть в будущем. Зачем нужны тысячи операций и слоёв, которые можно настраивать как угодно, если 80% задач просто могут использовать LLM?

Я не думаю, что это полностью верно, но полагаю, что это частично так.