Статья, опубликованная на канале ProAI, рассматривает вопрос о том, как языковые модели обрабатывают разные языки, учитывая, что они обучаются преимущественно на английских текстах. Исследователи из EPFL провели эксперимент с моделями семейства Llama-2, используя методику Logit lens для анализа скрытых состояний модели.

Результаты показали, что обработка информации в модели проходит через три фазы: сначала идёт этап с высокой энтропией, где строятся представления входных токенов без доминирования какого-либо языка; затем наступает фаза с низкой энтропией, где доминирует английский язык и формируются абстрактные концепции; и наконец, на последнем этапе происходит генерация ответа на целевом языке. Исследователи пришли к выводу, что у языковых моделей есть своего рода "родной язык", но это не английский, а язык концепций, хотя английский и остаётся опорным языком из-за преобладания в обучающих данных.