#unrealneural
«Что делает ChatGPT...»

На 2023 год GPT всё ещё слабо решал математические задачи. Качественный скачок произошёл только с первой «моделью рассуждений» o1, которая в гораздо большей степени полагалась на обучение с подкреплением (RL), а не на простое масштабирование пре-тренинга.Это наводит на любопытную мысль: язык по своей природе сильно «размыт», одно и то же место в предложении допускает множество «правдоподобных» слов, и именно эта размытость идеально ложится на вероятностную природу LLM. Математика же гораздо жёстче и однозначнее.Получается, что для успеха в такой «жёсткой» области решающим оказался именно RL-компонент, более близкий к правиловому мышлению. А это, в свою очередь, говорит о том, что формальная математика вычислительно проще, чем мы привыкли считать.

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/