Вообще жестко верю в графовые нейронные сети и симуляцией на основе их чего-то большего, чем просто предсказание следующего токена. Подумайте сами:

Во-первых, трансформер – частный случай message passing neural network
Во-вторых, наш мозг можно представить в виде графа, хоть и сложного
В-третьих, как еще можно представить взаимодействие между концепциями, образами эффективнее, если не граф?

Думайте