Там Google придумали трансформеры 2 — новую архитектуру Titan, которая должна решить проблему короткого контекста у нейросетей.

Одна из главных проблем LLM в том, как мало инфы они могут «помнить» — вы могли заметить, что если достаточно долго общаться с ChatGPT, то со временем он начинает забывать текст, который вы писали в начале диалога.

Чтобы избежать такого эффекта, Google предлагает добавить еще один вид памяти: долгосрочную.

Логика следующая: во время диалога с вами ИИ будет заносить из краткосрочной памяти (она называется «Внимание») в долгосрочную факты, которые его больше всего удивили (метрика «сюрприза»). А уже перед ответом LLM будет обращать внимание на оба типа памяти.

Еще даже предложили три варианта интеграции:

— Memory as Context: ИИ просто смотрит на постоянную память и добавляет ее в контекст;
— Memory as Gating: очень интересная схема. LLM заглядывает в память как в два сундука и выбирает нужные для ответа данные;
— Memory as Layer: подход, когда память интегрируется прямо в архитектуру модели, как отдельный слой. Ваш запрос будет проходить через все слои (сначала Внимание, потом постоянная память и т.д.) и «цеплять» важные данные.

AGI мы таким образом не достигнем, но пишут, что можно получить в Titan вплоть до 2+ млн токенов контекста. А это тоже важно для работы.