#эксперименты
играюсь с генераторами

#эксперименты
делаю генератор планировок вместе с Claude

#эксперименты
делаю интерактивные эффекты с Claude

Всего 3 дня с тех пор, как вышел Claude 3.7 Sonnet и уже столько крутых результатов и экспериментов
Вот примеры: симулятор 3D-города

Клон minecraft за 1 промт 🤯🤯🤯

#вкопилкуэрудита
В архитектуре Transformer к каждому эмбеддингу токена добавляется позиционный эмбеддинг (Positional Embedding) . Это позволяет модели знать позиции токенов в исходном тексте, как абсолютные, так и относительные. Позиции слов играет важную роль при передаче смысла исходного текста. Они имеют ту же размерность что и эмбеддинг токена. Они вычисляются с помощью синусоидальных функций. На рисунке схема, чтобы понять, как это работает.

Почему они вычисляются именно так?

Такое математическое представление позволяет описывать положение элементов оставаясь в пределах значений от -1 до 1 и при этом условно без ограничений максимальной позиции (ограничение все же есть и оно зависит от размерности эмбеддингов).

Пример позиционного кодирования, иллюстрирующий ПОДХОД - двоичная система исчисления, где комбинация символов "0" и "1" могут иллюстрировать уникальные представления.

Процесс диффузии в новой моделе LlaDa (первая языковая диффузионная модель)

#пытаюсьпонять
Память трансформеров: почему размер имеет значение?
Трансформеры — мощные модели, но их память ограничена. Механизм внимания требует O(n^2)
памяти, где n
— длина текста. Чем длиннее контекст, тем больше ресурсов нужно: для 4096 токенов это уже серьезная нагрузка! А что за пределами? Ничего — классические трансформеры "забывают" все, что не помещается ...
Решения вроде Sparse Attention или внешней памяти спасают ситуацию, но идеала пока нет. С человеком не сравниться...

Появился AI BIM асситсент для Revit - Pele AI

AI помощник понимает инструкции на простом языке.

Pele AI анализирует запрос, определяет необходимые шаги, а затем выполняет задачу в Revit. Если команда неясна или слишком сложна, программное обеспечение попытается выполнить ее повторно. Если он все еще не может выполнить задачу, он уведомит пользователя и предложит, что уточнение ввода может улучшить результаты.
https://www.pele-assistant.online/

MeshPad
позволяет интерактивно создавать и редактировать mesh геометрию с помощью эскизов
https://derkleineli.github.io/meshpad/

#вкопилкуэрудита
Graphormer и его эмбеддинги.

Graphormer — это архитектура трансформеров, специально адаптированная для работы с графами. В отличие от LLM, таких как GPT, которые обрабатывают последовательности токенов, Graphormer предназначен для обработки графовых структур. А графы очень подходят для описания векторных данных.

Про эмбеддинги граформера.
В отличие от LLM, где эмбеддинги кодируют текстовую информацию и позицию их в контексте, в граформере они представлены в 3 видах:
1. Node embeddings – кодируют каждую вершину графа, тут могут кодироваться характеристики вершин и их атрибуты
2. Edge embeddings – кодируют связи между вершинами, тут может бить тип связи, также атрибудты связи
3. Spatial embeddings – кодируют относительное положение узлов в графе

Помимо этих, в некоторых присутствуют и другие типы эмбеддингов
- Degree Embeddings - кодирует количество соседей у вершины
- Centrality Embeddings - кодирует значимость узлов

Граформер использует Attention Bias — механизм, который добавляет корректирующие коэффициенты в стандартный self-attention

Иллюстрация механизма внимания в Transformer. Каждое слово (или токен) может относиться к разным частям последовательности по-разному в зависимости от выбранного измерения

#пытаюсьпонять
Память АИ Агента
Память агента — это контекст, который передаётся в LLM через подсказку (prompt). Она помогает агенту учитывать предыдущие взаимодействия и данные, которые в данный момент недоступны.

Память можно разделить на следующие типы:
1. Эпизодическая память – хранит прошлые взаимодействия и действия агента. После выполнения действия система записывает его в постоянное хранилище (например, векторную базу данных), чтобы в будущем можно было извлечь и использовать этот опыт.
2. Семантическая память – содержит внешнюю информацию, доступную агенту, а также его “внутренние” знания. Это можно представить как контекст в RAG (Retrieval-Augmented Generation): например, справочные данные, документация или специализированные сведения, которые помогают агенту давать точные ответы.
3. Процедурная память – включает системную информацию: структуру системных подсказок (prompts), доступные инструменты, ограничения безопасности и другие настройки работы агента. Обычно она хранится в Git-репозиториях или конфигурационных файлах.
4. Оперативная память – временное хранилище информации, извлекаемой из долговременной памяти, если она нужна для выполнения текущей задачи.
5. Рабочая (кратковременная) память – включает всю информацию, собранную из долговременной и оперативной памяти, которая затем используется для формирования финальной подсказки (prompt) перед отправкой в LLM. Она определяет, какие действия агент выполнит далее.

Обычно эпизодическая, семантическая и процедурная память относятся к долговременной, а рабочая память – к кратковременной.
Обычно эпизодическая, семантическая и процедурная память относятся к долговременной памяти, а оперативная – к кратковременной.

Все зависит от того, как вы спроектируете архитектуру агентной системы. Грамотное управление памятью позволяет агенту лучше планировать и адаптироваться к задачам.