#эксперименты
играюсь с генераторами

#эксперименты
делаю генератор планировок вместе с Claude

#эксперименты
делаю интерактивные эффекты с Claude

Всего 3 дня с тех пор, как вышел Claude 3.7 Sonnet и уже столько крутых результатов и экспериментов
Вот примеры: симулятор 3D-города

Клон minecraft за 1 промт 🤯🤯🤯

#вкопилкуэрудита
В архитектуре Transformer к каждому эмбеддингу токена добавляется позиционный эмбеддинг (Positional Embedding) . Это позволяет модели знать позиции токенов в исходном тексте, как абсолютные, так и относительные. Позиции слов играет важную роль при передаче смысла исходного текста. Они имеют ту же размерность что и эмбеддинг токена. Они вычисляются с помощью синусоидальных функций. На рисунке схема, чтобы понять, как это работает.

Почему они вычисляются именно так?

Такое математическое представление позволяет описывать положение элементов оставаясь в пределах значений от -1 до 1 и при этом условно без ограничений максимальной позиции (ограничение все же есть и оно зависит от размерности эмбеддингов).

Пример позиционного кодирования, иллюстрирующий ПОДХОД - двоичная система исчисления, где комбинация символов "0" и "1" могут иллюстрировать уникальные представления.

Процесс диффузии в новой моделе LlaDa (первая языковая диффузионная модель)

#пытаюсьпонять
Память трансформеров: почему размер имеет значение?
Трансформеры — мощные модели, но их память ограничена. Механизм внимания требует O(n^2)
памяти, где n
— длина текста. Чем длиннее контекст, тем больше ресурсов нужно: для 4096 токенов это уже серьезная нагрузка! А что за пределами? Ничего — классические трансформеры "забывают" все, что не помещается ...
Решения вроде Sparse Attention или внешней памяти спасают ситуацию, но идеала пока нет. С человеком не сравниться...

Появился AI BIM асситсент для Revit - Pele AI

AI помощник понимает инструкции на простом языке.

Pele AI анализирует запрос, определяет необходимые шаги, а затем выполняет задачу в Revit. Если команда неясна или слишком сложна, программное обеспечение попытается выполнить ее повторно. Если он все еще не может выполнить задачу, он уведомит пользователя и предложит, что уточнение ввода может улучшить результаты.
https://www.pele-assistant.online/

MeshPad
позволяет интерактивно создавать и редактировать mesh геометрию с помощью эскизов
https://derkleineli.github.io/meshpad/

#вкопилкуэрудита
Graphormer и его эмбеддинги.

Graphormer — это архитектура трансформеров, специально адаптированная для работы с графами. В отличие от LLM, таких как GPT, которые обрабатывают последовательности токенов, Graphormer предназначен для обработки графовых структур. А графы очень подходят для описания векторных данных.

Про эмбеддинги граформера.
В отличие от LLM, где эмбеддинги кодируют текстовую информацию и позицию их в контексте, в граформере они представлены в 3 видах:
1. Node embeddings – кодируют каждую вершину графа, тут могут кодироваться характеристики вершин и их атрибуты
2. Edge embeddings – кодируют связи между вершинами, тут может бить тип связи, также атрибудты связи
3. Spatial embeddings – кодируют относительное положение узлов в графе

Помимо этих, в некоторых присутствуют и другие типы эмбеддингов
- Degree Embeddings - кодирует количество соседей у вершины
- Centrality Embeddings - кодирует значимость узлов

Граформер использует Attention Bias — механизм, который добавляет корректирующие коэффициенты в стандартный self-attention

Иллюстрация механизма внимания в Transformer. Каждое слово (или токен) может относиться к разным частям последовательности по-разному в зависимости от выбранного измерения