#пытаюсьпонять
Наткнулся на статью о способе улучшения результатов модели LLM без увеличения количества параметров (как это делается сейчас от релиза к релизу топовых GPT).
Не говоря обо всех пунктах, больше всего заставил задуматься следующий момент:
вместо того, чтобы бесконечно увеличивать размер модели, результат можно улучшить предоставив ей больше времени на формирование ответа - метод "budget forcing"

Как это сделать? Использовать слово "wait", чтобы заставить модель думать дольше.
Звучит прикольно, но абстрактно.

Если посмотреть глубже в процесс, то "wait" - токен, который влияет на контекст в скрытых состояниях модели и она интерпретирует его как сигнал для продолжения формирования ответа.
Причем повторение этого токена может постоянно активировать другие паттерны генерации - разные ответы.

Чем больше модель "думает" - тем больше шансов дать правильный ответ.

Самое интересное, что этот токен "wait" так работает из-за того, что это слово чаще всего вызывает дополнительное рассуждение в данных на которых учатся LLM. То есть у людей это намёк на то, что "не время заканчивать", "стоит еще подумать".
https://arxiv.org/pdf/2501.19393

#вкопилкуэрудита
Парадокс Моравека

Ганс Моравек, исследователь искусственного интеллекта и робототехники в 1980-х годах, отметил контринтуитивный аспект искусственного интеллекта:

- Искусственному интеллекту легче осваивать задачи, требующие рассуждений высокого уровня (например, шахматы или го).
- Базовые сенсорные и двигательные навыки (например, ходьба или распознавание лица мамы), которые люди считают инстинктивными, представляют большую сложность для ИИ.

Более того, эти «более простые» навыки требуют значительно большей вычислительной мощности. Это показывает сложность воспроизведения человеческого восприятия и ловкости — результатов миллионов лет эволюции — по сравнению с логическим мышлением, более поздним развитием.

В современном мире искусственного интеллекта и машинного обучения парадокс Моравека иллюстрирует проблемы проектирования роботов и систем искусственного интеллекта, способных беспрепятственно перемещаться и взаимодействовать с физическим миром.

Ну и пример: ИИ может разгромить чемпиона мира по шахматам за секунды, но если поставить перед ним задачу аккуратно взять фигуру, чтобы сделать ход – он, скорее всего, опрокинет всю доску.

#эксперименты
делаю дом

#эксперименты
экспериментик

#вкопилкуэрудита
Диффузионный трансформер
Новая архитектура нейронной сети, объединяющая диффузионные модели (которые обеспечивают стабильную и качественную генерацию данных) и трансформеры (которые эффективно моделируют сложные зависимости).

Диффузионный трансформер улучшает генерацию за счёт объединения диффузионного процесса, который создаёт детализированные данные шаг за шагом, и механизма внимания в трансформерах, который эффективно анализирует глобальные зависимости. Это даёт более точный контроль над структурой данных, уменьшает артефакты и ускоряет обучение модели за счёт параллельных вычислений.

С этим типом модели я познакомился, изучая Hunyuan3D 2.0. В контексте этого инструмента такая модель (Hunyuan3D-DiT) отвечает за диффузионное восстановление 3д формы из шума.
https://blog.deepschool.ru/cv/tasks/diffuziya-na-transformerah/

#эксперименты
Примерка фасадов на дом с помощью Krea AI

#эксперименты
Примерка фасадов на дом с помощью Krea AI

#пытаюсьпонять
Генераторы видео и 3D-геометрии

Очень интересно становится, когда пытаешься понять, каким таким образом современные нейронные сети генерируют столь реалистичные видео. Причём всё чаще поведение объектов на них выглядит очень реалистично и физически правдоподобно.
Относительно генераторов видео выделил для себя 2 подхода:

1.Генерация кадра на основе предыдущего. Тут достаточно просто: генератор учится экстраполировать кадры, при этом контекстом являются соседние кадры при обучении. Наверняка из-за этого мы можем наблюдать, как какие-то объекты внезапно растворяются в пространстве. И это не все проблемы такого подхода.

2.Генерация 3D-объёма и извлечение кадров. Этот подход намного интереснее. Если любое поведение объекта на видео представить в виде объёма (3D-представление сцены) и учить нейросеть генерировать такие объёмы, а затем просто извлекать кадры, то, как показала практика, результат становится намного лучше. Изменение любого объекта становится лишь "3д формой", длина которой равно ее временному циклу на видеоролике.

А если к этому объёму добавить ещё одно измерение? То можно таким образом зашифровывать разные варианты событий и в результате получать не просто один вариант видео, а целые альтернативные сценарии, которыми можно было бы управлять числовыми слайдерами.

Но в данном случае непонятно, откуда брать исходные данные для обучения таких генераторов. Возможно и тут помогут разные игровые движки и симуляции на них.

А почему такого же результата пока не удаётся добиться при генерации 3D-геометрии?

UrbanGPT + Deepseek

Unreal Engine 5 + KreaAI
https://youtu.be/U4AaIKTeAGY?si=Naxt96xOKtQNw96k

#эксперименты
Самый первый тест Grok 3 Beta
Запрос: "Создай svg с изображением 9 этажного дома"
Ответ: 9 этажей и даже парапет и вход🤯

#эксперименты
Запрос: "напиши svg с изображением кенгуру на машине"
Grok 3 Beta: