#unrealneural #пытаюсьпонять
Почему мультимодальные LLM модели испытывают трудности с пространственным пониманием?

Это исследование показывает, что проблемы с пространственным восприятием у MLLM связаны не с дефицитом данных, а с архитектурой. Пространственная способность зависит от позиционных сигналов, получаемых от визуального кодировщика, поэтому необходим редизайн, например, внедрение функции точного таргетинга.
https://www.alphaxiv.org/abs/2509.02359v1

#unrealneural #врежимеожидания
MeshPad: генеративное создание 3D-сеток из эскизов

MeshPad — это подход для генерации 3D-сеток на основе эскизов, основанный на последовательности треугольников и модели Transformer. Редактирование выполняется через простые изменения в эскизе: удаление областей и добавление новой геометрии. Для ускорения используется стратегия спекулятивного прогнозирования, которая сокращает вычислительные затраты и позволяет завершать каждый шаг за несколько секунд. В экспериментах.
https://derkleineli.github.io/meshpad/

#unrealneural #врежимеожидания
PolyDiff: диффузионная модель для генерации 3D-сеток

PolyDiff — первая диффузионная модель, способная напрямую создавать реалистичные и разнообразные трёхмерные полигональные сетки. В отличие от методов, использующих неявные представления, PolyDiff работает непосредственно с сеточной структурой, учитывая как геометрию вершин, так и топологию граней. Модель рассматривает сетки как «треугольные супы», постепенно искажённые категориальным шумом, и обученный трансформер-шумоподавитель восстанавливает исходную структуру. На этапе генерации сетки формируются из полностью зашумлённых данных с последовательным устранением шума. Подход обеспечивает улучшение метрик качества: среднее снижение FID на 18,2 и JSD на 5,8 по сравнению с современными методами.
https://arxiv.org/abs/2312.11417

#unrealneural #ЛабораторияИИ #AILAB #Эксперименты
Вайб-проектирование

LLM для работы в Revit
Продолжаем эксперименты с Revit и LLM, которая по текстовым запросам моделирует внутри программы. Система тестируется под рабочими названиями Text2BIM, RevitMCP, RevitAI и Revit Copilot. Потенциал — автоматизация любых операций, включая оформление.

Cursor на 28% улучшили фичу Tab с помощью RL

Для тех, кто не пользуется: Tab предсказывает, какое действие пользователь собирается сделать далее. Когда вы перемещаете курсор или начинаете писать какой-то код, Tab пытается понять, что вам нужно и, если она достаточно уверена в своем предсказании, то предлагает вам продолжение (чаще всего завершение кода).

Отличная фича, но часто предлагала шум. В общем, Cursor решили что-то с этим делать.

В других редакторах (например, в Copilot) подобную проблему пытались бороть обычными фильтрами: язык, были бы предыдущие предложения приняты или нет и тд.

Звучит в целом норм, но Cursor выбрали путь сложнее и интереснее, потому что они использовали RL с двумя сильными составляющими:

1. Сложная reward модель. Политика на каждом шаге предсказывает вероятности разных исходов + вероятность того, что предложение будет принято. Reward, исходя из этих вероятностей, поощряет принятые предложения и штрафует отклонённые. Например, если вероятность принятия ≥ 25%, accepted даёт +0.75, rejected — −0.25, если ничего не показывается – 0. Вот модель и решает, как ей лучше себя вести. Также в награде учитывается длина оффера, общее количество офферов и др.

2. On-policy data. То есть данные, на которых училась политика, собраны в реальной работе модели уже после её обновления. Получили новый чекпоинт -> задеплоили -> собрали данные (это занимает пару часов) -> учим дальше. Это чтобы не было distribution shift и градиент обновлялся правильно. Реализовать такое, конечно, мега запара.

Итог: в новой версии на 21% меньше предложений, но на 28% выше доля принятия.

Мало того, что это огромный скачок метрики, это еще и качественно другой результат: тут accept rate растет не за счет костыльной фильтрации шумных предсказаний, а за счет того, что сама модель стала более прагматичной и предлагает меньше ерунды.

Good job

cursor.com/blog/tab-rl

#unrealneural
Китай представил первую в мире модель искусственного интеллекта, подобную мозгу, SpikingBrain1.0

До 100 раз быстрее, при этом обучение проводится на менее чем 2% обычно необходимых данных.

Разработанный для имитации работы человеческого мозга, он потребляет гораздо меньше энергии. Новая парадигма эффективности и аппаратной независимости.

Ознаменовывает значительный отход от текущих архитектур ИИ

В отличие от таких моделей, как GPT и LLaMA, которые используют механизмы внимания для параллельной обработки всех входных данных, SpikingBrain1.0 использует локализованное внимание, концентрируясь только на наиболее релевантном недавнем контексте.

Возможные области применения:

- Среды реального времени с низким энергопотреблением
- Автономные дроны и периферийные вычисления
- Носимые устройства, требующие эффективной обработки
- Сценарии, в которых потребление энергии имеет решающее значение

Этот проект является частью более масштабного научного исследования в области нейроморфных вычислений, целью которого является воспроизведение удивительной эффективности человеческого мозга, потребляющего всего около 20 Вт мощности.

https://arxiv.org/abs/2509.05276

#unrealneural

Tencent представила SRPO — метод прямого согласования траекторий диффузии с человеческим текстом. Модель FLUX1dev прошла тонкую настройку с оптимизированным шумоподавлением и онлайн-регулировкой вознаграждения, что повысило реалистичность и эстетическое качество более чем в 3 раза по оценкам пользователей.

https://huggingface.co/spaces/akhaliq/SRPO