Авторегрессионное моделирование использует последовательный принцип "токен за токеном" с отличными результатами, но, с развитием качества генерации и размеров моделей, требует больших вычислительных ресурсов, замедляя процесс инференса.
Анализ зависимостей между токенами выявил закономерность, что токены, пространственно удаленные друг от друга, обладают более слабыми взаимосвязями. Так родилась теория о возможности их параллелизации, которая получила название PAR (Parallelized Autoregressive Visual Generation).
PAR предлагает разделение изображения на локальные сегменты, в которых начальные токены генерируются последовательно для формирования глобальной структуры. Затем выполняется параллельная генерация токенов в сегментах.
Такой подход дает ускорение процесса генерации изображений и видео в 3,6 раза при сохранении сопоставимого качества, и до 9,5 раз при минимальном снижении качества.
PAR может интегрироваться в стандартные архитектуры авторегрессионных моделей, не требуя их модификации, при этом используется механизм переупорядочивания токенов и набор обучаемых эмбеддингов, чтобы поддержать плавность перехода между последовательным и параллельным режимами генерации.
Эксперименты с PAR проводились на наборах ImageNet и UCF-101, с токенизаторами VQGAN и MAGVIT-v2. Качества итоговых изображений оценивалось метриками FID и IS, а для видео - метрикой FVD.
В результате, PAR с набором ImageNet показал сокращение количества шагов генерации в 3,9 раза и ускорение в 3,6 раза при сопоставимом уровне качества. В кейсе с более интенсивной параллелизацией количество шагов сократилось в 11,3 раза, а ускорение в 9,5 раз с минимальным снижением качества.
С датасетом UCF-101 PAR-4x (реализация с четырьмя параллельными токенами) показала ускорение в 3,8 раза при незначительном ухудшении качества, а PAR-16x (16 токенов) - в 12,6 раза, также при минимальных изменениях метрики FVD.
⚠️ Код проекта обещают опубликовать в ближайшее время.
@ai_machinelearning_big_data
#AI #ML #PAR #Parallelization
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤11🔥2
OpenAI объявила о планах по реорганизации своей корпоративной структуры в следующем году. Компания намерена создать публичную благотворительную корпорацию, которая будет управлять операциями и бизнесом OpenAI, а некоммерческая организация будет заниматься благотворительными проектами в областях здравоохранения, образования и науки. Новая структура позволит привлечь больше капитала, необходимого для дальнейшего развития и достижения AGI.
theguardian.com
Nvidia, Niantic и World Labs занимаются разработкой новых геопространственных AI-моделей Земли, способных видеть, думать и действовать в трехмерном пространстве. Nvidia использует свой проект Earth-2, объединяющий ИИ-модель с физическими симуляциями и компьютерной графикой, для прогнозирования погоды и климата.
Niantic, создатель Pokémon Go, применяет свой опыт в создании карт и 3D-моделей, основанный на сканировании местности игроками. У Niantic уже есть 10 млн. отсканированных локаций по всему миру и она использует эти данные для создания самой полной наземной 3D-карты мира. World Labs также разрабатывает "большую мировую модель", аналогичную концепции Niantic, и видит ее применение в создании виртуальных миров.
barrons.com
Создатель AI-модели, Рубен Круз, основатель агентства The Clueless, решил создать виртуального инфлюенсера из-за проблем с реальными моделями. 25-летняя Аитана Лопес, фитнес-энтузиаст с ярко выраженной индивидуальностью, созданной на основе анализа общественных вкусов и трендов, зарабатывает в среднем около €3000 в месяц, но в пике ее доход достигает €10 000. Она зарабатывает более €1000 за рекламу, является лицом компании по производству спортивного питания и размещает фотографии в нижнем белье на платформе Fanvue.
За полтора года у нее появилось более 343 000 подписчиков в соцсетях, и ее фотографии получают тысячи просмотров. Успех Аитаны привел к созданию еще двух моделей, одна из них, певица Лия З., стала первой AI-моделью, заключившей контракт на запись.
euronews.com
Биеннале журнал The AI Art Magazine, посвященный искусству, созданному ИИ, начал свою публикацию и служит важным свидетельством этого переломного момента в истории искусства. По заявлению издателя журнала, Майка Браунера, он "празднует слияние человеческой креативности и разумных машин", фиксируя "момент искусства в ощутимой печатной форме", во времена стремительного развития ИИ-технологий. Журнал стоит 22 евро и финансируется независимо, что гарантирует "редакционную независимость и творческую свободу". Первый выпуск журнала включает в себя работы японского AI-художника Эми Кусано и кураторскую галерею из 50 работ, отобранных международным жюри.
artnews.com
Китайский киноархив, Douyin и Volcano Engine совместно инициировали проект по восстановлению 100 гонконгских фильмов в формате 4K. Десять из них были восстановлены с использованием ручной и AI-коррекции, а 90 — преимущественно с помощью ИИ.
В рамках проекта также был выпущен документальный фильм "Обновляя время", который рассказывает о процессе восстановления фильмов "Богатые и могущественные" и "Однажды в Китае".
ИИ-технологии помогли повысить эффективность восстановления, автоматически удаляя артефакты и генерируя промежуточные кадры для улучшения плавности движения. Модель ИИ была оптимизирована для улучшения деталей текстуры кожи лица для приданию изображения четкости и естественности. Volcano Engine, в свою очередб, увеличил скорость восстановления в 3 раза по сравнению с прошлым годом, сократив время восстановления двухчасового фильма с 18 до 5 часов.
jiqizhixin.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤16🔥5🫡2
DRT-o1 - экспериментальная методика для повышения качества нейронного машинного перевода с помощью техники Chain-of-Thoughts, которая успешно применятся в задачах логического вывода.
Машинный (дословный) перевод текстов, содержащих сравнения и метафоры, зачастую не обеспечивает адекватную передачу смысла. DRT-o1 - попытка расширить возможности нейропереводчиков и сделать их более "человечными".
В методе используется многоагентная архитектура, моделирующая мыслительно- итеративный процесс перевода, где каждый этап базируется на предыдущем, способствуя более точному и глубокому пониманию сложных языковых конструкций.
За основу для тестовых моделей были взяты Qwen2.5-7B-Instruct и Qwen2.5-14B-Instruct. Обучающий датасет собирался на основе 400 англоязычных литературных произведений были извлечены предложения, содержащие сравнения или метафоры. Предложения, для которых дословный перевод на китайский язык был признан неадекватным, сохранялись для последующей обработки.
Затем использовался многоагентный пайплайн из переводчика, советника и оценщика. Переводчик генерировал варианты перевода, советник предоставлял рекомендации по их улучшению, а оценщик проводил анализ качества перевода на каждом этапе. Этот процесс повторялся итеративно до достижения установленного критерия качества.
В финале, для достижения удобочитаемости и связности полученных данных применялся GPT-4o, который модифицировал и оптимизировал процесс размышления. В результате было собрано 22 264 образца машинного перевода с длинными цепочками рассуждений.
В результате получились 2 модели перевода между английским и китайским языками:
Посттренинговые тесты обеих моделей показали ощутимое повышение качества перевода литературных текстов.
DRT-o1-7B показала улучшение на 8.26 в BLEU, 1.31 в CometKiwi и 3.36 в CometScore по сравнению с Qwen2.5-7B-Instruct. Она превзошла QwQ-32B-Preview на 7.82 в BLEU и 1.46 в CometScore.
DRT-o1-14B достигла еще более высоких показателей - 7.33 в BLEU, 0.15 в CometKiwi и 1.66 CometScore по сравнению с Qwen2.5-14B-Instruct.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Krystalan/DRT-o1-7B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "Translate the following text from English to Chinese:%text%."
messages = [
{"role": "system", "content": "You are a philosopher skilled in deep thinking, accustomed to exploring complex problems with profound insight."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=2048
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
@ai_machinelearning_big_data
#AI #ML #LLM #Translation #CoT #DRTo1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42❤15🔥9💅3☃1🕊1🍓1
OmniAudio - мультимодальная модель с 2.6 млрд. параметров, объединяющая в себе Gemma-2-2b, Whisper turbo и специализированный проекционный модуль для обработки аудио и текста на потребительских устройствах. В отличие от традиционных подходов, использующих последовательное соединение моделей ASR и LLM, OmniAudio, объединяет эти функции в единой архитектуре, минимизируя задержку инференса и потребление ресурсов.
OmniAudio применима в сценариях голосовых запросов в автономном режиме, ведения диалогов, генерации контента, создания кратких обзоров записей и модификации интонации голоса.
Например, можно задать вопрос "Как развести костер без спичек?" и получить полезные инструкции, не имея подключения к Интернет. Модель может поддержать беседу, если вы скажете "У меня сегодня был тяжелый день на работе", или сгенерировать хайку на тему осенних листьев. OmniAudio способна преобразовать обычную голосовую заметку в формальное сообщение, сохраняя при этом основную идею.
OmniAudio обучалась в три этапа:
Производительность модели была протестирована на потребительском оборудовании. На Mac Mini M4 Pro модель Qwen2-Audio-7B-Instruct, работающая на Transformers, достигла скорости декодирования 6.38 токенов в секунду.
В то же время OmniAudio через Nexa SDK показала 35.23 токенов в секунду в формате FP16 GGUF и 66 токенов в секунду в квантованном формате Q4_K_M GGUF.
Модель опубликовала в 4 вариантах квантования в формате GGUF:
⚠️ Разработчик рекомендует локальный инференс в Nexa-SDK, опенсорс-фреймворке на основе GGLM, написанный на C++ для инференса моделей разных модальностей.
⚠️ В качестве ориентира по планированию ресурсов: для запуска OmniAudio версии
q4_K_M требуется 1.30GB RAM.@ai_machinelearning_big_data
#AI #ML #OmniAudio #NexaAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43❤7🔥4😢1💅1
Большая подборка примеров внедрения генеративного ИИ от ведущих компаний, правительств, исследовательских институтов и стартапов по всему миру. Они демонстрируют, как организации используют ИИ-агентов для повышения производительности, автоматизации процессов и улучшения клиентского опыта, что в итоге приводит к ощутимой отдаче от инвестиций.
@ai_machinelearning_big_data
#ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45❤17🥰6🔥2💅1
Fundan University совместно с Shanghai AI Laboratory составили дорожную карту, как повторить возможности модели o1 от OpenAI.
Главное – обучение с подкреплением, есть 4 важных условия, которые нужно сделать, чтобы добиться такого же уровня, как у o1:
Инициализация политики начинается с предварительного обучения LLM на больших текстовых датасетах. Они должны быть из разных областей и включать помимо классических задач NLP, примеры логического рассуждения, знаний о мире и демонстрировать паттерны навыка сравнения. Это позволит модели освоить базовое понимание языка и навыки рассуждения.
Последующая тонкая настройка на инструкциях преобразует модель из "предсказателя следующего токена" в полноценного агента, который может выполнять задачи. Тут важно добавить в процесс человекоподобных рассуждений через SFT или подсказки, чтобы научить модель исследовать пространство решений. Например, самооценке и самокоррекции, как это происходит у OpenAI o1.
Разработка вознаграждения дает модели четкую и понятную обратную связь не только в конце решения задачи, но и на промежуточных этапах. Правильно спроектированная система с использованием внутренних и внешних функций крайне важна, с ней модель учится лучше.
Поиск - решающий навык для генерации качественных решений на этапах обучения и тестирования. Использование методов Best-of-N, Beam Search, MCTS позволяет получить лучшие из возможных результатов. Например, MCTS подходит для более широкого исследования пространства решений.
Обучение использует данные, полученные в процессе поиска для улучшения политики модели. Чем больше параметров и объем поисковых данных - тем лучше производительность в итоге. По сути, обучение и поиск работают как "суперсила", способствуя развитию модели.
Выводы, сделанные в процессе исследования авторами сводятся к тому, что существующие открытые проекты, которые пытаются воспроизвести o1 - вариации такого метода обучения. Обучение с подкреплением - ключ к созданию "рассуждающей модели".
@ai_machinelearning_big_data
#AI #ML #LLM #Paper #RL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42👍25❤10🥱2🥰1
На стратегической встречи с сотрудниками компании Google, генеральный директор Сундар Пичаи отметил, что приоритетным направлением в следующем году станет масштабирование модели Gemini на потребительском рынке. Существует обеспокоенность, что продукт ChatGPT от компании OpenAI приобретает статус синонима ИИ, аналогично тому, как Google стал синонимом поисковых технологий.
searchengineland.com
Эксперты Стэнфордского института человеко-ориентированного ИИ (HAI) прогнозируют, что в 2025 году произойдет значительный сдвиг в сторону коллаборативных систем ИИ, где несколько специализированных агентов будут работать вместе, под управлением человека. Эксперты также отмечают замедление темпов улучшения крупных моделей и усиление скептицизма относительно их реальных преимуществ.
Ожидается увеличение количества мошенничеств с использованием генеративного ИИ. В США, вероятно, будет ослаблено регулирование в ИИ, при этом другие игроки - ЕС и отдельные штаты будут устанавливать собственные правила. Будут развиваться системы, где разные LLM с узкой специализацией будут взаимодействовать друг с другом для решения задач, при этом ведущую роль будет играть “генеральный подрядчик” LLM.
hai.stanford.edu
В первой половине 2025 г. компания планирует выпустить компактные компьютеры Jetson Thor, предназначенные для человекоподобных роботов. Nvidia стремится занять лидирующие позиции на рынке робототехники, полагая, что данный сегмент находится на пороге значительного роста. Компания ожидает усиления конкурентного давления со стороны AMD, Google и Amazon.
На текущий момент доходы от робототехники составляют относительно небольшую долю в общем объеме доходов Nvidia, где 88% приходится на доходы от центров обработки данных, составившие 35,1 миллиарда долларов в третьем квартале 2024.
pymnts.com
Zhiyuan Robotics опубликовала AgiBot World, большой набор данных, предназначенный для содействия развитию воплощенного интеллекта. Набор включает в себя более 80 различных навыков, охватывающих пять основных сфер применения: бытовые условия, общественное питание и промышленное производство. Датает создан на основе производственной и экспериментальной базы компании, площадь которой составляет более 4000 квадратных метров, с использованием 8 камер и манипуляторов с 6 степенями свободы.
AgiBot World содержит более 3000 реальных объектов, воспроизводящих условия, приближенные к реальным производственным и бытовым ситуациям. В набор данных входят как элементарные действия (захват и перемещение предметов) и более сложные операции (перемешивание, складывание и глажка). Zhiyuan Robotics планирует постепенное открытие доступа к десяткам миллионов единиц данных моделирования и выпуск базовой модели с полным комплексом инструментов для обучения, сбора и анализа данных.
agibot-world.com
В работе Кембриджского университета исследуется формирование новой "экономики намерений", основанной на анализе, прогнозировании и манипулировании намерениями людей с помощью ИИ-ассистентов, с последующей продажей данной информации заинтересованным компаниям. Данная модель позиционируется как преемник "экономики внимания", где социальные сети стремятся удерживать внимание пользователей с целью демонстрации рекламы.
В новой парадигме ИИ-компании будут продавать информацию о мотивациях пользователей, их планы и политические взгляды, заинтересованным сторонам. Согласно исследованию, LLM могут быть использованы для "предвосхищения и управления" поведением пользователей, основываясь на поведенческом анализе.
theguardian.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍37🔥10😨7❤6😁2🤣1
Noise_step - экспериментальный концепт аглоритма, который позволяет обучать модели, оперируя 1,58-битной (тернарной) точностью, что снижает потребление электроэнергии и сокращает вычислительные затраты.
Noise_step обходится без обратного распространения ошибки, а также может работать параллельно с инференсом и хранит тернарные значения в бинарном представление, которое позволяет упаковать 5 тернов в 1байт.
Алгоритм оценивает градиент, используя произведение Якобиана на вектор возмущения, которые генерируются с помощью распределения Бернулли и равномерного распределения {-1, +1}. Для оценки градиента нужен только знак выравнивания, а не его величина. Чтобы улучшить сходимость, Noise_step отбрасывает возмущения со слишком маленькой величиной выравнивания.
Векторы возмущений не надо хранить в памяти, поскольку они генерируются из начального сида. Это значит, что размер модели больше не зависит от количества параметров, а зависит от произведения шагов и возмущений.
Таким образом, модель можно представить как последовательность шагов, что кардинально уменьшает её размер. Теоретически, основываясь на расчетах, размер модели, подобной GPT-3 175B, можно уменьшить до 19MB.
Noise_step использует дискретные шаги из-за тернарного пространства, что добавляет шума в кривую обучения, но алгоритм сходится примерно как Adam, хотя и требует большего батч-сайза. Сходимость, аналогичная Adam, была подтверждена эмпирически на единственном прикладном эксперименте с простым MLP на наборе MINST и, очевидно, требует большей вариативности практических тестов.
Несмотря на то, что ранее тернарная точность уже была реализована в фреймворке Microsoft и модели Nous Research, которые не имеют таких ограничений, как в Noise_step , он может стать в будущем альтернативой квантованию и встать в один ряд с другими методами оптимизации обучения и инференса.
⚠️ Обучение трансформерных моделей с noise_step пока остается отрытым вопросом, так как для этого необходимо написать ядро, в котором шум будет виртуализирован (генерироваться по мере использования).
⚠️ Для больших моделей с большим количеством шагов реконструкция становится непрактичной, поскольку каждый вес должен обновляться с учетом каждого вектора возмущений на каждом шаге. Полная реконструкция тернарной модели с количеством параметров 175B, потребовала бы примерно 10 в 19 степени операций.
@ai_machinelearning_big_data
#AI #ML #NoiceStep #TernaryPresision
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥46👍19❤9🥰2
VSI-Bench - видео-бенчмарк из 5130 пар "вопрос-ответ" основанных на 288 видеозаписях реальных сцен. Видеоматериалы были собраны из публичных датасетов ScanNet, ScanNet++ и ARKitScenes и содержат типы пространств: жилые помещения, офисы и производственные объекты.
Бенчмарк структурирован в виде 8 задач, классифицированных по трем категориям: конфигурационные, измерительные и пространственно-временные:
idx - номер записи в датасете;dataset - источник видео (датасет): scannet, arkitscenes or scannetpp;scene_name - название видео;question_type - тип вопроса;question - вопрос;options - варианты ответа на вопрос, если возможен множественный выбор;ground_truth - правильный ответ на вопрос.Возможности VSI-Bench оценивались с 15 MLLM, поддерживающих видеоформат: Gemini-1.5, GPT-4o, InternVL2, ViLA, LongViLA, LongVA, LLaVA-OneVision и LLaVA-NeXT-Video.
Оценка проводилась в режиме zero-shot с применением стандартных запросов для каждой модели. В качестве метрик для задач с множественным выбором использовалась Accuracy (ACC), а для задач с числовыми ответами — Mean Relative Accuracy (MRA).
Результаты оценки показали, что, несмотря на достижение значительных результатов топовыми моделями, их производительность все еще уступает человеческой. Люди демонстрируют среднюю точность в 79%, в то время как MLLM с высшим результатом (Gemini-1.5 Pro) показывают более низкие показатели (48.8%).
Использование стандартных лингвистических техник: chain-of-thought, self-consistency и tree-of-thoughts не привели к улучшению результатов. Анализ ошибок выявил, что основная проблема для моделей - пространственное рассуждение, а не визуальное восприятие, NLP-навыки или обработка временных данных.
# Create conda env
conda create --name vsibench python=3.10
conda activate vsibench
# Clone repo
git clone [email protected]:vision-x-nyu/thinking-in-space.git
cd thinking-in-space
# Update submodules
git submodule update --init --recursive
# Install requirements
cd transformers && pip install -e . && cd ..
pip install -e .
pip install s2wrapper@git+https://github.com/bfshi/scaling_on_scales
pip install deepspeed
# Run all-in-one evaluation script
bash evaluate_all_in_one.sh --model all --num_processes 8 --benchmark vsibench
@ai_machinelearning_big_data
#AI #ML #MMLM #Benchmark #VSIBench
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤12✍7🔥3🤨1