Обучение эмпатии.

Так я тут заигрался в аватаров, пора написать что-нибудь псевдо-умное.

Вот тут постил, что после решения проблемы липсинка, мы подучим ИИ поддавать эмоций в лица нейроаватаров.

Вот держите интереснейшую работу по изучению и, внимание, возможно, созданию целенаправленно эмпатичных роботов. Думаю, что если эти результаты привалить на генерацию нейроаватаров, то мы получим схождение к синтетическим лицам, вызывающим максимально эмпатичный отклик.

Итак, что сделали небританские ученые:

Как люди сопереживают гуманоидным роботам, которые выглядят так же, как и люди, но по сути отличаются от них? Мы изучили субъективные ощущения, электрофизиологическую активность и сигналы функциональной магнитно-резонансной томографии во время восприятия боли и нейтральных выражений лиц, которые были распознаны как пациенты или человекоподобные роботы. Мы обнаружили, что здоровые взрослые люди испытывали более слабые чувства понимания и разделения боли от гуманоидных роботов по сравнению с пациентами. Эти результаты позволяют предложить нейронную модель модуляции эмпатии идентичностью человекоподобного робота через взаимодействие между когнитивными и аффективными сетями эмпатии, что обеспечивает нейрокогнитивную основу для понимания взаимодействия человека и робота.

Все это было сделано, через обратную связь с помощью ЭЭГ и фМРТ, то есть через самую что ни на есть кожаную физиологию.

Ну, за эмоциональный интеллект!

https://pubmed.ncbi.nlm.nih.gov/38884282/

VFX-рефлексия

В этом видео прекрасно и грустно все.
Комментарии режиссера про водяную воду, индусы, количество право, Бен Стилер, Илон Маск, Tesla Prompt AI, намеки на известного режиссера, общение с клиентом и еще много чего.

Ироничная рекурсия: VFX-артисты делают кино "Pixel Fucked: The Movie" с помощью ИИ. Про то, как ИИ убивает VFX-артистов.
Сорс от Houdini FX artist

Гложут мысли о стартапе, для которого нет инвестиций? Подключайтесь к B2C Launch Camp венчур билдера SKL.vc.

Это интенсивный онлайн-кэмп, где вы вы будете работать над своим B2C-проектом от стадии идеи до прототипа и питчинга. На кэмпе ждут команды от 1 до 5 человек. Ключевое требование – у команды должна быть четкая идея и иметь возможность создать прототип без привлечения внешних подрядчиков и команд. Твоя идея должна подходить для большого и растущего рынка США или ЕС, в котором есть место для нового единорога.

Лучшие участники получат рабочий контракт с оффером до $200к в год, опцион в проекте и до $1.5 млн финансирования для воплощения проекта в жизнь.

Где подать заявки можно на сайте.
❗️Проверьте свою идею по чек-листу и обратите внимание на ниши, в которые студия не инвестирует.

Прием заявок закрывается 15 июля, кэмп стартует 19 июля.

📋 Программа кэмпа:
1. Оценка идеи
2. Конкурентный анализ
3. Качественные исследования
4. Бизнес-модель
5. Юнит-экономика
6. CJM
7. Создание прототипа
8. Презентация

Остались вопросы? Пишите @enjoykaz или в комментариях.

Все это ИИ-великолепие от Эппле станет доступно для разработчиков не раньше конца этого лета. Это означает, что оно не войдет в первые бета-версии iOS 18, iPadOS 18 и macOS Sequoia. А когда его начнут раскатывать осенью, оно будет работать только на некоторых устройствах Apple и только на американском английском языке. В некоторых случаях даже будут вейт-листы.

Эппле также старательно избегала точных сроков. Вместо этого они, по сути, представили дорожную карту того, что появится в конце 2024 и первой половине 2025 года.

Если почитать Блумберга вот тут:
https://www.bloomberg.com/news/newsletters/2024-06-16/when-is-apple-intelligence-coming-some-ai-features-won-t-arrive-until-2025-lxhjh86w
то похоже до 2025 года появится только ограниченное количество фич, а все это безобразие, когда Сири сможет управлять приложениями или искать что-то по контексту работы пользователя, появится после нового года.

Охоспади, бывший генеральный директор Weta Digital станет новым генеральным директором Stability AI!
Наверное надо радоваться, хуже чем с было Мостаком уже не будет.
https://venturebeat.com/ai/stability-ai-gets-new-leadership-as-gen-ai-innovations-continue-to-roll-out/

Удивительно, как история повторяется. В начале нулевых мы перепаивали GeForce256 в Квадру, и независимо от этого подбирали версию драйвера от Нвидии, чтобы Maya не падала чаще двух раз в минуту.
Сейчас китайцы перепаивают память на RTX 20xx, делая из них почти 3090 по объему памяти, а мы обновляем драйвера, чтобы Stable Diffusion стал побыстрее считать.
Закон Джима Блинна действует, особенно сейчас, компьюта, то есть вычислительной дури, всегда будет мало.
https://habr.com/ru/articles/173545/

Ого, Kling обновился (к сожалению только в своем китайском приложении).

Добавили "Image-to-Video" and "Video Extension", причем видосы можно продолжать до (!) минут.

Сора нервно закуривает.... "бахать или не бахать апдейты?"...

Нарезочка видосов тут. Качество, конечно не дотягивает до соровского, но это уже готовое приложение...
https://twitter.com/Kling_ai/status/1804064065670779233

На видосе одна картиночка из Midjourney на входе. И все. На дворе июнь 2024. Что там было два года назад?

Наткнулся на пример нейродубляжа фильма Операция "Ы".

Просто послушайте, как оно годно сохраняет оригинальные голоса.

Кажется, мясные актеры дубляжа тоже скоро отправятся на рынок торговать луком.

Джедай от Нвидии.

Joint-image Diffusion Models for Finetuning-free Personalized Text-to-image Generation

В общем они предлагают как бы (как я понял), что-то среднее между RAG и Лорами, для создания консистентных изображений. Основной козырь - отсутствие долгого файнтюна моделей.
Сравнивают в основном с Дримбусом.
Основной акцент в работе - на создание синтетический датасетов.
Типа дали как референс курточку или сумочку и нагенерили датасет с этими ассетами, с сохранением консистентности.

Не очень понятно, куда и когда это будет прикручено.
И выглядит очень нарядно, поглядите тут:
https://research.nvidia.com/labs/dir/jedi/

(там между строк есть один момент - если дать на вход не 1-2, а 20-30 референсных картинок, то производительность катастрофически падает)

Но вот вам интересная новость.

Есть такая независимая модель для картинок Pixart Sigma. Натренирована знаете где? В Хуавее. Это не чекпойнт, это своя архитектура. Всего 0.6B параметров, а ухватки, как у SDXL (2.6B).
Так вот, написал эту модель в одно умное лицо Junsong Chen, который до прошлой недели числился как Research Intern в Хуавее. А теперь он Research Intern в Нвидия.
Пишет, что проект Pixart Sigma будут продолжать. Причем он - опен-сорсный.

Может пора уже увидеть что-то красивое (и опенсорсное) для картинок от Нвидия??

Из комментов тоже достаю.
Рейтинг качества Text-to-Speech софта
https://huggingface.co/spaces/TTS-AGI/TTS-Arena
Соответственно идете по списку сверху внизу и выбираете решение, подходящее по цене.
Например, Топовый ElevenLabs стоит 100 баксов за 10 часов в месяц (500000 символов)
https://elevenlabs.io/pricing

PlayHT со второго места - 40 баксов за 5 часов и 100 баксов за анлим
https://play.ht/pricing/

Пора завязывать со всеми этим клавиатурами и мышами. И пока Маск пилит свою иголочку, энтузиасты собирают свои нейроинтерфейсы. Причем такие, с помощью которых можно проходить
и второго, и первого Босса в ELDEN RING Shadow of the Erdtree.
Когда смотришь это, чуешь отчетливый аромат Матрицы.
Девушка сидит и просто кладет личико на ладошки и о чем-то там думает.
А теперь вспомним, как типичный геймер орет, подскакивает и потеет.
Мне вот интересно, какие у нее энергозатраты и ощущения.
Насколько я знаю, такой уровень нейро-обратной связи серьезно меняет определенные способности мозга. Также интересно, как эти новые способности влияют на "старые" способности. Что прокачивается параллельно?
Очень круто, явшоке.
Видео мне прислали со ссылкой вот сюда:
https://twitter.com/perrikaryal/status/1804649206310752418
А вот тут сама девушка пилит свой интерфейс. Неинвазивный притом!
https://www.youtube.com/watch?v=UXzncNh7rr8

Марс атакует!

Новая опенсорсная модель текст ту спич.
140 языков.
Клонирование голоса по сэмплу в шесть секунд.
А ещё MARS5 позволяет выполнять "глубокое клонирование", которое улучшает качество клонирования и выходных данных, но при этом требует немного больше времени для создания аудио.

За актеров озвучки уже пили. Ладно, просто помолчим, пока он нас клонирует.

Всё есть тут:
https://github.com/Camb-ai/MARS5-TTS

P.S.
In general, at least 20GB of GPU VRAM is needed to run the model on GPU (we plan to further optimize this in the future).
Есть платный апи.

Некоторые боятся что ИИ заменит их, а другие, наоборот, с нетерпением ждут

ИИ-врач AIME — это один из тех проектов, который может значительно улучшить качество жизни сотен миллионов людей на планете.

Команда провела тесты эффективности ИИ-доктора по 32 категориям (диагностика, эмпатия, качество предложенного плана лечения, эффективность принятия решений). По 28 из 32 бот показал результаты лучше, чем живой доктор. По остальным — сравнимый результат.

Для обучения бота использовался подход self-play, когда 3 независимых агента (пациент, врач, критик решений врача) провели более 7 миллионов приёмов. Для сравнения, в среднем терапевт за всю свою карьеру делает неколько десятков тысяч приемов пациентов. Именно поэтому уже сегодня ИИ-доктор позволит оказать качественный сервис для 99% населения планеты, которые не могут позволить личного врача, а через несколько лет будет лучше большинства терпевтов/радиологов/педиатров и т.д. — но только никогда не уставший, условно-бесплатный, имеющий мгновенный доступ к любой медицинской литературе и обученный на сотнях миллионов интеракций с пациентами.

Конечно, в медицине главное это "не навреди", поэтому после публикации отчета в январе команда работает над улучшением продукта, безопасностью и готовится к получению необходимых лицензий от FDA и прочих. Массово такие продукты появятся не прям завтра, но технически это уже возможно.

Метис: как бы chatGPT от Амазона.

Вчера, когда писал про датацентры, невольно задумался: вот у Амазона вычислительной дури практически больше всех. Но мы давно не слышали никаких апдейтов про их языковые или другие модели.

Были новости про LLM Titan AI, а более мощная версия под названием Olympus, как сообщается, находится в разработке. Есть также Rufus, помощник, призванный помочь вам делать покупки и просматривать обширный каталог товаров Amazon.

Я также писал о превращении Alexa в чатбот, который может стоить от 5 до 10 долларов в месяц и позволит пользователям просить Алексу о более продвинутых функциях, таких как составление электронных писем или заказ в Uber Eats, с помощью одной подсказки.

И вот, наконец, судя по утечкам, у Amazon появился внутренний проект под названием "Метис". Это чат, offering conversation using text and image-centric answers. Говорят, что Метис может обмениваться ссылками, отвечать на последующие запросы и генерировать собственные изображения.

Сообщается, что Amazon хочет, чтобы бот также мог использовать расширенный поиск, позволяющий ему находить и предлагать информацию, которой он не был специально обучен. В качестве примера в отчете приводится предложение актуальных цен на акции.

В сети уже окрестили его chatGPT killer. Ну ок, а почему не Gemini killer или Claude killer?

В общем ждем ответочку от Амазона, им явно есть на чем тренировать модели. Было бы что тренировать.

https://www.tomsguide.com/ai/forget-chatgpt-amazon-reportedly-working-on-new-metis-ai-chatbot

Асики для LLM. Но не для всех.

Соху: Полмиллиона токенов в секунду для Llama 70B!


Помните были асики для майнинга?
Теперь есть такие же для трансформинга.
Компания Etched сделал специальные чипы для просчета именно архитектуры трансформер. CNNs, RNNs или LSTMs там ускоряться не будут. Stable Diffusion 1.5 тоже кстати.

Короче, один сервер с 8-ю чипами Sohu молотит как, внимание, 160 Nvidia H100! То есть он в 20 раз быстрее, чем H100.
Этот чип в ДЕСЯТЬ раз быстрее, чем еще не появившийся Nvidia Blackwell (B200) GPU.

Конечно, это все заверения разработчиков чипа.
Основной посыл - зачем платить за монстров, доедающих закон Мура, когда можно купить чип для конкретной задачи, а точнее даже архитектуры.

У них на сайте довольно правильные слова про спрос и предложение, так что очень ждем: где, когда и почем.

Они, кстати подняли 120M и за два года запилили чип.

https://www.etched.com/announcing-etched