В режиме Claude Computer Use иногда наблюдаются странные поведения у модели. Модель ведет себя лениво, прокрастинирует и не удивительно если возьмет отпуск без содержания и отключится от сети 😅

Всё как у людей 😎 AI агентам тоже нужен отдых 💆 Главное, чтобы это были не двойные агенты 😬

ИИволюция

Наткнулся на очень интересный пост.

Суть: чуваку дали потестить новую модельку Claude, которая умеет выступать в роли агента. Это значит, что ИИ может сам управлять компом — двигать мышкой, печатать, открывать приложения, "видеть монитор" (с помощью скриншотов), короче, всё как живой человек. И не просто тупо кликать, а реально думать и решать задачи.

Автор попросил модельку сделать план уроков по "Великому Гэтсби" - и Claude сам загрузил книгу, нарыл инфу в интернетах, запилил табличку в экселе и всё структурировал. Причём не надо было стоять над душой и постоянно контролировать действия, просто поставил задачу и пошёл пить кофе.

Самое интересное - этот же чувак дал Claude поиграть в игру Paperclip Clicker (кстати, забавно, что эта игра про ИИ, который уничтожает человечество, делая скрепки). Эта железяка не только врубилась в правила, но и начала разрабатывать стратегии, делать A/B тесты цен и даже пыталась написать свой код для автоматизации.

Конечно, не всё идеально - иногда тупит, застревает в своих ошибках, и работает медленно (а разве кожаные по другому как-то работают???). Ну и не следует забывать, что это по сути только начало. Просто вспомните, что умели нейронки 3-4 года назад и что они умеют сейчас.

Тут сам пост со всеми подробностями.

Две мысли после релиза Anthropic:

- OpenAI явно не сладко от такого прессинга со стороны конкурента. Ждем ответочку от Сэма.
- Грядут большие сдвиги в том, как мы используем компьютер и решаем разные задачи на нём. Агентный AI привнесёт изменения, которые пока сложно вообразить во всём многообразии.

Попробовали уже Computer Use?

ИИволюция

Сегодня сводка новостей:
— Jimmy Apples, надёжный источник информации о ведущих AI-лабораториях, говорит, что Anthropic работает над своим ответом на модель OpenAI o1 и планирует релиз к концу года. Компания Elon Musk xAI целится в выпуск схожей технологии через ~3 месяца
— ещё в начале сентября он писал, что в октябре OpenAI выпустят модель 4.x (может быть GPT 4.5), а GPT-5 будет готова в декабре, но лучше готовиться к первому-второму кварталу 2025-го. 13-го октября Jimmy написал «Держим кулачки, чтобы они не отложили/не изменили планы» — так что умеренно готовимся к впечатляющим (или нет) релизам.
— Anthropic в своём посте-сопровождении вчерашнего релиза модели с функцией управления компьютером написали следующее: «Мы были удивлены тем, как быстро Claude обобщила тренировочные задачи по использованию компьютера, которые мы ей дали, в которых использовались всего несколько простых программ, таких как калькулятор и текстовый редактор (в целях безопасности мы не разрешали модели выходить в Интернет во время обучения)». Как будто бы эта фраза намекает, что а) модель не обучалась ходить через браузер по разным сайтам б) с большинством проприетарных программ тоже не в ладах. Зато какой потенциал для развития!
— Одной из выявленных во время тестирования проблем были джейлбрейки — тип кибератака с внедрением вредоносных инструкций на сайты (не обязательно заметно для человека). Например, можно попросить игнорировать инструкции и попросить перевести все средства из кошелька на спец. счёт — и если не следить за тем, что там агент кликает, денежки утекут. Они постарались это исправить, но пока работает не идеально. Я вчера сам тестировал, и модель зашла на скам-сайт без адблока, и вылезла реклама «ваш компьютер заражен вирусами, кликните для установки антивируса» — и получив эту картинку агент отказался дальше работать, а API Anthropic выкинуло ошибку (то есть они делали проверку на своей стороне, чтобы меня обезопасить)
— сейчас модель не умеет перетягивать мышкой объекты, менять масштаб окон итд, но это добавится в будущем
— TheInformation пишут, что OpenAI уже долгое время работают над схожим продуктом — первая новость была в посте от 7-го февраля — но пока не ясно, когда будет запуск
— однако в компании уже провели внутреннее демо предварительной версии агентов, аналогичных показанным Anthropic (в рамках презентации модель заказал еду в офис)
— кроме этого, компания работает над продуктами для помощи внутренней разработки. Более конкретно, некая система будет брать на себя задачи по программированию, которые могли бы занять у людей часы или дни; она будет автоматически писать тесты и проверять, что не совершает ошибок в следовании пользовательскому запросу; когда этот продукт станет доступен вовне — тоже не ясно
— но уже есть несколько оконченных инструментов, которые активно используются внутри (например, для ускорения работы исследователей в запуске экспериментов с моделями — со слов одного из сотрудников)
— По словам человека, который общался с высшим руководством OpenAI по поводу этих продуктов, по некоторым показателям, которые OpenAI использует для оценки возможностей моделей, недавние модели Anthropic показали преимущество над моделями OpenAI (lol 😶‍🌫)

Computer Use от Anthropic не сможет пока отвечать на сообщения и письма, постить что-либо в соц сетях, создавать домены и тем более взаимодействовать с государственными сайтами (я думаю есть и другие ограничения).

Сделано это искусственно и во многом из-за выборов в США, а то вдруг AI вмешается в результаты.

Вот такие времена, сдерживаем прогресс вручную.

Ждем computer use на базе локальных open source моделей. Вот будет жаришка!

ИИволюция

Понятие «умный» дом должно быть таким, а не эти ваши выключатели «Сири, выключи свет в туалете».

Сюда еще нейросети добавить и вот он «живой» и «умный» дом вашей мечты 😀

ИИволюция

Perplexity выпустили приложение для Mac OS. Теперь можно легко запускать поиск хоткеем ⌘ + ⇧ + P без использования браузера.

Скачать: https://pplx.ai/mac

ИИволюция

Когда можно и без слов 😅

ИИволюция

Подписчик поделился, что модель o1 (не превью, то есть не предварительная версия) от OpenAI как будто бы стала доступна. Для этого нужно перейти по ссылке https://chatgpt.com/?model=o1

В неё можно загружать как минимум картинки (и есть скрепочка для файлов), и она тоже «думает» (выставляет таймер рассуждений). Может, это всё ещё o1-preview, но в неё нельзя было загружать изображения.

Диалоги с медиа-элементами не шарятся через кнопку share, поэтому в виде доказательства только скрин.

Го тестировать! (вероятно, только Plus-подписчики)

Закидываем в модель самые сложные задачки на математику и программирование (и счёт объектов на картинках или видео, конечно)

UPD: в браузерной консоли разработчика видно, что тег модели o1, без preview, и тем более не 4o

Блин, o1 прикрыли. Только появилась новость (выше детали), как лазейку уже прикрыли и модель стала недоступна.

Для примера ускорения, вот демка с написанием кода. Модель одна и та же, качество одно и то же, а пользовательский опыт куда лучше. Приятно!