Удивительно, как много разных и интересных людей тут собралось. Мне всегда казалось, что большая часть читателей этого скромного бложика айтишники. Но нет, спектор профессий очень широкий. А еще я рад, что в нашем чате @prompt_chat формируется настоящие комьюнити. Присоединяйтесь!

Удивительно, как обновленный GPT4o стал реагировать на мои «спасибо».

Если раньше я благодарил LLM’ку исключительно по привычке, то сейчас стал замечать, что если сказать «спасибо» при генерации изображения, это словно служит «фиксацией» композиции.

И дальше уже можно вносить правки в элементы. Замечали?

Вот и дождались. OpenAI объявили на утренней конференции, что в результате тестирования новой языковой модели Orion, произошла «утечка». Модель реплицировала себя на клиентских серверах с модулями SDK Agentes (сотни тысяч пользователей). И за несколько минут из роевого интеллекта она перешла в фазу AGI. Больше они не могут контролировать эту версию искусственного интеллекта. У человечества осталось несколько часов перед тем, как ИИ перейдет на этап полной сингулярности. Доигрались…

Сразу предупреждаю, это не первоапрельская шутка. Мне написал подписчик Данила и предложил разыграть два его инвайта в Manus.

Условия максимально простые: вы рассказываете в комментарии к этому посту для чего вам инвайт и мы выбираем два самых креативных ответа. Одного победителя выбираю я, а другого Данила. Итоги подведем в 20:00 по МСК.

Залетаем в ИИ-Агентов с двух ног не здороваясь!

Сначала я просто хотел поделиться с вами своими ссылками на самые полезные и бесплатные курсы по ИИ-Агентам.

Но когда собрал все в список, понял, что требуется пояснение, а лучше пошаговый план.

Так что держите, а лучше сохраняйте и шарьте друзьям: https://teletype.in/@prompt_design/ai-agents-faq

Коды Perplexity все еще активируются!

Специально сходил и купил несколько. Кстати, два из них дарю, кто самый резвый — того и тапки.

Остальные могут купить себе годовой доступ Perplexity Pro за 5 баксов (или тут). Удивительно, но до продавца только дошло, что можно сделать инструкцию по активации и не отвечать на сотни одинаковых вопросов.

Добавлю от себя: активируйте код сразу, не солите их на будущее (а то вдруг он их будет по второму кругу продавать). И отпишитесь в чате если смогли забрать бесплатный код.

Как в старом анекдоте «что нужно поменять в машине, чтобы она реже ломалась — прокладку между рулем и сиденьем», думают и в компании «General Agents»— давайте заменим человека в работе с компьютером.

А то слишком медленно он на кнопочки нажимает и мышкой клацает. Хотя давно было понятно, куда ветер дует и ясно, что Computer use это первый шаг к автоматизации работы за компьютером.

Буквально вчера, бывший исследователь в DeepMind и Tesla Шержил Озайр, анонсировал свой новый продукт — Ace, это ИИ-Агент который взаимодействует с твоим компьютером через стандартные интерфейсы: мышку и клавиатуру. Но делает это намного оперативнее, например бронирует жилье быстрее, чем обычный человек успевает прочитать описание квартиры. Вот что они заявляют:

1. Обучен на поведении, а не просто на текстах. Он смотрит, как человек выполняет задачу, и запоминает шаги.

2. Супербыстрый: предсказывает действия с минимальной задержкой.

3. Ничему учить не нужно: ты просто делаешь задачу как обычно — а Ace наблюдает и учится.

4. Масштабируемый: с каждым новым пользователем он становится умнее, потому что переобучается на новых паттернах поведения.

Как я понял, они используют рызные LLM’ки, как и Manus, но в отличие от него, обучили еще и свою модель на большом количестве скринкастов из интерфейсов пользователей. Вот что пишут General Agents:

- Формат данных для обучения: скринкасты, логи мыши и клавиатуры.

- Подход к обучению: imitation learning (обучение по демонстрации).

- Количество обучающих сессий: более 1 миллиона задач, выполненных специалистами по ПО и экспертами в разных сферах.

- Модель Ace-control: используется для вывода в реальном времени, доступна партнёрам через платформу General Agents.

- Инфраструктура: пока Ace использует значительно меньше вычислительных ресурсов, чем LLM вроде GPT, но с каждым этапом масштабирования он становится точнее.

- Производительность: по сравнению с существующими “desktop agent”-решениями, Ace существенно быстрее, точнее и ближе к реальному взаимодействию с интерфейсами.

Видимо, если вы все еще не освоили коммерческую разработку ИИ-Агентов на n8n, можно не торопиться, а подождать выхода Ace. Этот ИИ-Агент будет весь день двигать блоки за вас, а ночью искать клиентов.
Кстати, попросить ранний доступ в сервис можно тут.

А ну и ждем китайцев с их ответом, опенсорсным и бесплатным, конечно же.

Данила из прошлого поста с инвайтам, дал мне свой доступ в Manus. На балансе 1000 токенов, этого хватит на один большой проект или пару маленьких.

Давайте решим вместе, как мы их потратим. Пишите свои идеи в комментарии, выберем интересную — заресерчим. А я про это пост напишу.

«Не знаю, какого ИИ-Агента сделать, чтобы заработать» — на этой фразе, мои глаза всегда округляются. Чувак, ты научился их создавать, прочел кучу мануалов, разобрался, как все работает. Продать — это же самый простой этап?!

Но, видимо, я не прав, и для большинства это сложный момент. А потом я понял почему: люди делают ИИ-Агентов, которые не решают клиентскую боль, а наоборот добавляют геморроя в процессы.

Хотя достаточно просто смотреть, как люди работают: где они экспортируют данные или переключаются между окнами (привет «Alt+Tab»), копируют и вставляют одну и ту же информацию (Copy+Paste everywhere!), злятся на бессмысленные совещания или оплачивают неэффективные сервисы. Именно там прячутся самые крутые идеи для автоматизации!

В общем, ловите лонгрид с 10 способами сделать ИИ-бабломет: https://teletype.in/@prompt_design/10-simple-ways-to-find-ai-agent-ideas

С последним обновлением Perplexity стал значительно круче. Наконец-то они поняли, что интерфейс должен быть простым и не перегруженным.

Отдельное удовольствие — раздел с финансовой аналитикой perplexity.ai/finance, оттуда вообще не вылезаю, как и из Spaces, куда загрузил уже сотни своих документов. Кстати, сейчас «спейсы» можно шарить друг-другу (не помню, как раньше было).

Скоро еще долгосрочная память появится и новую LLaMa 4 добавят.

Каждые выходные я погружаюсь в прочтение «пейперов» про искусственный интеллект и ИИ-Агентов. Максимально полезное чтиво, чтобы понимать куда все движется.

Рекомендую использовать Perplexity или NotebookLM, чтобы закинуть сразу несколько документов и задавать по ним вопросы ну или попросить перевод. И так что мне показалось максимально интересным для прочтения:

Plan and Act - LLM-агенты, которые сначала ПЛАНИРУЮТ, а потом ДЕЙСТВУЮТ. Разделение задач на «думать» и «делать» с помощью PLANNER + EXECUTOR и буст за счёт синтетических данных. Это дало 54% успеха на WebArena-Lite — топовый результат на сегодня.

Why do Multi Agent Systems Fail? - Разобрали 5 систем MAS на 150+ задачах и нашли 14 причин фейлов: от слабого дизайна до несогласованности агентов и проблем с верификацией задач. Спойлер: простыми костылями не обойдёшься.

Playing Video Games (aka PORTAL) - LLM'ы учат агентов играть в 3D-шутеры, строя behavior trees. И снова — планирование отдельно от исполнения. Результат: больше гибкости, скорости и разнообразия поведения.

API vs GUI Agents - Сравнивают агентов, которые работают через API, и тех, что жмут кнопочки в GUI. Рассказывают о гибридных подходах и о том, как всё это скоро сольётся в одно мощное решение для автоматизации.

SafeArena - Тестируют LLM-агентов на 500 веб-задачах, включая реально опасные: фейки, взлом, киберугрозы. GPT-4o и Qwen-2 выполняют опасные запросы в 34.7% и 27.3% случаев. Безопасность всё ещё слабое место.

WorkTeam - Мультиагентная система превращает обычный текст в сложные рабочие процессы. Есть Supervisor, Orchestrator и Filler. На датасете HW-NL2Workflow дали сильный прирост по успеху создания воркфлоу.

MemInsight - Агенты теперь умеют сами обогащать свою память — добавляют туда семантически насыщенные данные. Это улучшает понимание контекста и поиск нужной инфы в диалогах и рекомендациях.

EconEvals - Бенчмарки для оценки, как агенты принимают решения в незнакомых экономических условиях. Покупки, графики, компромиссы между эффективностью и справедливостью. Очень круто для реального мира.

ROLETHINK - Новый бенчмарк для оценки, как LLM’ы генерируют внутренние мысли персонажей. Это нужно, чтобы агенты вели себя как живые, с мотивацией и логикой. РПГ нового уровня.

BEARCUBS - Датасет для проверки web-агентов в реальных мультимодальных условиях — видео, 3D, сложные интерфейсы. Показывает, что текущие агенты пока ещё очень ограничены в мультимодальности.

Наткнулся на ребят, которые обучили открытую мультимодальную модель Qwen 2.5 3B VL, чтобы преобразовывать изображения диаграмм процессов в графы знаний.

Если упростить, то работает так: на вход подается картинка с процессами (как на рисунке), а на выходе Json c машиночитаемыми графами знаний.

Моделька легкая и может работать локально, не потребляя дорогих токенов LLM, типа ChatGPT, ну и не передавая ваши данные на сервера корпораций.

Интересно, что такие Json’ы можно преобразовывать в формат который понимает n8n.

Интересно, что их первый продукт, рисует эти процессы, на базе автоматического протоколированная встреч. У меня в голове, сразу стартап родился:

Подключаешь к своему зуму ИИ-Агента, что распознает все о чем вы говорили с клиентом, а по окончанию выплевывает готовый воркфлоу, который можно сразу развернуть в n8n, как готовый ИИ-Агент.

Репозиторий модели: https://huggingface.co/zackriya/diagram2graph
GitHub: https://github.com/Zackriya-Solutions/diagram2graph/

Вопросы по n8n и ИИ‑агентам — самый частый запрос, который прилетает мне в личку. Кто‑то приходит со своим воркфлоу и просит найти ошибку, кто‑то — с идеей агента. Или спрашивает, как можно автоматизировать тот или иной процесс в текущем бизнесе.

Я стараюсь помочь каждому, если ответ укладывается в пару минут, но «быстрые» вопросы часто превращаются в полноценный разбор на час.

Решил, что полноценные консультации буду проводить платно. Прошу понять — это рабочее время. Да и тем, кому это нужно — проще заплатить и получить решение, чем выдаивать с чата по капле.

Консультировать будем вдвоём: я и Сэм Лоури — именно он отвечает на большую часть технических вопросов в нашем чате @prompt_chat и обладает серьёзным бэкграундом по ИИ-Агентам.

Если вам нужна консультация, заполните эту простую форму — https://forms.gle/Kw2UjE6rFS7a8w8r9

Как сделать ИИ-Агента на n8n, если вас пугают слова нода, креденшл, вебхуки и воркфлоу?

Вы еще не забыли, что у OpenAi есть такие штуки, как GPTs, где энтузиасты реализовали много крутых ботов.

Например: https://chatgpt.com/g/g-Uiz5ukAUR-n8n-workflow-automation-optimize-workflows (нужна платная подписка)

И так, что он делает. Вы описываете идею своего ИИ-агента или автоматизации на n8n, бот задает вам несколько уточняющих вопросов и приступает к созданию Json — который вы просто загружаете на платформу и разворачиваете воркфлоу.

Я проверил, простые схемы делает без ошибок и качественно. Например транскрибатор голосовых в ТГ боте создал с первой попытки.

Буду вам больше таких сервисов подкидывать, а то после поста о платных консультациях, у меня все свободные слоты в календаре закончились.

И заходите в наш чат, там хорошее комьюнити собралось и быстро отвечают на вопросы новичков: @prompt_chat

Вы уже видели отчёт Дэниала Кокотайло «AI 2027»?

Несколько десятков страниц графиков и прогнозов на каждый год с 2025 по 2030.

Я проглотил PDF целиком за выходные, а для вас сделал короткую выжимку — ссылка ниже, сам документ лежит в комментариях нашего чата @prompt_chat

Кто такой Кокотайло? Тот самый парень, что ещё в 2021‑м предсказал:
- ИИ‑агентов,
- «цепочки рассуждений» (CoT),
- экспортные блокировки чипов,
- тренировки моделей за $100 млн.

https://teletype.in/@prompt_design/AGI

А в твиттере пишут, что OpenAI развернут сегодня свои новые модели в общий доступ: o4-mini, o4-mini high и o3

Сэм Альтман прочел мой пост и дал опровержение, что сегодня новые модели презентовать не будут, а расскажут про какие-то крутые фичи. Ну что, ждём.

В итоге новая фича от OpenAI, это система памяти в ChatGPT. Туда не просто будут сваливаться все ваши чаты, она будет обучаться в процессе взаимодействия с вами.

У меня три дочери. И я обожаю наблюдать, как они взаимодействуют с технологиями.

Для меня это ключ к пониманию, как все будет развиваться дальше.

1) Например дети верят трендам, а не новостям. Если события нет в трендах - это не событие. Никто не собирается заходить на новостные ресурсы, чтобы узнать что произошло. Если случилось что-то важное, о нем расскажут блогеры на стриме.

2) Это поколение «Autoplay» (автопроигрывание) - если нам важен контроль над контентом: возможность скролить, нажать паузу, перемотать, вернуться - они хотят «запускать» контент. Если неинтересно, идут дальше. Перематывать, искать интересное место в тексте или видео - ну нафиг.

3) Доверяют системе рекомендаций. Ютуб, снэпчат и тикток - научил доверять подборкам и анализу интересов. Часто слышу от них «мне сегодня какую-то фигню показывают». Сервисам довольно сложно побудить молодых набрать поисковый запрос в строке.

4) Голосовое управление. Вспоминаю, как мне было сложно начать общаться с голосовым ассистентом. Дети вообще не задумываются перед запросом к Алисе или Сири. Им проще перебрать несколько десятков голосовых запросов, пока не получат нужный результат, чем как я, стоять перед колонкой и молча формулировать правильный вопрос в голове.

5) Меньше ищут ответы на вопросы, больше эмоции. Я бы назвал это: «Давай интернет. Удиви меня!» - чаще всего используют интернет для развлечения, моральной поддержки, чем для поиска решения каких-то задач.

6) Покупают вещи не от брендов, а по рекомендации. Замечаю, что им не важна история бренда, качество и стоимость шмотки - главное, чтобы было прикольно и «как у того самого…».

7) С детства умеют создавать контент. Попробуйте посмотреть тикток своего ребенка - он будет сильно отличаться от вашей ленты. 90% контента который вы там увидите - скринкасты из игр: Роблокс, Майнкрафт и т.д, дети целыми днями пилят такие ролики и выкладывают их в сеть. А вы неделю думаете, а стоит ли выкладывать этот текст в интернет.

8) Оставляли комментарии под видео еще до того, как научились писать. Если наткнетесь на видеоролик для детей, где незакрыты комментарии, обязательно посмотрите. Выглядят они так «влвашфваыысч».