✔️ Upwork* опубликовал исследование с громким выводом:
самые мощные LLM-агенты часто не справляются даже с простыми рабочими задачами, если действуют полностью самостоятельно.

Но стоит подключить эксперта-человека - и успешность выполнения растёт до +70%.

🔍 Что выяснили
- Upwork провёл 300 реальных оплачиваемых проектов (до $500) в областях: написание текстов, дата-сайенс, веб-разработка, инженерия, продажи, перевод.
- Задачи были специально упрощены, чтобы дать агентам шанс.
- Даже так - агенты, работающие в одиночку, часто проваливались.
- Но когда опытный фрилансер давал короткий отзыв (в среднем 20 минут), качество резко росло с каждой итерацией.

📊 Конкретные цифры
- Claude Sonnet 4 (данные): 64% → 93%
- Gemini 2.5 Pro (маркетинг/продажи): 17% → 31%
- GPT-5 (инжиниринг): 30% → 50%

Эффект особенно заметен в задачах, требующих вкуса, контекста и оценочных решений: письмо, маркетинг, перевод.
Там один цикл обратной связи повышает результат на до +17 пунктов.

Бенчмарки мало отражают реальную работу.
В исследовании использовали строгий pass/fail на финальном результате, плюс внешнюю независимую проверку.

Паттерн очевиден:
- детерминированные задачи (код, преобразование данных) — агенты справляются лучше
- творческие и «открытые» задачи — агенты ошибаются чаще

💰 Экономика
Связка «агент + эксперт» дешевле и быстрее, чем «человек в одиночку».
AI-расходы на Upwork выросли на 53% YoY в Q3-25.

Еще Upwork строит Uma оркестратора, который направляет задачи между людьми и моделями, проверяет результаты и замыкает улучшение по циклу.

*Upwork - это крупная международная онлайн-биржа фриланса

Полный отчёт: upwork.com/static/webflow/assets/webflow-human-agent-productivity-index/upbench_paper.pdf