✍️ Первый результат с сервисными агентами вероятно разочарует, так как в задаче нет, что на самом деле надо

Недавно друг попробовал агента в Comet, чтобы автоматизировать задачу, а на деле донять меня вопросами «почему он тупой?». Мол, добавить продукты в корзину для приготовления курицы с картошкой плохо выполнил, не добавив приправы 😵. А по итогу агент выполнил то, что от него просили — с 1 запроса собрал корзину. Причина не в «тупости», а в отсутствии личного контекста. И я думаю, что хорошо бы обозначить, почему происходит подобная халтура и как ее минимизировать

❓ Нужно добавить стоп-факторы автономности, чтобы агент не буквально выполнил задач. Условно, «первоначально сверься, правильно ли ты пойдёшь выполнять задачу» или «Спроси о шаге, если не уверен». Приём очень похож из собеседования по созданию процесса от и до — люди дают задачу общими масками, а задача отвечающего понять, что на самом деле от него ждут, нежели просто отвечать без наводящих вопросов

🦥 Агенты ленятся как мы, когда не нужно заостряться на каждом шаге. Это общая задача или нужно что-то еще? Выбрать первый картофель в выдаче или самый заплюсованный? А курицу надо с учётом персон или веса? Так ещё и про бюджет, и бренд надо не забыть. Если не продумать ответы на эти вопросы, которые мы сами себе молниеносно отвечаем, будет лажа. Агент как соседский сын Вася. Тот пойдёт в магазин по вашему поручению, что-то наберёт, а вы ожидали другого. Вася желал как лучше, а на деле взгляд вины никто не отменял

ℹ️ Про авторизацию молчу, но лучше внести первостепенную информацию о себе. Имя, телефон, почта, а вот пароль лучше не скидывать. Не забываем, мы это передаём как будто бы третьему лицу

🏁 Нужен понятный результат. Не «купи картошку», а «собери корзину во Вкусвилле для приготовления варенной картошки по рецепту»

Недалеко от правды, что указывая детали будто бы проще самому сделать это руками, однако же в менее креативных задачах это не так. Агенты — это не «угадайку». Это исполнители с политикой по умолчанию. Если правил нет, вы получаете буквальный, часто неудобный результат

Навскидку приходит в голову подобный шаблон типовой задачи для сервисного агента:
Задача: <что нужно, для кого, на когда>
Контекст: <что уже есть / чего точно нет>
Ограничения: <бюджет, время, особенности>
Автономность: <буквальный / уточняющий>
Стоп-чеки: <авторизация, лимит цены, подтверждение шагов>
Вывод в одном предложении

В Comet ещё есть шаблоны для задач, чтобы каждый раз не пыхтеть над запросов. Так что один раз как надо сделали, далее пользуемся. И кстати, скидос на годовую подписку агентов в Comet ещё действует за несколько сотен рублей, а не долларов

🤖 InNeuralNetwork

Всякое рабочее с ИИ

Редко пишу про работу, но накину наблюдений без лишнего контекста:

По практике <2% мужчин замечают, что им пишет ИИ 🫢 под видом девушки. Помогают опечатки и генерация фото с аудио по запросу. А разоблачают чаще всего при невозможности позвонить, хе-хе

Самым дешёвым маркером копипейст ответа ChatGPT все еще остаётся список с подзагами по 2 предложения. Решал подобную задачу для hr-агентства, так как за последний год участились обращения, которые составлены по алгоритмам верно, а на интервью ни бе, ни ме. Так что, если откликаться на вакансию с применением нейронок, обращение повысит шанс ответа, если его написать 🤩 или переписать 🙂 самостоятельно

Знакомому продукт-дизайнеру отказали в работе в продукте с ИИ, когда тот не назвал метрики и не объяснил 🤓 архитектуру генеративной NLP-модели. «Читаю новости про нейросети, тестирую модели» уже, видимо, делают все. Для оффера на работу с ИИ нужно уметь объяснить низкую точность при жёстких SLA по latency и пути её роста. И это даже не уровень продактов и ML-инжинеров

⭐️ Кто считает метрики и обучает модели с дискретным выбором, рекомендую присмотреться к разбору Gumbel-Softmax на примере Городских сервисов Яндекса. Если слышите впервые, приём помогает вернуть градиент, не ломая логику выбора. В статье есть пошаговые выводы и пример с рекомендациями. Можно потестить после прочтения

По формату было интересно или я резко перешёл на другой язык? 🙂