Бенчмарков для LLM сейчас очень много. От математики и кодинга до эмпатии модели.

Бенчмарки — это помощь при выборе модели, но не заменят собственные тесты.

Среди всего, что есть, я чаще смотрю именно их:

LMArena — лидерборд, где сравнивают модели по категориям: кодинг, математика, сложные промпты, креативное письмо, диалоги, языки. Оценки ставят реальные пользователи, так что получается народное ранжирование.

EQ-Bench — проверяет эмоциональный интеллект у моделей: как они ведут диалог, есть ли эмпатия, соблюдают ли правила безопасности и т.д. По сути, бенчмарк на человечность общения. Кстати Sonnet 4.5 лучше всего пишет текста.

Artificial Analysis — тестирует по стандартным бенчмаркам, строит лидерборды и графики, а так же стоимость, размер контекста, скорость и задержки.

LiveBench — довольно честный бенчмарк: вместо заезженных тестов там реальные задания из живых сценариев. Актуальные задачи, защищённые от утечек в тренировочные датасеты.

SWE-Bench — для программистов.

Scale AI — меряют кодинг, рассуждения, безопасность, соответствие правилам. Плюс собирают обратную связь от enterprise-клиентов.

OpenRouter — удобно смотреть, что популярно и что используют.

Hugging Face Spaces — можно найти и общие лидерборды, и узкие бенчмарки.

@tips_ai #tools

Я редко делюсь промптами в канал — не вижу в этом смысла.

Сами LLM умеют придумывать и улучшать их лучше, чем я или кто-то ещё. Лучше заняться контекстом.

Хотя, мой пост набрал 862 репоста, а может стоит продолжать…

Самый простой способ — это создать свой своего личного промпт-инженера в Custom GPT и прикрутите к нему официальный гайд по промптам или возьмите готовые GPTs

Практически все, кто выпускает новые модели, делятся руководствами.

Например, у GPT-5 есть целый мануал на сайте OpenAI Cookbooks. Или у Google руководство по NanoBanano.

Загляните еще в prompts.chat — это первый и известный справочник промптов с 135к звезд на GitHub. Еще на этот сайт, захожу иногда.

Я перестал копить золотую коллекцию промптов, чаще всего сам наговариваю, но если нужно выкладывать в канал, дайте знать.

@tips_ai #prompt

У Perplexity вышел браузер Comet для всех пользователей

Кто постеснялся встать в очередь на передачу инвайтов или еще не получил инвайт, то сейчас можете скачать по ссылке.

Но без подписки Perplexity делать нечего, я активировал её на год тут.

@tips_ai #news

OpenAI представил свой конструктор агентов

Agent Builder — инструмент, который позволит собирать своих AI-агентов и рабочие процессы без кода.

Можно не мучиться с API, а просто накидывать блоки на канве: логика, ветвления, запросы, файлы, guardrails — всё как в n8n или Zapier, только внутри OpenAI.

Интерфейс drag-and-drop, уже есть готовые шаблоны:
• боты поддержки
• Q&A-помощники
• обработка данных
• сравнение документов

Есть логика (if-else, циклы), коннекторы MCP, шаги с одобрением, guardrails, поиск по файлам, трансформация данных.

В основе OpenAI Agents SDK. Он управляет тем, как агент вызывает инструменты, получает ответы и двигается по шагам.

Плюс встроенная наблюдаемость: можно видеть, что агент делает в реальном времени и где он залип.

Всё происходит в отдельном UI прямо в OpenAI с панелью компонентов, предпросмотром, тестами и публикацией.

Собрал флоу > протестировал > запустил.

Можно строить [тут]

@tips_ai #news

В продолжении этого [поста]

От OpenAI вышел гайд по написанию промптов к Sora 2

Структура такая:

[Описание сцены простым языком: персонажей, костюмы, декорации, погоду и другие детали. Будьте максимально описательны, чтобы создать видео, соответствующее вашему замыслу.]

Cinematography:
Camera shot: [композиция и угол съёмки, например: общий план, съёмка с уровня глаз]
Mood: [общий тон, например: кинематографично и напряжённо, игриво и с интригой, роскошное ожидание]

Actions:
• [Действие 1: чёткое, конкретное движение или жест]
• [Действие 2: ещё одно заметное действие в сцене]
• [Действие 3: ещё одно действие или реплика]

Dialogue:
[Если в кадре есть диалог, добавьте короткие естественные фразы здесь или в списке действий. Делайте их лаконичными, чтобы они соответствовали длительности сцены.]

@tips_ai #prompt

Антропики запустили плагины для Claude Code

Плагины дают устанавливать и обмениваться коллекциями слэш-команд, агентов, MCP-серверов.

Я сразу же добавил готовые плагины с этого репозитория по команде:

/plugin marketplace add https://github.com/anthropics/claude-code

Но с первого раза не выйдет, потому что Claude, оказывается, сначала нужно понять, что такое плагин — пусть посмотрит их [тут].

@tips_ai #news

Может ли LLM притвориться покупателем?

Новости о предсказаниях реакций на маркетинговые компании по мотивам Sydney Sweeney и джинс American Eagle вдохновляют исследователей использовать LLM вместо фокус групп.

PyMC Labs попросили LLM «притворяться» покупателем с определённым демографическим профилем, показали ей продукт и попросили поделиться впечатлением, которое потом оценивает другая модель.

Они проверили, может ли языковая модель предсказать, купит ли человек продукт. Без обучения, без данных продаж, просто на основе описания товара и роли, которую она играет.

Модель получает анкету: пол, возраст, доход, место жительства. Ей показывают карточку продукта, например, шампунь.

Просили ответить, как обычный человек: что думаешь, купишь ли, почему да или нет.

Потом другой ИИ переводит этот текст в оценку по шкале от «точно не куплю» до «скорее всего да».

Результат совпал с реальными опросами людей на 90%. Без fine-tuning.

Метод назвали semantic similarity rating - смысловое сопоставление, насколько ответ похож по смыслу на реальные человеческие формулировки: «вряд ли куплю» или «очень хочу попробовать».

Самое интересное - тексты этих виртуальных покупателей оказались глубже человеческих и более четко объясняют: что смущает, что нравится, чего боятся. Модель не просто рассчитывает вероятность, она воспроизводит сам процесс человеческого размышления.

По итогам для простых предсказаний можно использовать детальный промпт по мотивам исследования и не учить модели на больших объёмах. Точно стоит попробовать использовать для анализа маркетинговых гипотез.

@maxvotek | linkedin | substack

Искал статью, которую читал давно.

Поиск в истории Chrome не очень хорошо работает. Приходится всегда скролить вручную.

Нашёл в магазине расширений: Better History.

Там есть календарь и нормальный поиск. Нашел статью, теперь пишу пост.

Плагин бесплатный, попробуйте.

@tips_ai #tools

Прошла неделя с выхода конструктора агентов от OpenAI.

В первый день все писали, что это новый убийца N8N.

Я попробовал, он пока сырой, но кто знает, ведь codex в начале тоже был не очень.

Сегодня n8n показывает AI Workflow Builder (Beta)

n8n собирает черновой вариант флоу с помощью чата с AI: добавлять ноды, связывать шаги и не нужно писать код.

Дальше можно исправить или доработать вручную.

Работает пока только в облаке. Для self-hosted пока решения нет.

Кредиты зависят от плана:
• Trial — 20
• Starter — 50
• Pro — 150

Каждое обращение к ИИ тратит один кредит, что-то прям очень мало.

В общем фичу от n8n точно стоит попробовать, ведь это больше их специфика.

@tips_ai #news