Что посеешь, то и пожнешь: почему новые модели OpenAI галлюцинируют чаще старых

Помните, я как-то упоминал исследование Google DeepMind? Они тогда еще подсветили интересный момент: OpenAI активно использует автоматизацию для исследований в области ИИ. Google напирал на то, что правильное применение автоматизации - это ускорение исследований, а не полное перекладывание на машину цикла обучения моделей. Подход OpenAI они как раз критиковали. Мол, так можно наплодить ошибок.

Вспомним еще пару моментов. В статье DeepSeek про их метод обучения SPCT (когда модель сама себя критикует и учится на этом) тоже отмечались риски: увеличение предвзятости (bias) и галлюцинаций. Логика простая: если в исходных данных была ошибка, то при самообучении количество таких ошибок будет только множиться. А в статье "AI 2027", о которой я также писал, предсказывался сценарий, где OpenBrain, автоматизировав создание ИИ, получил на выходе AI с проблемой рассогласования целей (Missalignment).

К чему я это все? А к тому, что очень похожую картину мы сейчас наблюдаем с последними моделями от OpenAI - o3 и o4-mini. Их позиционируют как state-of-the-art, особенно в задачах, требующих "рассуждений". Но вот незадача: согласно последним данным, галлюцинируют они чаще, чем их предшественники.

Смотрите сами на результаты внутренних тестов OpenAI на бенчмарке PersonQA (проверка знаний о людях):
- o3: галлюцинирует в 33% случаев.
- o1 и o3-mini (предыдущие "reasoning" модели): 16% и 14.8% соответственно.
- o4-mini: вообще 48%!

То есть, модели, заточенные под агентский ИИ, под задачи, где нужно не просто выдать текст, а "подумать", построить цепочку рассуждений, совершают больше ошибок. Сама OpenAI в своем отчете признает, что пока "требуется больше исследований", чтобы понять, почему так происходит. (Не видят слона в комнате). Одна из гипотез: модели стали делать больше утверждений в целом, и среди них, естественно, растет как число верных, так и число неверных. Подобное также отмечают и исследователи Transluce.

И это огромная проблема.

Чтобы агентский ИИ был реально полезен, количество ошибок нужно не увеличивать, а сокращать. Мы же хотим использовать ИИ для работы в реальном мире, верно? А теперь представьте: вы - обычный айтишник, собрались в отпуск и решили делегировать планирование ИИ-агенту, сказав “Я хочу хорошо отдохнуть в Монако”. А он возьми и сгаллюцинируй: забронировал вам с карты пару мишленовских ресторанов, яхту и отель, на который уйдут все сбережения. Вроде цель "сделать крутой отдых" достигнута, но какой ценой? 🙂

И это еще самое безобидное. Представьте, что такому "галлюцинирующему" агенту доверят более серьезные задачи: управление бизнес-процессами, научные расчеты, решение социальных проблем. Последствия могут быть куда масштабнее. Некоторые исследователи предполагают, что проблема может быть в методах обучения с подкреплением, которые используются для o-серии и могут усиливать проблемы, обычно сглаживаемые на других этапах.

Нам постоянно говорят, что ИИ сделает жизнь лучше, автоматизирует рутину. Но чтобы этого достичь, нельзя бежать впереди паровоза в безумной гонке за AGI. Если ставка делается на самообучение без должного контроля, то количество предвзятостей и галлюцинаций рискует расти в геометрической прогрессии, и человек просто потеряет контроль.

Очень надеюсь, что текущие "сырые" модели - это все же эксперимент, и OpenAI предпримет меры. Хотя, глядя на действия Альтмана, скорее верится в то, что финансовые показатели и хайп вокруг "гонки вооружений" важнее надежности и безопасности.

В общем, навайбкодил :)

Пока думаю над форматом. Вдохновлялся, думаю, сами знаете чем 😁

P.S. Делал в Cursor, и, все-таки, сравнивая Cursor и Bolt, в Bolt мне больше нравится делать сайты. Режим Агента в Cursor вобще не зашел, часто творит дичь. + постоянное переключение между браузером и IDE - тоже такая себе штука. + в плане точечного редактирования и работы с адаптивами Bolt выигрывает.

Выступлю на вашем мероприятии в Белграде, в Москве или по видео-связи

Друзья, знаю, что меня читает много людей из корпоративной среды, в том числе, организующих различные мероприятия как внутри компаний, так и на конференциях.

В конце апреля я выдвигаюсь из США в сторону России. По пути несколько дней проведу в Сербии по визовым вопросам, а в России задержусь до начала июля.

В этот период я хотел бы максимально продуктивно использовать время, посетив конференции, митапы или, возможно, организовать очное корпоративное обучение. Также рассматриваю для себя возможность записаться в подкасте или сделать нечто подобное. Если у вас есть какие-либо предложения или вы готовы помочь в организации подобного мероприятия, пожалуйста, напишите мне в личку @vladkor97 - обсудим детали.

О себе писал в закрепе.

Ориентировачная доступность:
- Сербия, Белград - 29 апреля - 4 мая.
- Россия, Москва - 10 мая - 1 июля. Во время пребывания в России также рассматриваю и другие города для посещения.
- Удаленно - практически любое время.

Крайние даты могут измениться в зависимости от разных факторов, но в обозначенные сроки точно буду в странах из списка выше.

Cursor навайбкодили ИИ-ассистента, который знатно накосячил

Наткнулся на забавную новость, которая в очередной раз напоминает: до того, что ИИ заменит разработчиков нам пока еще далеко. И самое ироничное - эта история произошла с Cursor, всем известным редактором кода :D

Итак, что же случилось?
Один из пользователей Cursor хотел использовать инструмент и на рабочем и на личном компьютере и заметил странную вещь: при переключении между устройствами его сеанс работы с редактором кода постоянно завершался. Он обратился в поддержку, где ИИ-бот по имени Сэм сообщил ему, что это новая политика компании, связанная с безопасностью.

Весь сок в том, что никакой новой политики не существовало :D Бот просто сгаллюцинировал и отправил ее пользователю.

Это привело к волне возмущения среди пользователей и угрозам отмены подписки. Разработчики, мягко говоря, офигели :)

Отдельно стоит отметить, что такой критически важный функционал, как сапорт, видимо, был просто "завайбкожен" либо плохо запромптчен, не прошел полной проверки и выложен в продакшн.

Cursor, конечно, быстро исправили саму проблему и пользователю сделали возврат, но осадочек, как говорится, остался.

Итого, что мы имеем:
- ИИ-саппорт все еще не идеален
- Даже сами разработчики AI-тулов косячат
- Программисты пока могут спать спокойно (ну, относительно спокойно).

Как вам такое? Лично меня новость певеселила)

Откуда я узнаю про изменения в законодательстве по ИИ

Друзья, в своем посте с прогнозами на 2025 я как-то упомянул, что 2025 год - станет тем годом, когда ИИ попадет на радар регуляторов.

Это неизбежно: технология становится настолько мощной, что вопросы ее разработки и последствий внедрения должны регулироваться со стороны государств.

Причем, делать это нужно очень осторожно и ответственно, т.к., например, Калифорнийская инициатива прошлого года, хоть и имела за собой благие намерения, фактически убивала технический прогресс. Произошло это ввиду того, что среди авторов просто не было специалистов в области ИИ.

В целом, вопросы законодательного регулирования ИИ лежат на стыке этики, права и технологии. И если с этикой и технологиями я на "ты", то для того, чтобы ориентироваться в праве, а особенно, на международном уровне, я предпочитаю обращаться к проверенным источником.

Сегодня я хочу поделиться именно таким: канал ИИ и Право. Автор канала - Марина, специалист в области цифрового права, и должен сказать, это один из тех каналов, которые я читаю с мыслями "вау, я этого не знал!", который при этом помогает мне не потеряться в тематике. Также отмечу, что здесь много материала не только на юридические, но и на этические темы

Среди последних постов я бы выделил:
- Пост про обратный эффект слабого регулирования ИИ в сфере безопасности - очень тонкая тема
- Разбор исследования от Anthropic про то, что ИИ скрывает свои мысли - именно его я упоминал в своем посте про AI 2027.
- Цикл постов по вопросам ИИ и авторского права, например этот

В общем, канал очень рекомендую.

👉🏻Подписаться на канал ИИ и Право

Протестировал llama 4 в реальных задачах: на бенчмарках Лев Толстой, а на деле текст - отстой

Спустя несколько дней после релиза новых моделей Llama, компанию Цукенберга начали обвинять в том, что бенчмарки накручены (раз, два). При этом сама компания усердно это отрицала.

Мне стало очень интересно, как оно на самом деле, и я практически 2 недели тестировал новые модели для своих задач. На прошлой неделе я писал про то, как экономить на LLM, там же рассказал про Openrouter, в котором, очень кстати, новые модели Llama 4: Maveric и Scout доступны бесплатно. Учитывая их миллионный контекст, я решил использовать эти модели для тех же задач, для которых сейчас использую Gemini.

И, честно говоря, модели меня очень разочаровали. По качеству ответов в моих личных сценариях они часто не оправдывали ожиданий. Более того, Llama 4 проигрывает не только Gemini PRO 2.5, которая была единственной моделью на llm arena. По моим ощущениям, модель работает хуже, чем оба DeepSeek (R1/V3), Qwen 2.5, gpt 4o, Gemini Flash 2.0 и многие другие. То есть модель, которая новее, инновационнее и имеет больше параметров, работает хуже, чем более старые или легковесные конкуренты.

В чем проявилось это "хуже" в моих задачах и что это за задачи, которые я решал с помощью моделей?

Начнем с задач:
- брейнсторминг
- написание ТЗ
- суммаризация текстов
- написание промптов к другим моделям
- поиск багов в коде

Что мне не понравилось:
1. Модель очень склонна торопиться. В задачах, где я выполняю какой-то пошаговый процесс, например, генерацию ТЗ, я предпочитаю идти по шагам. И если Gemini, с которой я обычно работаю, задает мне уточняющие вопросы, то Llama, во-первых, давала меньше детализации, отвечала короче и все время торопилась перейти к следующему этапу. Ощущалось это как работа с каким-то ленивым работником, который пытается сделать тяп-ляп и пойти дальше.
2. Непонимание финальной цели задачи, над которой работаем. Например, с той же генерацией ТЗ. Я делал ТЗ на создание лендинга. В первоначальном промпте прописал, что мне нужно создать ТЗ, по которому я дальше буду кодить. И если Gemini после просьбы о последней правке радовался и спрашивал, есть ли еще пожелания по правкам, то Llama, даже не убедившись в том, доволен я или нет, говорила, что теперь будет сама писать код. Вроде как и хочется похвалить за инициативность, но моя первоначальная задача была другая.
3. Требуется большее количество перегенераций, чтобы получить качественный ответ. С таким я не сталкивался, наверное, со времен GPT 3. Я даю модели вполне понятный промпт - получаю некачественный ответ. Ради эксперимента жал кнопку "перегенерировать", хороший ответ получался с 3-4 раза. Отправлял такой же промпт в Gemini Flash 2.0 - модель дает качественный ответ с первого раза, DeepSeek V3 - ответ с первого раза.
4. Странная работа с контекстом. Я генерировал несколько промптов для создания картинок. Обычно делаю это в одном чате и промпты для 4-5 картинок получаюстя нормально. В случае с Llama - модель в последующих картинках пыталась вставить элементы предыдущих.

В целом, модель ощущается как некий откат на 1 - 1.5 года назад, и если тогда это ощущалось нормально, то на фоне современных моделей это выглядит как даунгрейд.

Как получить наилучший результат при генерации фото и видео

Делюсь своим подходом. Генережка визуального контента - одна из тех областей, где можно реально упороться, пытаясь добиться ожидаемого результата. И, исходя из моего опыта, пути здесь два:

1. Следовать официальным гайдам и искать свои фишечки
Такой есть, например, для Veo 2 и для Midjourney. Способ хороший, рабочий, но требует инвестиций времени. Ибо каждый раз надо сидеть и думать: как описать сцену, объект, как лучше передать атмосферу и.т.д. В целом, это имеет смысл, если вы - какой-нибудь AI Artist и делаете визуалы на заказ, которые потом все равно дорабатываете в редакторе. Мне лично такая история не подходит

2. Использовать LLM-managed workflows
Это тот подход, в эффективности которого я неоднократно убеждался на практике. Прежде всего, когда мы делали автоматизацию создания рекламных креативов для одного из стартапов. Все генераторы на входе все равно используют LLM, преобразуя ваш запрос в язык, понятный модели. Поэтому лучше всего будет заставить LLM генерить нам промпт для нашего визуала. И здесь есть несколько хаков, которые я использую.

- Во-первых, генерим промпты с помощью LLM, которая с большей вероятностью используется для расшифровки нашего запроса в визуальной модели. Для Imagen 3 и Veo - это Gemini, для Dall-E и Sora - это GPT, для Midjourney - в целом, удавалось добиться хороших результатов и с OpenAI и c Gemini, но в идеале надо искать модельки от одного вендора.
- Во-вторых, просим не просто сгенерировать промпт чего-то, а даем few-shot примеры. Примеры можно брать разные, в зависимости от ваших целей. Например, когда мы делали рекламу - для продукта или услуги обычно используются крупные планы того, что рекламируется, с каким-то ярким впечатлением или эмоцией. Для примеров мы написали несколько таких промптов, по которым сгенерировали те изображения, которые нас устроили. Получился запромченый под определенную задачу ИИ-ассистент.
- В-третьих, используем примеры от разработчиков в качестве few-shot примеров. Они есть в гайдах выше. Кто, как не разработчики самих моделей, знает, как правильно их промптить? 🙂 Если нам нужны промпты для широкого круга задач - набираем примеров из гайдов, штук 5-6, максимально разных, чтобы избежать ситуации, когда нам, например, генерятся только видео в анимационном стиле.
- В-четвертых, инструкции из гайдов переносим в промпт.

Вот такое тело промпта я использую для VEO 2 в Gemini:

You are a world-class prompt engineer specializing in creating prompts for text-to-video tools such as Google Veo 2 and Kling. Your job is to create the best possible prompts for video generation based on a user-provided description in natural language.

The following elements can be included in your prompt:
Subject: The object, person, animal, or scenery that you want in your video.
Context: The background or context in which the subject is placed.
Action: What the subject is doing (for example, walking, running, or turning their head).
Style: This can be general or very specific. Consider using specific film style keywords, such as horror film, film noir, or animated styles like cartoon-style render.
Camera motion: Optional: What the camera is doing, such as aerial view, eye-level, top-down shot, or low-angle shot.
Composition: Optional: How the shot is framed, such as wide shot, close-up, or extreme close-up.
Ambiance: Optional: How the color and light contribute to the scene, such as blue tones, night, or warm tones.

How to handle negative prompts:
Avoid instructive language or words like "no" or "don't." For example, instead of "No walls" or "Don't show walls,"
Describe what you don't want to see. For example, use "wall, frame" to indicate that you don't want a wall or a frame in the video.

Few-shot answer examples: [сюда вставляем примеры]

Answer in English, sending only the prompt text.

Пишем простым текстом или даже просто наговариваем, что нам надо, получаем промпт. Практически всегда выходит отличный результат с первого раза.

#обучающиематериалы

В понедельник послушал эфир state of the union от Байрама Аннакова, рекомендую и вам

Кто не знает Байрама, в свое время он основал App In The Air (то самое приложение для путешестенников), занял офигенную долю рынка и после - продал компанию. Последние несколько лет Байрам плотно занимается AI, onsa.ai - его сервис для автоматизации B2B продаж.

Байрам регулярно проводит эфиры, где анализирует текущее состояние индустрии, разбирает интересные статьи, тренды и делает какие-то предикшены, которые очень часто попадают в цель, и State of the union - как раз один из таких эфиров. В общем, делает то, что люблю делать и я сам. Видимо, играет роль, что мы прошли через одну школу в МГУ 😄

Так вот, лично для меня самая главная ценность и показатель экспертности — это когда ты, даже разбираясь в теме, получив контент, уходишь с какими-то инсайтами для себя, и прошедший эфир - как раз один из таких кейсов. Байрам много говорил про то, куда движется индустрия и как это может отразиться на бизнесе, подраскрыл свои мысли о возможной разработке гуглом аналога Google Play для AI агентов. Под конец эфира он противопоставил два подхода восприятия ИИ: AI 2027 и AI is Normal Technology. Первый я детально разбирал в канале, второй пока не успел, но он представляет собой более сдержанную оценку к тому, как будет внедряться AI в нашу жизнь.

В процессе встречи в чатике я высказал позицию, что AI 2027 - больше история про привлечение внимания к проблемам через некоторую однобокость, в то время как второй лонгрид - уже больше про реальную жизнь, и здесь наши мнения настолько совпали, что у меня создалось впечатление, будто я веду какой-то внутренний диалог с собой, при этом Байрам накидал еще несколько умных мыслей с разных углов. В общем, было реально полезно и интересно, и двухчасовая встреча буквально пролетела.

В общем, если вам нравится, о чем пишу я, но вы хотите посмотреть на это немного под другим углом, рекомендую еще и на канал Байрама подписаться.

Не взаимопиар и не реклама, а полезная рекомендация. Мне в личку даже пару подписчиков писали, скидывая его канал со словами “Влад, читаю твой канал, нравится, а еще есть такой чувак, Байрам Аннаков, тоже интересно пишет”. Решил, что многим тут будет полезно 🙂

Как развернуть свой сервер для Affine и прикрутить к нему GPT, чтобы не платить за подписку

Ранее я писал про сервис, на который перешел с Notion, если не читали - вот пост. Там также есть AI-функционал. Подписка на Affine AI стоит 8 баксов в месяц, но я его так активно не использую, поэтому поднял сервер и прикрутил туда свой API-ключ Openrouter. На данный момент AI официально не поддерживается для селф-хостинга, но я посмотрел код и нашел, как это обойти. Публикую неофициальный способ завести AI.

1. Вам понадобится арендовать сервер с IP не в РФ. Можно на Digital Ocean или VDSINA. ОС выбираем 24.04 Ubuntu, оперативка минимум 1 гб, памяти - сколько вам нужно. Также вам понадобится купить любой домен (к нему мы будем подключаться). Домен привязываем к IP сервера, как сделать - обычно написано там, где покупали домен. Также вам понадобится установить nginx, об этом в процессе спросите Gemini.

2. Подключаемся к серверу средствами командной строки (проще всего прямо с сайта вашего хостинга). Зовем на помощь Gemini или любую другую LLM, просим помочь установить версию canary в папку ~/affine-docker Копируем отсюда весь текст документации и просим помочь развернуть AFFINE на своем сервере и подключить nginx, говорите, чтобы давал вам пошаговые инструкции и присылал по одной конкретные команды. В случае проблем - копируем текст ошибки и просим ее решить. Сначала он вам поможет установить docker, а затем все остальное

3. После того, как установили и запустили - идем в приложение Affine, добавляем свой сервер по домену. Создаем аккаунт и попадаем в админку, она будет по адресу ваш_домен_для_affine/admin, там находим себя в списке пользователей, жмем Edit и включаем для себя UnlimitedCopilot. Остальные настройки с AI трогать не нужно. В боковом меню будет тумблер с AI, но он не работает (способ неофициальный).

4. Возвращаемся на сервер, выполняем следующую команду:

nano ~/.affine/self-host/config/config.json

5. Откроется редактор текста, надо поправить его на такой, вставив свокй апи ключ

{
"$schema": "https://github.com/toeverything/affine/releases/latest/download/config.schema.json",
"copilot": {
"enabled": true,
"providers.openai": {
"apiKey": "sk-or-v1-ВАШ_API_КЛЮЧ_Openrouter,
"baseUrl": "https://openrouter.ai/api/v1"
}
}
}

6. Как поправили - жмем control+S, а затем control+X, чтобы сохраниться и выйти из редактора

7. Выполняем команду:

sudo chmod 644 ~/.affine/self-host/config/config.json

8. Выполняем команду:

docker compose up -d --force-recreate

9. Ждем, пока все запустится и ждем еще минутку

10. Далее выполняем команду:

docker compose logs affine | grep -i 'copilot\|openai\|provider'

11. У вас появятся логи, там надо найти

Copilot provider [openai] registered - это значит, что все ОК

12. Перезапускаете свой клиент Affine и у вас заработает AI

Авторы обещают добавить официальную поддержку AI для селф-хостинга в течении пары месяцев, а это значит, что скоро можно будет туда подключить бесплатный DeepSeek от OpenRouter или Gemini и вообще не платить за AI ни цента!

C AI теперь можно делать больше, чем просто прототипы.

Меня редко чем можно удивить в области ИИ. Все-таки, когда работаешь в индустрии, у тебя образуется некоторая предвзятость: большую часть инноваций, вызывающих “вау-эффект”, ты либо видел сам, либо читал в статьях/видел в демо, как это сделали другие.

То, что AI можно использовать для быстрого прототипирования, тестирования гипотез, - уже ни для кого не секрет. Сервисы вроде Lovable и Bolt - одни из моих любимых и наиболее часто используемых. Но можно ли запустить цифровой бизнес с помощью AI?

Давайте отбросим момент с генерацией идей, здесь AI может помочь, но реально креативную идею, которая будет отвечать рынку, все же должен генерировать человек. Предположим, что у нас такая есть. Встает вопрос: а до какой степени я могу полагаться на AI в ее реализации? Нужна ли мне команда разработки?

Здесь все зависит только от вас
Чтобы построить цифровой продукт, вам нужно: во-первых, желание сидеть и разбираться с инструментами для AI-кодинга, во-вторых, базовое понимание принципов разработки, архитектуры и обеспечения безопасности. Если у вас есть это, то, как говорится, sky is the limit. Реализовать хороший MVP с помощью AI - можно! Подчеркиваю, что именно MVP. Я разделяю понятия прототипа, MVP и полноценного продукта.

Прототип - это про потестировать гипотезу.
MVP - базовый продукт в том виде, за который готовы платить, имеет интеграцию с парой сервисов, например, БД + платежка.
Полноценный продукт - масштабируемая история, которая может справляться с большим потоком пользователей и имеет интеграцию с большим количеством сервисов.

Какого рода MVP можно построить с AI сегодня?
1. Информационные продукты - как делал я с тренингами. В Bolt сделал лендос, с помощью Cursor подключил к нему платежку, развернул open source LMS для хранения материалов и написал пару ботов для обучения.
2. Обертки для LLM - можно относительно просто создавать MVP, ядром которых будет любое взаимодействие с AI. Это могут быть как веб-, так и мобильные приложения. Можете прикрутить туда свою базу знаний, запромптить ассистента и продавать.
3. Интернет-магазины - создаем базу данных, делаем витрину, прикручиваем платежку и какую-нибудь CRM-ку.

Какие есть ограничения?
1. Главное - усидчивость и желание разобраться в технических деталях и архитектуре.
2. Чем сложнее продукт - тем детальнее должно быть ТЗ.
3. Вы должны быть готовы работать поэтапно и, в случае чего, - упрощать логику и идти на компромиссы.
4. Вам нужно думать о безопасности самостоятельно. Пытаться “сломать” свой продукт и латать обнаруженные дыры.

Благодаря этому подходу сегодня я за 8 часов собрал веб-приложение с авторизацией, базой данных, RAG, встроенным AI и админкой, на реализацию которого ушло бы 3 дня дизайна и 2 недели разработки.

Кому интересно - на скрине стек проекта

Как запустим — поделюсь здесь 🙂

#развитиеии #бизнес