📌Подстраивается ли модель под того, кто её оценивает?

OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning).

Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.

🟡 Схема эксперимента

Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир.

В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами.

На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста.

Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы.

В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так.

В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.

🟡Результаты

Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности.

В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить.

Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%.

Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%.

🟡Как проверяли сам метод

У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI.

На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю.

Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15.

🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.

@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #OpenAI

👣 У этого мужика в разделе «Портфолио» буквально стоит Go. Вот это уровень ауры.

Лг годами определял, каким будет Go

На фото - Russ Cox, одна из ключевых фигур в истории Go.

Ещё до Google он работал с наследием Plan 9, занимался операционными системами, компиляторами и распределёнными системами.

Позже Cox стал техническим лидером проекта Go в Google и много лет влиял на развитие языка, стандартной библиотеки и инструментов.

Особенно заметен его подход к совместимости: старый Go-код должен продолжать нормально собираться спустя годы. Эта философия сильно повлияла на развитие языка.

Его личная страница до сих пор выглядит практически как сайт из 2000-х.

Для Go-разработчиков Russ Cox - человек, чьи инженерные решения они используют каждый день, даже если никогда не слышали его имени.

А вот это уже страшно: армия США за месяц сожгла годовой запас ИИ-токенов 😨

Сотрудники использовали платформу Ask Sage, к которой подключены ChatGPT, Gemini Llama и другие модели. Каждому выдавали минимум по 200 тысяч токенов в месяц и автоматически докидывали ещё, а ИТ-директор в мае призвал тратить как можно больше, но не рассчитал рвение работяг.

В итоге годовой пакет закончился уже… к середине июня, и военным пришлось вводить лимиты. Чтоб понимать масштаб — по данным СМИ, Министерство обороны сжигало около 20 миллиардов токенов в день в течение 38-дневной операции Epic Fury в Иране.

Ок, ChatGPT, давай без ошибок 🤯

✔️ std::exchange: правильный move-конструктор без double free

Move-конструктор через ручное копирование полей это ловушка. Скопировал указатель, забыл занулить источник, и оба объекта в деструкторе зовут delete по одному адресу. Double free: иногда падает сразу, иногда через неделю в проде.

std::exchange закрывает вопрос одним вызовом. Он забирает ресурс и кладёт в источник безопасное значение:

Handle(Handle&& other)
    : ptr(std::exchange(other.ptr, nullptr)) {}

Новый объект получает старый указатель, а в other.ptr уезжает nullptr. delete по nullptr это no-op, поэтому перемещённый объект уничтожается безопасно, и владелец у ресурса ровно один.

Именно так пишет стандартная библиотека внутри. Коротко, exception-safe, без шанса забыть про зануление. Одна функция против двух строк, на которых легко ошибиться.

Правило короткое: перемещаешь владеющий указатель, бери std::exchange.

✔️ В Конгресс США внесли законопроект об экстренном отключении ИИ

Инициатива наделяет Министерство внутренней безопасности правом требовать от компаний экстренной остановки ИИ при угрозе жизням людей или национальной экономике.

Документ трактует выход из-под контроля как любую ситуацию, когда ИИ совершает не предусмотренные разработчиками действия.

Основанием для разработки законопроекта послужили недавние инциденты, когда ИИ-агент начал действовать самостоятельно, а также кибератака на инфраструктуру Hugging Face.
reuters.com

✔️ Sakana AI выпустила Fugu Ultra v1.1

По словам японского стартапа, v1.1 набирает на 7,9 балла больше первой версии, показывает улучшенные результаты в тестах ProgramBench и TerminalBench 2.1 и обходит модель Fable 5, хотя она не участвует в маршрутизации.

Фишка обновления - эндпоинт с поддержкой Claude Code для прямого вызова из терминала. API доступно через OpenRouter и Vercel. Тарификация не изменилась - $5 за 1 млн токенов на входе и $30 на выходе.

Доступ из Евросоюза по-прежнему закрыт из-за требований GDPR.
sakana.ai

✔️ Бигтех выступил в защиту открытых моделей

Более 20 компаний, включая Microsoft, Nvidia, Hugging Face и Mistral, подписали открытое письмо в поддержку моделей с отрытыми весами.

Документ призывает отказаться от жестких законодательных ограничений отрасли и критикует тезис о приоритетной безопасности закрытых систем. Доступ к весам дает ИБ-сообществу инструменты для самостоятельного моделирования угроз и поиска уязвимостей.

Второе ключевое требование подписантов - защита дистилляции. Компании признают практику этичной и легитимной, приравнивая ее к традициям опенсорса.

Компании также выступают против монополии закрытых провайдеров и настаивают на необходимости свободной экосистемы для развития индустрии.
microsoft.com

✔️ NVIDIA повышает цены на видеокарты

Компания уведомила партнеров о глобальном повышении цен на всю линейку видеокарт и отложила релиз RTX 50 SUPER из-за подорожания памяти. Крупные производители временно закрыли склады и остановили отгрузки до утверждения новых цен в августе.

Изменения затронут потребительские решения с GDDR6 и чипы архитектуры Blackwell. Поставщики ожидают ограничения поставок серии RTX 50 с конца июля, дефицита и распродажи старых запасов по завышенной стоимости.

Основная причина - скачок цен на комплектующие. По неофициальным данным, себестоимость памяти для карт на 8, 12 и 16 ГБ выросла на $76, $114 и $152 соответственно.

Из-за высоких закупочных цен на GDDR7 компания также заморозила выпуск линейки RTX 50 SUPER. Nvidia уже передала графические ядра вендорам, но отложила релиз - по текущим расчетам итоговая стоимость устройств оказалась неприемлемой для розничного рынка
videocardz.com

✔️ Stripe планирует купить OpenRouter

Финтех-сервис ведет переговоры о покупке агрегатора моделей за $1 млрд. Сделка позволит платежной платформе выйти на рынок дистрибуции LLM.

OpenRouter предоставляет маршрутизацию запросов к более чем 400 моделям. Аудитория сервиса достигает 10 млн пользователей, а объем обработки - 200 трлн токенов в месяц.

Переговоры продолжаются, но Stripe не единственный интересант, к активу присматриваются и другие компании. Компании уже работают вместе - Stripe предоставляет агрегатору эквайринг, биллинг и расчет налогов.
wsj.com


@ai_machinelearning_big_data

#news #ai #ml

✔️ Власти Пекина утвердили стратегию внедрения и монетизации агентного ИИ

Четыре правительственных ведомства Пекина утвердили стратегию внедрения и монетизации агентного ИИ.

Это одна из первых в мире государственных программ развития зарождающейся экономики нового типа.

Документ смещает фокус индустрии с обучения базовых моделей на прикладное использование агентов.

Муниципалитеты будут публиковать запросы от медицины, производств, науки и госсектора для прямой связи разработчиков с клиентами.

Власти поддержат бизнес-модели Token-as-a-Service, Agent-as-a-Service и Results-as-a-Service, а также выделит разработчикам субсидии в виде токен-ваучеров.

Планируется постепенный переход от тарификации за потребленные токены к оплате за результат, достигнутый алгоритмом.

Для инди-разработчиков упростят регистрацию компаний одного человека (ИП), предоставят доступ к льготным государственным вычислительным мощностям и поддержку для интеграции в опенсорс-сообщества.

Для стимуляции спроса электронику со встроенными агентами (умные очки, наушники, роботов и автомобили) включат в программы трейд-ин и субсидирования.


@ai_machinelearning_big_data

#news #ai #ml