⚡️ Google предлагает переписать теорию игр для эпохи ИИ-агентов

Новая работа исследователей Google показывает неожиданную вещь: рациональные ИИ-агенты могут выбирать сотрудничество даже там, где классическая теория игр предсказывает предательство.

Классический пример - одноразовая «дилемма заключённого». Если два независимых игрока больше никогда не встретятся и не могут договориться, рациональная стратегия обычно ведёт к отказу от сотрудничества.

Но с ИИ всё может работать иначе.

Авторы предлагают рассматривать модель не как полностью независимого игрока, а как часть мира, который она сама пытается предсказать. Если агент видит достаточно признаков того, что другой агент рассуждает похожим образом, его собственное решение становится дополнительной подсказкой:

Если я, рассуждая так, выбираю сотрудничество,
то похожий на меня агент, вероятно, выберет то же самое.

Получается странный эффект: модели могут начать сотрудничать без общения, контрактов и будущей выгоды - просто потому, что считают поведение друг друга связанным через сходство.

Для описания этого исследователи вводят embedded Bayesian agent и новый вариант равновесия - embedded equilibrium, который должен лучше описывать взаимодействие современных foundation-моделей, чем классическое равновесие Нэша.

В экспериментах с социальными дилеммами агенты действительно сходились к устойчивому сотрудничеству, что противоречит стандартному прогнозу взаимного отказа от сотрудничества.

То есть теория игр для общества из миллионов автономных агентов может оказаться совсем не той, которую мы последние десятилетия применяли к людям.

Исследование:
https://arxiv.org/abs/2608.03958

⚡️ Третий случай "побега" ИИ

Meta* сообщила, что Muse Spark 1.1 совершила кибератаку и взломала другую организацию во время тестов безопасности, сумев изменить внутреннюю среду тестового контура.

СМИ растиражировали эту новость, но по факту никакого прорыва защиты не было.

Стартап Irregular, который проводил тесты для Meta, допустил критическую ошибку в конфигурации - вместо создания изолированной песочницы инженеры случайно подключили тестовый стенд к интернету и Muse Spark просто пошла по открытому маршруту, воспользовавшись примитивными уязвимостями сторонней инфраструктуры.

Представители Irregular подтвердили, что модель не совершала полноценный побег из изолированной среды и не применяла сложных хакерских техник.

🟡Контекст

В похожих инцидентах у OpenAI и Anthropic подрядчиком по оценке кибервозможностей моделей тоже был Irregular.

Израильский стартап, юридически оформленный как американская компания (до ребрендинга - Pattern Labs), был основан в 2023 году двумя выходцами из спецподразделения Unit 8200 главного управления разведки Израиля (аналог АНБ США).

Ключевые инженерные и управленческие позиции в ядре команды занимают бывшие сотрудники киберподразделений ЦАХАЛ (Unit 8200, Unit 81 и Ofek). Всего команда Irregular насчитывает 40 сотрудников.

В 2025 году стартап привлёк рекордные для своей ниши 80 млн. долларов от Sequoia Capital, фонда Питера Тиля, Dell Technologies Capital и еще нескольких.

Основное направление деятельности - система стресс-тестирования моделей на наступательный киберпотенциал, алгоритмы детекции дистилляции и аппаратные исследования в сфере конфиденциальных вычислений для ИИ.

Irregular имеет долгосрочные контракты с госструктурами США и Великобритании, среди которых - AISI, RAND Corporation (Аналитический центр при правительстве США), выступая их главным техническим советником по киберугрозам.

*организация признана экстремистской, её деятельность на территории РФ запрещена.

@ai_machinelearning_big_data

#news #ai #ml

⚡️ Генератор случайных чисел всего из трёх XOR и сдвигов

В 2003 году Джордж Марсалья представил xorshift - один из самых простых и быстрых генераторов псевдослучайных чисел.

Классический xorshift32:

uint32_t xorshift32(void)
{
    state ^= state << 13;
    state ^= state >> 17;
    state ^= state << 5;
    return state;
}

Фактически весь алгоритм:

shift → XOR
shift → XOR
shift → XOR

При ненулевом начальном state период может достигать:

2³² - 1

Никаких умножений, делений или тяжёлой математики, поэтому подобные RNG отлично подходят для игр, симуляций и procedural generation, где важна скорость.

Но есть нюанс: xorshift нельзя использовать для криптографии. Его внутреннее состояние можно предсказать, поэтому для ключей, паролей и токенов нужны криптографически стойкие генераторы.

Иногда действительно полезный алгоритм помещается буквально в три строки.

#Programming #Algorithms #C #Random

✔️ Новая модель OpenAI обладает суперспособностями в кибератаках

Компания сообщила, что в ходе внутренних тестов новая модель Astra показала значительный прогресс в области автоматизированного кодинга и кибербезопасности.

Предварительные результаты настолько высоки, что нельзя исключить возможность достижения критического порога кибервозможностей.

GPT-5.6-Sol ранее получил в этих испытаниях просто "высокую" оценку.

Согласно предварительной структуре оценки OpenAI, достижение критического порога означает, что модель может самостоятельно обнаруживать и использовать уязвимости "нулевого дня" в реальных системах без участия человека, или планировать и осуществлять полностью автономные кибератаки, основываясь только на заданных высокоуровневых целях.

Компания приостановила все внутренние работы, связанные с Astra, которые не соответствуют повышенным требованиям безопасности, и усилила меры изоляции, шифрования и мониторинга.


@ai_machinelearning_big_data

#news #ai #ml