Продолжая тему угадывания места по фотографии моделью о3 (предыдущий пост), прочитал блог Sam Patterson. Sam во время учёбы в AI safety fellowship занимался проверкой этого же навыка у моделей год назад, и, чтобы разобраться в теме, начал играть в GeoGuessr сам. Он достиг ранга мастера, выше — только Champion; однако этого вполне достаточно, чтобы отличать Болгарию от Турции по черепичным крышам и крючках на столбах.

Sam сгенерировал случайный раунд, сыграл в него сам, и прогнал по нему o3. Всего предлагается 5 локаций. У Sam была панорама 360 градусов, модель же он кормил двумя картинками с углом обзора примерно по 90 градусов.

Игра была близкой, но o3 выиграла 23 179 очков (из 25к) против 22 054. Однако в двух играх модель использовала веб-поиск, так что в теории можно сказать, мол, она мухлевала (хоть фотографии с Google Maps со случайных точек на карте почти не ищутся). Он перезапустил те два чата и следил, чтобы поиск не вызывался — и результаты почти не отличались: по сути и без доступа в интернет модель выиграла бы.

Кто-то может подумать, что модели извлекают EXIF-информацию из фото и делают предсказание по ней, но:
— на картинках Sam не было EXIF (потому что это скриншоты окна браузера, а не реальные фото)
— Sam пробовал подложить ложные EXIF, и o3 в них подглядывала, но... сообразила, что они не соответствуют наблюдениям, и продолжала делать достаточно точные предсказания.

Добавлю, что одно из главных отличий — это затраченное время. Обычно Sam угадывал в течение минуты или двух, а в паре раундов и вовсе за 10 секунд. Модель же всегда работала более 2 минут, а самое долгое рассуждение длилось более 6. Но не думаю, что это смутит ЦРУ или ФБР 😀