«Эффект обезьяньей лапы» искусственного интеллекта.
Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки – работает ли) —хочу 200 фунтов стерлингов. Стук в дверь. Там служащий завода, где работает сын. Он сообщает, что сын погиб – его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов. Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!». Снова стук в дверь. Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез… Три желания выполнены точно в соответствии сформулированным требованиям.

Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы». Его суть в следующем.
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
- может быть непредсказуем;
- может превосходить положительный результат и обесценивать его.

Вот реальный пример «обезьяньей лапы» ИИ.
Всех поражает и все восторгаются, что ИИ не просто обыгрывает чемпионов (шахматы, го, компьютерные игры …), но делает это с применением нечеловеческих стратегий, просто не приходящих людям в голову.
Вот к чему это может вести.
Исследователи натренировали ИИ играть в компьютерную игру CoastRunners – нужно выиграть гонку на катерах, получая очки за сбитые препятствия. Обученный играть ИИ на 20% превзошел лучший из результатов, достигнутых в этой игре людьми. Однако!

ИИ в ходе обучения ухитрился найти лазейку - немыслимую для людей стратегию, основанную на недоработке алгоритма игры (как известно, нетривиальных программ без ошибок не бывает). Найденная ИИ стратегия заставляет катер просто плавать по кругу, сшибая одни и те же 3 препятствия. Результат – сногсшибательно высокое число набираемых очков и выигрыш.
https://www.youtube.com/watch?v=tlOIHko8ySg

Вы спросите, а как же задача опередить всех и добраться до финиша? А никак. Оказалось, из-за недоработки в алгоритме, можно без этого обойтись и выиграть чисто на набранных очках.
Но кто знал то про такой способ выигрыша?
Люди – не знали. А «обезьянья лапа» ИИ прознала про это в момент.

Предоставляю вам самостоятельно перенести этот кейс на любое из возможных промышленных применений ИИ, где ему ставится цель оптимизации чего-либо (потраченных денег или топлива) или достижения конечного результата (например, действия лекарства)…
Наши пожелания ИИ, несомненно, выполнит.
Но кто может предсказать последствия «эффекта обезьяньей лапы» ИИ?
И как вообще учитывать весь спектр последствий при проектировании ИИ систем?

Об этом (для продвинутых в вопросе) новое эссе от DeepMind Safety Research.
https://medium.com/@deepmindsafetyresearch/building-safe-artificial-intelligence-52f5f75058f1
Его суть:
– как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы;
– как трудно и важно этого избежать;
– что конкретно с этим делать.

#AITechnicalSafety