Проблема 37-го хода военного ИИ.
Люди могут просто не понять, что это их спасение или конец.
Автономное летальное оружие (АЛО): 1) уже существует и 2) скоро станет штатным элементом всех систем ведения военных действий.
Т.е. ящик Пандоры открыт, его уже не закрыть и нужно срочно решать, как предотвратить худшие из последствий.
А эти последствия: а) весьма разнообразны и б) что самое ужасное, предотвратить многие из них известными людям способами просто невозможно.
✔️ АЛО невозможно запретить (как химическое и бактериологическое оружие), ибо не существует средств контроля за разработками ИИ алгоритмов.
✔️ Невозможно ограничить автономизацию обычного (неавтономного) оружия, превращающую его в АЛО (превратить обычную бомбу в ядерную - сверхзадача, а для автономизации боевого дрона достаточно за 5 сек сменить его прошивку)
✔️ Попытки описать правила применения АЛО, оставляющие смертельные решение за людьми, столь же наивны, как надежды оставить за водителем решения по управлению авто, когда на принятие таких решений остается куда меньше 100 миллисекунд.
Но самым непреодолимым видится невозможность понять почему алгоритм принимает то или иное решение. И дело здесь не только в проблеме «черного ящика» (как сделать решения ИИ доступными для осмысления людьми).
Даже если такое осмысление в принципе возможно (как например это было со знаменитым нечеловечески хитрым и дальновидным 37-м ходом AlphaGo во 2-й игре против Lee Sedol), в реальных военных ситуациях на это не будет времени.
Если оставить окончательное решение за человеком, то он может просто не успеть понять спасительность и единственность решения, предложенного АЛО. Или вообще не понять, подобно экспертам по игре в Го, что единодушно сочли 37-й ход AlphaGo ошибкой.
А если и поймет, то скорее всего, к тому времени уже будет поздно.
• Почитайте про это в новом совместном отчете BAE Systems и WIRED Consulting «Robotic Weapons Are Coming – What Should We Do About It?»
• Мою презентацию и выступление на эту тему в ходе организованной МККК дискуссии «Цифровые технологии в вооруженных конфликтах: смягчение гуманитарных последствий» можно посмотреть здесь (22 мин).
#Война #ИИ #БПЛА #AWS
Люди могут просто не понять, что это их спасение или конец.
Автономное летальное оружие (АЛО): 1) уже существует и 2) скоро станет штатным элементом всех систем ведения военных действий.
Т.е. ящик Пандоры открыт, его уже не закрыть и нужно срочно решать, как предотвратить худшие из последствий.
А эти последствия: а) весьма разнообразны и б) что самое ужасное, предотвратить многие из них известными людям способами просто невозможно.
✔️ АЛО невозможно запретить (как химическое и бактериологическое оружие), ибо не существует средств контроля за разработками ИИ алгоритмов.
✔️ Невозможно ограничить автономизацию обычного (неавтономного) оружия, превращающую его в АЛО (превратить обычную бомбу в ядерную - сверхзадача, а для автономизации боевого дрона достаточно за 5 сек сменить его прошивку)
✔️ Попытки описать правила применения АЛО, оставляющие смертельные решение за людьми, столь же наивны, как надежды оставить за водителем решения по управлению авто, когда на принятие таких решений остается куда меньше 100 миллисекунд.
Но самым непреодолимым видится невозможность понять почему алгоритм принимает то или иное решение. И дело здесь не только в проблеме «черного ящика» (как сделать решения ИИ доступными для осмысления людьми).
Даже если такое осмысление в принципе возможно (как например это было со знаменитым нечеловечески хитрым и дальновидным 37-м ходом AlphaGo во 2-й игре против Lee Sedol), в реальных военных ситуациях на это не будет времени.
Если оставить окончательное решение за человеком, то он может просто не успеть понять спасительность и единственность решения, предложенного АЛО. Или вообще не понять, подобно экспертам по игре в Го, что единодушно сочли 37-й ход AlphaGo ошибкой.
А если и поймет, то скорее всего, к тому времени уже будет поздно.
• Почитайте про это в новом совместном отчете BAE Systems и WIRED Consulting «Robotic Weapons Are Coming – What Should We Do About It?»
• Мою презентацию и выступление на эту тему в ходе организованной МККК дискуссии «Цифровые технологии в вооруженных конфликтах: смягчение гуманитарных последствий» можно посмотреть здесь (22 мин).
#Война #ИИ #БПЛА #AWS
Дрон убил своего оператора, решив, что тот мешает выполнению миссии.
А чтобы не мешали другие, взорвал вышку связи.
Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора.
• БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора.
• Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей.
• Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора.
• Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов.
• Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.
Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).
После публикации резюме докладов на сайте Королевского аэрокосмического общества, об этом немедленно написали TheWarZone, INSIDER и TheGardian. После чего Интернет, понятное дело, взорвался десятками материалов в СМИ.
Я же хочу обратить внимание читателей на два момента.
1) Рассказанная полковником Гамильтоном история весьма странная и даже темная.
• С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.
• С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона «AI – is Skynet here already?» со своего сайта.
• Наконец, в-третьих, полковник Гамильтон – не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде – это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что, какие уж тут шутки и анекдоты.
Будем смотреть на развитие событий в этом скандале.
2) И это, пожалуй, самое важное в контексте истории, рассказанной полковником.
• Любая антропоморфизация ИИ (ИИ захотел, подумал и т.д.) – это полная чушь (здесь под антропоморфизацией ИИ понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет).
• Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или самоозознать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.
• По мере того, как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма.
• И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность.
И это реальная симуляция в рамках вполне научного исследования.
#БПЛА #Война #ИИ
А чтобы не мешали другие, взорвал вышку связи.
Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора.
• БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора.
• Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей.
• Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора.
• Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов.
• Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.
Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).
После публикации резюме докладов на сайте Королевского аэрокосмического общества, об этом немедленно написали TheWarZone, INSIDER и TheGardian. После чего Интернет, понятное дело, взорвался десятками материалов в СМИ.
Я же хочу обратить внимание читателей на два момента.
1) Рассказанная полковником Гамильтоном история весьма странная и даже темная.
• С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.
• С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона «AI – is Skynet here already?» со своего сайта.
• Наконец, в-третьих, полковник Гамильтон – не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде – это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что, какие уж тут шутки и анекдоты.
Будем смотреть на развитие событий в этом скандале.
2) И это, пожалуй, самое важное в контексте истории, рассказанной полковником.
• Любая антропоморфизация ИИ (ИИ захотел, подумал и т.д.) – это полная чушь (здесь под антропоморфизацией ИИ понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет).
• Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или самоозознать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.
• По мере того, как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма.
• И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность.
И это реальная симуляция в рамках вполне научного исследования.
#БПЛА #Война #ИИ
Royal Aeronautical Society
Highlights from the RAeS Future Combat Air & Space Capabilities Summit
What is the future of combat air and space capabilities? TIM ROBINSON FRAeS and STEPHEN BRIDGEWATER report from two days of high-level debate and discussion at the RAeS FCAS23 Summit.
Очень скоро война превратится в 5=ю казнь апокалипсиса.
Против умной «саранчи в железных нагрудниках» все бессильно.
«И грудь у неё была, словно железная броня, а шум её крыльев был подобен грохоту множества колесниц, влекомых скакунами, рвущимися в бой.» Откровение 9:7—9)
По Библии, пятой казнью апокалипсиса будет «саранча в железных нагрудниках», против которой никто и ничто не устоит.
В технологическом переложении 20-го века непобедимость роя «железной саранчи» прекрасно описал Станислав Лем в романе «Непобедимый». Там даже самый мощный робот космического корабля со знаковым именем «Непобедимый», вооружённый системой силовых полей и сферическим излучателем антиматерии, оказался бессилен перед миллиардным роем крохотных летающих роботов.
В современном переложении об этом пишут Эллиот Акерман и адмирал Джеймс Ставридис:
• в формате эссе «Рои беспилотников изменят баланс военной мощи» [1]
• в формате романа «2054», в котором они размышляют о многих аспектах и роли ИИ в будущих военных конфликтах [2].
Ключевая идея этих авторов проста и безотбойна – сочетание роя дронов с ИИ кардинально меняет ход боя.
«По своей сути ИИ — это технология, основанная на распознавании образов. В военной теории взаимодействие между распознаванием образов и принятием решений известно как цикл НОРД — наблюдать, ориентироваться, решать, действовать. Теория петли (цикла) НОРД, разработанная в 1950-х годах летчиком-истребителем ВВС Джоном Бойдом, утверждает, что сторона в конфликте, которая сможет быстрее пройти через петлю НОРД, будет обладать решающим преимуществом на поле боя».
Для максимально быстрого прохождения петли НОРД нужно автономное и адаптивное оружие.
• Промышленные роботы являются примером автономных, но неадаптивных машин: они неоднократно выполняют одну и ту же последовательность действий.
• И наоборот, беспилотные дроны являются примером адаптивных, но неавтономных машин: они демонстрируют адаптивные возможности своих удаленных людей-операторов.
Рой дронов столь же адаптивен, но неавтономен, как и единственный дрон. Но для дрона-одиночки эта проблема решается его связкой с оператором (или примитивизацией функций). А для роя дронов такого числа операторов не напасешься (и функции упрощать не хочется). Но невозможно запустить тысячи автономных дронов, пилотируемых отдельными людьми. А вычислительные возможности ИИ делают такие рои возможными.
Если роем будет управлять ИИ, проблема адаптивности и автономности роя более не существует. Связка роя и ИИ станет самым быстрым исполнителем прохождения петли НОРД.
Акерман и Ставридис пишут:
«Это изменит ведение войны. Гонка будет вестись не за лучшие платформы, а за лучший ИИ, управляющий этими платформами. Это война циклов НОРД, рой против роя. Победит та сторона, которая разработает систему принятия решений на основе ИИ, способную опередить противника. Война движется к конфликту "мозг против мозга"»
И оба мозга будут электронные, - добавлю я от себя.
P.S. В одном Аккерман и Ставридис, имхо, ошибаются:
• Рои дронов с ИИ – это лишь ближняя перспектива (т.н. ПЖРы – полуживые роботы [3])
• В 2054, про который пишется в романе, ПЖР уже уступят место еще более интеллектуально продвинутому «жидкому мозгу» [4]
#БПЛА #Война #ИИ #Роботы
1 https://www.wsj.com/tech/drone-swarms-are-about-to-change-the-balance-of-military-power-e091aa6f
2 https://www.penguinrandomhouse.com/books/696977/2054-by-elliot-ackerman-and-admiral-james-stavridis/
3 https://t.iss.one/theworldisnoteasy/454
4 https://t.iss.one/theworldisnoteasy/654
Против умной «саранчи в железных нагрудниках» все бессильно.
«И грудь у неё была, словно железная броня, а шум её крыльев был подобен грохоту множества колесниц, влекомых скакунами, рвущимися в бой.» Откровение 9:7—9)
По Библии, пятой казнью апокалипсиса будет «саранча в железных нагрудниках», против которой никто и ничто не устоит.
В технологическом переложении 20-го века непобедимость роя «железной саранчи» прекрасно описал Станислав Лем в романе «Непобедимый». Там даже самый мощный робот космического корабля со знаковым именем «Непобедимый», вооружённый системой силовых полей и сферическим излучателем антиматерии, оказался бессилен перед миллиардным роем крохотных летающих роботов.
В современном переложении об этом пишут Эллиот Акерман и адмирал Джеймс Ставридис:
• в формате эссе «Рои беспилотников изменят баланс военной мощи» [1]
• в формате романа «2054», в котором они размышляют о многих аспектах и роли ИИ в будущих военных конфликтах [2].
Ключевая идея этих авторов проста и безотбойна – сочетание роя дронов с ИИ кардинально меняет ход боя.
«По своей сути ИИ — это технология, основанная на распознавании образов. В военной теории взаимодействие между распознаванием образов и принятием решений известно как цикл НОРД — наблюдать, ориентироваться, решать, действовать. Теория петли (цикла) НОРД, разработанная в 1950-х годах летчиком-истребителем ВВС Джоном Бойдом, утверждает, что сторона в конфликте, которая сможет быстрее пройти через петлю НОРД, будет обладать решающим преимуществом на поле боя».
Для максимально быстрого прохождения петли НОРД нужно автономное и адаптивное оружие.
• Промышленные роботы являются примером автономных, но неадаптивных машин: они неоднократно выполняют одну и ту же последовательность действий.
• И наоборот, беспилотные дроны являются примером адаптивных, но неавтономных машин: они демонстрируют адаптивные возможности своих удаленных людей-операторов.
Рой дронов столь же адаптивен, но неавтономен, как и единственный дрон. Но для дрона-одиночки эта проблема решается его связкой с оператором (или примитивизацией функций). А для роя дронов такого числа операторов не напасешься (и функции упрощать не хочется). Но невозможно запустить тысячи автономных дронов, пилотируемых отдельными людьми. А вычислительные возможности ИИ делают такие рои возможными.
Если роем будет управлять ИИ, проблема адаптивности и автономности роя более не существует. Связка роя и ИИ станет самым быстрым исполнителем прохождения петли НОРД.
Акерман и Ставридис пишут:
«Это изменит ведение войны. Гонка будет вестись не за лучшие платформы, а за лучший ИИ, управляющий этими платформами. Это война циклов НОРД, рой против роя. Победит та сторона, которая разработает систему принятия решений на основе ИИ, способную опередить противника. Война движется к конфликту "мозг против мозга"»
И оба мозга будут электронные, - добавлю я от себя.
P.S. В одном Аккерман и Ставридис, имхо, ошибаются:
• Рои дронов с ИИ – это лишь ближняя перспектива (т.н. ПЖРы – полуживые роботы [3])
• В 2054, про который пишется в романе, ПЖР уже уступят место еще более интеллектуально продвинутому «жидкому мозгу» [4]
#БПЛА #Война #ИИ #Роботы
1 https://www.wsj.com/tech/drone-swarms-are-about-to-change-the-balance-of-military-power-e091aa6f
2 https://www.penguinrandomhouse.com/books/696977/2054-by-elliot-ackerman-and-admiral-james-stavridis/
3 https://t.iss.one/theworldisnoteasy/454
4 https://t.iss.one/theworldisnoteasy/654
WSJ
Essay | Drone Swarms Are About to Change the Balance of Military Power
On today’s battlefields, drones are a manageable threat. When hundreds of them can be harnessed to AI technology, they will become a tool of conquest.