Остановитесь, - это путь к гибели цивилизации!
Разработана 1я дорожная карта спасения.
Великий космолог и астрофизик, обладатель премий Эйнштейна и Фарадея, золотых медалей Ньютона и Брюса, кавалер Ордена Заслуг, автор десятка выдающихся открытий, 500 научных работ и восьми книг лорд Мартин Джон Рис два года назад поставил вопрос ребром -
нам всем конец? (1)
Этот же вопрос он поставил неделей раньше в суперпрестижной лекции «Как пережить это столетие: как сохранить нашу «бледно-голубую точку» (2).
Мысли проф. Риса просты, как все гениальное.
• Экзистенциальные риски для выживания человечества подошли к тому пределу, когда само уже не рассосется.
• Ждать, что правительства развитых стран всерьез возьмутся за поиск возможностей снижения этих рисков, не приходится. Они озабочены лишь ближайшей перспективой. А все, что за пределами очередного электорального цикла, их вообще не волнует.
• Только общественность своей активностью может заставить правительства озаботиться этими рисками не на словах, а на деле.

Наивысший из этих рисков несет разработка Автономных систем вооружений (AWS): систем вооружений, которые после активации могут сами выбирать и атаковать цели без дальнейшего вмешательства человека-оператора.

То, что цивилизация на Земле еще существует, - огромная удача. Ей мы обязаны конкретным людям.
• Василий Архипов – единственный из 3х ответственных за пуск ядерной торпеды офицеров подводной лодки Б-59. Он отказался нанести удар по США 27 октября 1962 (3), когда капитан Савицкий уже принял решение пустить эту торпеду, а торпедный офицер, задыхаясь от нехватки воздуха и адской жары, прохрипел: “Мы сейчас по ним шарахнем! Сами погибнем, их потопим
всех, но флот не опозорим!”(4). Но Архипов остановил ядерный удар, имевший все шансы начать ядерный апокалипсис на планете.
• Станислав Петров - дежурный офицер системы раннего предупреждения. Он поверил своей интуиции, что США вряд ли стали бы атаковать всего лишь 5ю ракетами, и нарушил инструкцию, не доложив командованию, что на СССР уже летят 5 ядерных ракет США. Потом выяснилось, что это была ошибка - спутник принял солнечные блики от облаков за пламя ракетных двигателей (5). Петров остановил начинающуюся ядерную войну.

✔️ И вот теперь, с появлением Автономных систем вооружений, в цепочке принятия решений не будет Архипова, Петрова… никого не будет, кто мог бы остановить ИИ, самостоятельно принявшего решения стрелять.

Сегодня под Открытым письмом специалистов по ИИ и робототехники о необходимости запретить все автономные системы вооружений стоит уже 26215 подписей (6).
Но как провидчески писал Мартин Рис, на правительства полагаться в этом вопросе бессмысленно.

Какая же альтернатива?
Давить на правительства, чтобы все же запретили?
Бессмысленно. Все равно какие-то страны или фанатики не последуют запрещению. А там и все остальные спохватятся.

Тогда, как обычно с технологиями – война план покажет?
Но это путь к гибели цивилизации.

Третий вариант – дорожную карту из 5 компонентов (7), предложила «великолепная семёрка» спецов по ИИ. Это результат работы, института FutureOfLife после выпуска ими меморандума в марте 2019 (8) и проведения 28-29 августа с.г. воркшопа на эту тему.

Предлагается.
• ограниченный по времени мораторий;
• исключения для определенных классов оружия;
• протоколы против непреднамеренной эскалации;
• стратегии по предотвращению распространения;
• разработка «кентавров» людей и ИИ.

#AWS

​​Будущее уже наступило.
ИИ не должен быть революционным, чтобы изменить войну.
На разработку, производство и эксплуатацию самого грандиозного вооружения человечества - ядерного и термоядерного оружия, - тратятся колоссальные деньги. И при этом оно практически никак не изменило масштаб и характер (способы массовых убийств людей) войн.
На разработку, производство и эксплуатацию автомата АК-47 тратятся сравнительно мизерные средства. И при этом автомат Калашникова в корне поменял и масштаб, и способ массового убийства людей на войне.
Похожая история скоро произойдет с оружием на основе технологий ИИ.
• Война кардинально измениться.
• Но изменят ее не автономные танки с истребителями, не роботы-суперсолдаты и не суперинтеллект систем управления глобальным боем.
• Применение «обычного» ИИ изменит характер войн и тип воюющих сторон:
-- война переместится в города;
-- и воевать будут, в основном, не государства, а негосударственные субъекты в обличие мелких и средних военизированных формирований.

Новую прекрасную работу Джека Макдональда «Что если военный ИИ ждет облом?» следует прочесть не только военным. Ибо она способна стать отрезвляющим душем после опьяняющего чтения техно-сказок про чудо-возможности ИИ близкого будущего: всякие там сильные, сверхсильные и недосягаемо сильные ИИ.

Джек Макдональд – междисциплинарный военный эксперт факультета военных исследований Королевского колледжа Лондона и автор 2-х книг о взаимосвязях между этикой, законом, технологиями убийств и войной.

В своем новом эссе Макдональд анализирует причины растущего скептицизма по поводу «военной ИИ революции» все еще ожидаемой в ближайшем будущем.

Не будет никакой «военной ИИ революции», - пишет Макдональд.
• Военные, в отличие от гражданских, плохо ведутся на обещания обновленного функционала, дизайна, набора приложений и т.п.
• В новом дивном мире, где цена человеческой жизни скакнула на несколько порядков, воюющим сторонам нужно уметь: найти, распознать и убить любую цель: хоть в стоге сена, хоть на дискотеке, хоть на оживленной улице. Быстро, без шума и пыли.
• А вместо суперинтеллектуального и полностью автономного оружия, военным нужен обычный дрон с хорошим летным ресурсом и достаточным количеством взрывчатки, чтобы взорвать что-угодно, масштаба башен-близнецов.

Для пулеметов с распознаванием лиц и спутниковым наведением (типа того, что убил иранского физика-ядерщика Мохсена Фахризаде), для умных пуль типа «стрельнул в сторону противника и забыл», для роя хорошо упакованных взрывчаткой дронов, и много для чего еще – не нужен сильный сверхсильный и недосягаемо сильный ИИ. Все технологии уже есть. Осталось лишь решить оргвопросы на стыке законов и морали.

Но ведь решили же проблему самонаводящихся ракет. Никому сегодня не приходит в голову возмущаться этим «автономным оружием» и требовать его запрета. Считается, что это всего лишь автоматизации. Так почему бы не распространить «процесс автоматизации» на индивидуальное стрелковое оружие и дроны, способные на самостоятельный поиск, распознавание и уничтожение целей.

И второй важный момент, о котором пишет Макдональд.
Современный ИИ на основе машинного обучения – это быль и реальность сегодняшнего дня. Этот уже существующий ИИ способен принципиально иначе поменять суть военного противостояния сторон, чем гипотетический сильный ИИ далекого будущего.
• Сильный ИИ может позволить наиболее технологически развитым государствам уйти в отрыв от более слабых в технологиях государств и тем самым получить военное преимущество.
• «Обычный» ИИ в ближайшие годы позволит негосударственным субъектам успешно вести ограниченные по масштабу войны с любой сверхдержавой, сея хаос в ее самых уязвимых и ценных местах – больших городах.

Так что почитайте Макдональда. Очень отрезвляющее и одновременно ужасающее чтение.
https://jackmcdonald.org/book/2021/06/what-if-military-ai-sucks/

#Война #ИИ #AGI #БПЛА #ГибридныеКонфликты
Также по теме можно вспомнить еще кое какие мои посты с тэгами:
#ГибридныеКонфликты #AWS #БольшаяВойна

Технологии таки превзошли эволюцию.
Ни одно существо на Земле не умеет так летать.
Последствия этого будут серьезней всех предыдущих технологических революций, - о чем рассказывает Мартин Бранденбург в новом Weekend Video о создании полностью автономных дронов.
Многоногие роботы ловко передвигаются, танцуют и показывают акробатические номера. Но им далеко до гепардов, пауков и кузнечиков. Продукты технологий здесь существенно хуже продуктов эволюции.
Однако технологии в 2021 смогли превзойти эволюцию, создав полностью автономных дронов, которые:
1. прекрасно видят: шесть 4К навигационных камер для обзора на 360 ° (при таком зрении не нужны компасы, гироскопы, GPS, лидары … ничего более).
2. понимают, что они видят (распознавание объектов и сцен):
a. 256-и ядерный графический процессор 1.3Т операций / сек, обрабатывающий за секунду 500М пикселей;
b. 9 нейронных сетей, в реальном времени строящих 3D модели всего, что видят.
3. интеллектуально действуют: алгоритмы глубокого обучения работают как «предиктивный мозг», предсказывающий будущее для принятия разумных решений.
Эти дроны абсолютно автономны. Им нужно лишь дать задание, а дальше они все сами (см. видео)
https://www.youtube.com/watch?v=d1fZNmI5AHc

Но вот беда. Такие дроны – идеальные киллеры, отследить и помешать которым почти нереально. А их летающие группировки (а то и рои) полностью дегуманизируют войны, принимая автономные решения, кому жить, а кому нет.

Посмотрите всего 1 минуту, как это может быть очень скоро.
https://youtu.be/9rDo1QxI260?t=184

Послезавтра начнется конференция по конвенции о «негуманном» оружии. На ней будет рассмотрен предложенный Международным комитетом Красного Креста (МККК) мировой юридически обязывающий запрет на автономное оружие с искусственным интеллектом.

По экспертным оценкам, это предложение не пройдет, т.к. против запрета выступят США, Россия, Китай, Индия и Великобритания.
#Война #ИИ #БПЛА #AWS

Военный ИИ в разы превосходит людей по двум показателям.
И в штабе ВВС США они хорошо известны: уязвимость и самонадеянность.
В своем официальном выступлении генерал-майор Дэниел Симпсон (помощник заместителя начальника штаба по разведке, наблюдению и рекогносцировке Штаб-квартиры ВВС США) лишь озвучил три хорошо известных для американских военных факта.
1. Не самая высокая точность алгоритмов военных ИИ (из-за дефицита обучающих данных, несопоставимого, например, с морем данных для самоуправляемых авто) – это еще не самое плохое.
2. Куда хуже, что попытки преодолеть дефицит данных, используя небольшие наборы с локальной спецификой или синтетические – искусственно сгенерированные данные), делают военный ИИ крайне уязвимым. Т.е. малейшее отличие данных реальной военной ситуации (например, смена угла зрения) от ситуаций, на которых учился ИИ, ведет к катастрофическому снижению точности решений и действий ИИ.
3. Такую потерю точности люди прекрасно видят. Но в отличие от них, военный ИИ продолжает считать, что он - «верная рука – друг индейцев». В примере экспериментальных стрельб, приведенном генералом Симпсоном, ИИ продолжал считать свою точность 90%, даже когда по факту она была всего лишь 25%.
Подробней здесь https://www.defenseone.com/technology/2021/12/air-force-targeting-ai-thought-it-had-90-success-rate-it-was-more-25/187437/

Этот (как и вчерашний) пост приурочен к открывающейся завтра международной конференции. Теоретически, человечество уже на следующей неделе могло бы принять решение двигаться к юридически обязывающему запрету на автономное оружие с ИИ.
Но на практике, этого скорее всего не будет из-за нежелания США и ряда других стран пойти на полный запрет.

Целью же этого поста было подчеркнуть, что несовершенство и уязвимость любых разновидностей автономного ИИ оружия, в сочетании с их нечеловеческой аморальностью и самонадеянностью, - прокладывают путь к таким массовым убийствам, за которые и осудить будет некого. Ибо главное преимущество ИИ не в уровне его интеллекта. А в том, что он неподсуден.

• Специалисты по ИИ это знают и 73% опрошенных среди них против автономного ИИ оружия.
• Военные (судя по тому, что сказал генерал Симпсон) тоже в курсе того, насколько это неэффективно и опасно.
Получается, что против запрещения автономного ИИ оружия лишь политики?
#Война #ИИ #БПЛА #AWS

Лицензия ИИ на убийство людей продлена на неограниченный срок.
8 лет экспертных обсуждений спущены в унитаз.
Завершившаяся в пятницу в Женеве 6-я конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия теперь войдет в историю.
• 8 лет человечество обсуждало необходимость введения юридически значимых международных правил защиты людей от автономного смертельного оружия (роботов-убийц, принимающих решения с минимальным участием человека или без него).
• Впервые большинство из 125 стран заявили, что хотят ограничить возможности роботов-убийц.
• США, Россия, Великобритания и Индия заблокировали такое решение.

Моральные, этические и гуманитарные риски, риски безопасности и правовые риски, применения роботов-убийц оказались далеко не самым важным вопросом для Конвенции ООН.
Конференция завершилась в пятницу лишь расплывчатым заявлением о целесообразности в 2022 рассмотреть возможность поиска приемлемых для всех стран мер по данному вопросу.
«Я подумаю об этом завтра», - говорила в подобных случаях героиня «Унесенных ветром» Скарлетт О`Хара. Но проблема в том, что завтра может быть поздно.

За день до этого, в ходе дискуссии, организованной Международным Красным Крестом, я предсказал ровно этот бесславный итог конференции, за который очень скоро будет заплачено многими жизнями людей.

Мое выступление и ответы на вопросы (22 мин) можно посмотреть здесь.
https://www.youtube.com/watch?v=oG9FICaJRcI

#Война #ИИ #БПЛА #AWS

​​Проблема 37-го хода военного ИИ.
Люди могут просто не понять, что это их спасение или конец.
Автономное летальное оружие (АЛО): 1) уже существует и 2) скоро станет штатным элементом всех систем ведения военных действий.
Т.е. ящик Пандоры открыт, его уже не закрыть и нужно срочно решать, как предотвратить худшие из последствий.
А эти последствия: а) весьма разнообразны и б) что самое ужасное, предотвратить многие из них известными людям способами просто невозможно.
✔️ АЛО невозможно запретить (как химическое и бактериологическое оружие), ибо не существует средств контроля за разработками ИИ алгоритмов.
✔️ Невозможно ограничить автономизацию обычного (неавтономного) оружия, превращающую его в АЛО (превратить обычную бомбу в ядерную - сверхзадача, а для автономизации боевого дрона достаточно за 5 сек сменить его прошивку)
✔️ Попытки описать правила применения АЛО, оставляющие смертельные решение за людьми, столь же наивны, как надежды оставить за водителем решения по управлению авто, когда на принятие таких решений остается куда меньше 100 миллисекунд.

Но самым непреодолимым видится невозможность понять почему алгоритм принимает то или иное решение. И дело здесь не только в проблеме «черного ящика» (как сделать решения ИИ доступными для осмысления людьми).
Даже если такое осмысление в принципе возможно (как например это было со знаменитым нечеловечески хитрым и дальновидным 37-м ходом AlphaGo во 2-й игре против Lee Sedol), в реальных военных ситуациях на это не будет времени.
Если оставить окончательное решение за человеком, то он может просто не успеть понять спасительность и единственность решения, предложенного АЛО. Или вообще не понять, подобно экспертам по игре в Го, что единодушно сочли 37-й ход AlphaGo ошибкой.
А если и поймет, то скорее всего, к тому времени уже будет поздно.

• Почитайте про это в новом совместном отчете BAE Systems и WIRED Consulting «Robotic Weapons Are Coming – What Should We Do About It?»
• Мою презентацию и выступление на эту тему в ходе организованной МККК дискуссии «Цифровые технологии в вооруженных конфликтах: смягчение гуманитарных последствий» можно посмотреть здесь (22 мин).
#Война #ИИ #БПЛА #AWS