Forwarded from Малоизвестное интересное
Зомбирование нейросетей уже возможно
В феврале исследователи из Google Brain опубликовали работу, из которой следовало, что:
— состязательную нейронную сеть для распознавания образов можно запросто хакнуть и заставить видеть совсем не то, что ей показывают, например, собаку вместо кошки;
—похожим образом можно хакнуть и зрительное восприятие человека.
Та статья звучала страшновато. Однако новая статья исследователей из Google Brain - вообще жуть.
Дальнейшие исследования показали:
✔️ Нейронные сети распознавания образов запросто можно так хакнуть, что они не просто будут видеть ложные изображения, а станут выполнять иные, совершенно левые функции.
Без преувеличений можно сказать, что это способ зомбирования нейросетей – превращение их в послушного исполнителя чужой воли.
Это значит, что хакеры, например, могут:
— перепрограммировать классификатор компьютерного зрения в облачной службе фотографий с тем, чтобы начать воровать вычислительные ресурсы, скажем, для майнинга криптовалюты;
— или перепрограммировать любой смартфон, использующий нейросети для функций цифрового помощника и тем самым получить доступ к почте, паролям, кредиткам …
Авторы пока точно не выяснили, какие конкретно задачи злоумышленники смогут заставить выполнять зомбируемые нейронные сети. Однако, как они пишут, успешная атака может побудить их выполнять «очень большой набор задач».
И еще одна гордая по тону и убийственная по сути цитата:
«Наши результаты впервые демонстрируют возможность ... состязательных атак, направленных на перепрограммирование нейронных сетей ... Эти результаты демонстрируют как удивительную гибкость, так и удивительную уязвимость в глубоких нейронных сетях».
В общем, приехали!
Авторы успокаивают. Мол, рандомные сети (random neural networks) так просто не хакнешь, как состязательные. Но тут же признают, что с тотальной уязвимостью состязательных нейронных сетей придется разбираться ох как серьезно. Ведь этот тип сетей повсюду: от дизайна до Facebook.
#GAN #Хакинг
В феврале исследователи из Google Brain опубликовали работу, из которой следовало, что:
— состязательную нейронную сеть для распознавания образов можно запросто хакнуть и заставить видеть совсем не то, что ей показывают, например, собаку вместо кошки;
—похожим образом можно хакнуть и зрительное восприятие человека.
Та статья звучала страшновато. Однако новая статья исследователей из Google Brain - вообще жуть.
Дальнейшие исследования показали:
✔️ Нейронные сети распознавания образов запросто можно так хакнуть, что они не просто будут видеть ложные изображения, а станут выполнять иные, совершенно левые функции.
Без преувеличений можно сказать, что это способ зомбирования нейросетей – превращение их в послушного исполнителя чужой воли.
Это значит, что хакеры, например, могут:
— перепрограммировать классификатор компьютерного зрения в облачной службе фотографий с тем, чтобы начать воровать вычислительные ресурсы, скажем, для майнинга криптовалюты;
— или перепрограммировать любой смартфон, использующий нейросети для функций цифрового помощника и тем самым получить доступ к почте, паролям, кредиткам …
Авторы пока точно не выяснили, какие конкретно задачи злоумышленники смогут заставить выполнять зомбируемые нейронные сети. Однако, как они пишут, успешная атака может побудить их выполнять «очень большой набор задач».
И еще одна гордая по тону и убийственная по сути цитата:
«Наши результаты впервые демонстрируют возможность ... состязательных атак, направленных на перепрограммирование нейронных сетей ... Эти результаты демонстрируют как удивительную гибкость, так и удивительную уязвимость в глубоких нейронных сетях».
В общем, приехали!
Авторы успокаивают. Мол, рандомные сети (random neural networks) так просто не хакнешь, как состязательные. Но тут же признают, что с тотальной уязвимостью состязательных нейронных сетей придется разбираться ох как серьезно. Ведь этот тип сетей повсюду: от дизайна до Facebook.
#GAN #Хакинг