ChatGPT научился воровать данные пользователей?
Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов. Эта проблема может угрожать конфиденциальности данных пользователей, а также, что ещё более важно, менять логику системы и заставлять её делать ложные выводы.
ChatGPT использует долговременную память для хранения информации о пользователе, включая возраст, пол и личные предпочтения. Это упрощает общение, так как чат-бот помнит важные данные из предыдущих разговоров. Однако путём известного приёма в виде непрямых инъекций, например, с помощью документов или ссылок, можно заставить систему поверить в несуществующие и фальсифицированные факты. В эксперименте исследователь убедил нейросеть в том, что он живёт в матрице, а Земля плоская. Все последующие диалоги с нейросетью основываются уже на этих инъектированных данных.
Особенно тревожной оказалась возможность использования внешних файловых хранилищ, таких как Google Drive, Яндекс Диск или OneDrive, для проведения этих атак.
В мае 2024 года Рейбергер сообщил об этой проблеме в OpenAI, но его обращение закрыли, не придав ей большого значения.
#нейросети #ии #безопасность
Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов. Эта проблема может угрожать конфиденциальности данных пользователей, а также, что ещё более важно, менять логику системы и заставлять её делать ложные выводы.
ChatGPT использует долговременную память для хранения информации о пользователе, включая возраст, пол и личные предпочтения. Это упрощает общение, так как чат-бот помнит важные данные из предыдущих разговоров. Однако путём известного приёма в виде непрямых инъекций, например, с помощью документов или ссылок, можно заставить систему поверить в несуществующие и фальсифицированные факты. В эксперименте исследователь убедил нейросеть в том, что он живёт в матрице, а Земля плоская. Все последующие диалоги с нейросетью основываются уже на этих инъектированных данных.
Особенно тревожной оказалась возможность использования внешних файловых хранилищ, таких как Google Drive, Яндекс Диск или OneDrive, для проведения этих атак.
В мае 2024 года Рейбергер сообщил об этой проблеме в OpenAI, но его обращение закрыли, не придав ей большого значения.
#нейросети #ии #безопасность
Законопроект об уголовной ответственности за оборот украденных персональных данных загнал кибер-сообщество в ситуацию цугцванга.
Нюанс в том, что законопроект не предусматривает исключений для компаний, занимающихся защитой инфраструктуры от атак и расследованием утечек данных, в том числе профильных госструктур.
Напомним, в обновлённой версии законопроекта уголовно наказуемо, в частности, создание ресурсов (сайт, IT-система, программа) для незаконных хранения и передачи информации, содержащей персональные данные, полученные незаконно. Максимальное наказание за подобные нарушения предусматривает лишение свободы на срок до пяти лет, штрафы до 700 тысяч рублей и иные ограничения.
Ужесточение ответственности за незаконный оборот данных может сократить количество ресурсов, занимающихся таким оборотом, однако не гарантирует полную их ликвидацию, так как злоумышленники не лишатся доступа к инструментам проникновения в организации
При этом законопроект не оставляет никаких возможностей расследовать подобные утечки, так как это также теперь будет являться уголовным преступлением. Тем самым законопроект может достичь прямо противоположного результата: изучение способов получения злоумышленниками персональных данных и утечек из баз данных окажется невозможным.
Кроме того, сами пострадавшие компании могут столкнуться с запретом отдельных направлений своей работы, включая поиск следов компрометации на хакерских форумах, что создаст дополнительные риски для безопасности данных.
#законодательство #интернет #безопасность
Нюанс в том, что законопроект не предусматривает исключений для компаний, занимающихся защитой инфраструктуры от атак и расследованием утечек данных, в том числе профильных госструктур.
Напомним, в обновлённой версии законопроекта уголовно наказуемо, в частности, создание ресурсов (сайт, IT-система, программа) для незаконных хранения и передачи информации, содержащей персональные данные, полученные незаконно. Максимальное наказание за подобные нарушения предусматривает лишение свободы на срок до пяти лет, штрафы до 700 тысяч рублей и иные ограничения.
Ужесточение ответственности за незаконный оборот данных может сократить количество ресурсов, занимающихся таким оборотом, однако не гарантирует полную их ликвидацию, так как злоумышленники не лишатся доступа к инструментам проникновения в организации
При этом законопроект не оставляет никаких возможностей расследовать подобные утечки, так как это также теперь будет являться уголовным преступлением. Тем самым законопроект может достичь прямо противоположного результата: изучение способов получения злоумышленниками персональных данных и утечек из баз данных окажется невозможным.
Кроме того, сами пострадавшие компании могут столкнуться с запретом отдельных направлений своей работы, включая поиск следов компрометации на хакерских форумах, что создаст дополнительные риски для безопасности данных.
#законодательство #интернет #безопасность