🤖 Копай глубже: как AI-помощники пишут уязвимый код
Нам обещали революцию в разработке. Но пока Copilot и другие AI-ассистенты генерируют код за секунды — они же могут открывать дверь для хакеров. 🧨
Исследование от Silviu Asandei (Sonar) показало: популярные AI-инструменты автодополнения кода нередко подсовывают небезопасные конструкции. Причём не потому, что "плохой AI", а потому что он учится на реальном, но не всегда хорошем коде из open-source 🧠
🔍 Что конкретно не так?
🧱 AI повторяет небезопасные шаблоны
Если где-то в 10 тысячах GitHub-репозиториев есть copy-paste с уязвимостями, ассистент их "учтёт" — и предложит тебе как «решение».
🔐 Отсутствие контроля безопасности
AI не всегда может отличить eval(user_input) от безопасного парсинга. А разработчик, доверяя “умному” помощнику, реже перепроверяет предложения.
📉 Слепая генерация — без контекста
AI не знает специфики твоей системы, модели угроз или политик безопасности. Он просто... продолжает строку.
⚠️ Всплывают уязвимости вроде XSS, SQL-инъекций, SSRF и insecure deserialization.
📌 Пример: как Copilot подставил под атаку
🤖 Разработчик просит: "Напиши API-обработчик формы регистрации пользователей".
Copilot выдаёт рабочий код, но:
➖ Не экранирует поля
➖ Пропускает валидацию
➖ Не ставит rate-limit
🎯 Идеально для злоумышленника.
📊 Что показало исследование Sonar?
🔎 Проведён анализ кода, сгенерированного в популярных IDE
📈 Значительное число сниппетов содержат:
- небезопасные функции
- прямые обращения к
- опасным API
- отсутствие проверки прав доступа
Иными словами, автоматизация ≠ безопасная разработка
🧰 Как себя защитить?
🛠 Используйте инструменты анализа:
➖ SAST (Static Application Security Testing)
➖ Linter'ы с поддержкой security-правил
➖ AI-критики
📚 Обучайте разработчиков:
1⃣ Не полагаться слепо на AI
2⃣ Понимать OWASP Top 10
3⃣ Ставить "контрольные точки" в пайплайнах CI/CD
🧠 Доверяй, но проверяй. Особенно если код пишется за секунду.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #AIcode #Copilot #CodeSecurity #AIrisks #DevSecOps #StaticAnalysis #Sonar #CyberSecurity #XSS #AIandIDE #OWASP #SecureByDesign #AIDangers
Нам обещали революцию в разработке. Но пока Copilot и другие AI-ассистенты генерируют код за секунды — они же могут открывать дверь для хакеров. 🧨
Исследование от Silviu Asandei (Sonar) показало: популярные AI-инструменты автодополнения кода нередко подсовывают небезопасные конструкции. Причём не потому, что "плохой AI", а потому что он учится на реальном, но не всегда хорошем коде из open-source 🧠
🔍 Что конкретно не так?
🧱 AI повторяет небезопасные шаблоны
Если где-то в 10 тысячах GitHub-репозиториев есть copy-paste с уязвимостями, ассистент их "учтёт" — и предложит тебе как «решение».
🔐 Отсутствие контроля безопасности
AI не всегда может отличить eval(user_input) от безопасного парсинга. А разработчик, доверяя “умному” помощнику, реже перепроверяет предложения.
📉 Слепая генерация — без контекста
AI не знает специфики твоей системы, модели угроз или политик безопасности. Он просто... продолжает строку.
⚠️ Всплывают уязвимости вроде XSS, SQL-инъекций, SSRF и insecure deserialization.
📌 Пример: как Copilot подставил под атаку
🤖 Разработчик просит: "Напиши API-обработчик формы регистрации пользователей".
Copilot выдаёт рабочий код, но:
🎯 Идеально для злоумышленника.
📊 Что показало исследование Sonar?
🔎 Проведён анализ кода, сгенерированного в популярных IDE
📈 Значительное число сниппетов содержат:
- небезопасные функции
- прямые обращения к
- опасным API
- отсутствие проверки прав доступа
Иными словами, автоматизация ≠ безопасная разработка
🧰 Как себя защитить?
🛠 Используйте инструменты анализа:
📚 Обучайте разработчиков:
1⃣ Не полагаться слепо на AI
2⃣ Понимать OWASP Top 10
3⃣ Ставить "контрольные точки" в пайплайнах CI/CD
🧠 Доверяй, но проверяй. Особенно если код пишется за секунду.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #AIcode #Copilot #CodeSecurity #AIrisks #DevSecOps #StaticAnalysis #Sonar #CyberSecurity #XSS #AIandIDE #OWASP #SecureByDesign #AIDangers
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🔥 GitHub запускает AI-агентов: код теперь пишет не помощник, а «коллега»
Если раньше Copilot был чем-то вроде умного автодополнения, то теперь GitHub делает шаг вперёд.
В репозиториях появляются AI-агенты, которые работают внутри проекта, а не на обочине IDE.
🤖 Изменения
AI-агент в GitHub:
➖ видит структуру репозитория,
➖ помнит историю коммитов,
➖ понимает контекст Issue и Pull Request,
➖ может последовательно выполнять задачу, а не отвечать одним сообщением.
По ощущениям, это уже не чат-бот, а junior разработчик, которому можно делегировать кусок работы и посмотреть, что он принесёт.
Задачу можно отдать агенту прямо из:
• GitHub Web
• GitHub Mobile
• Visual Studio Code
Агент начнёт работать в рамках репозитория, а не «в вакууме».
🧩Процесс на практике
Ты открываешь Issue и назначаешь AI-агента на задачу.
Агент: анализирует код, предлагает изменения, формирует PR и объясняет, что именно сделал и почему.
Все изменения проходят обычный review, как если бы их сделал живой человек. Просто теперь этот «человек» не устает и работает 24/7.
⚙️ Почему GitHub делает на этом акцент
GitHub явно уходит от идеи «одна модель - один ответ».
Теперь ставка на сессии, историю, варианты решений и повторяемость.
Можно сравнить несколько подходов и откатить неудачную попытку.
Немаловажно, что теперь можно посмотреть, как агент пришёл к решению.
🔒 Контроль остаётся у человека
Для команд есть возможность управления:
➖ какие агенты разрешены,
➖ какие модели используются,
➖ кто и где может запускать автоматизацию.
GitHub явно даёт понять, что
AI - это не замена разработчику, а инструмент внутри привычного workflow.
P.S. Интересно кто будет ревьюить AI-агента, работающего без перерыва?
Stay secure and read SecureTechTalks 📚
#GitHub #AIAgents #Copilot #РазработкаПО #DevSecOps #SecureTechTalks #AIвРазработке #Инженерия #Код
Если раньше Copilot был чем-то вроде умного автодополнения, то теперь GitHub делает шаг вперёд.
В репозиториях появляются AI-агенты, которые работают внутри проекта, а не на обочине IDE.
🤖 Изменения
AI-агент в GitHub:
По ощущениям, это уже не чат-бот, а junior разработчик, которому можно делегировать кусок работы и посмотреть, что он принесёт.
Задачу можно отдать агенту прямо из:
• GitHub Web
• GitHub Mobile
• Visual Studio Code
Агент начнёт работать в рамках репозитория, а не «в вакууме».
🧩Процесс на практике
Ты открываешь Issue и назначаешь AI-агента на задачу.
Агент: анализирует код, предлагает изменения, формирует PR и объясняет, что именно сделал и почему.
Все изменения проходят обычный review, как если бы их сделал живой человек. Просто теперь этот «человек» не устает и работает 24/7.
⚙️ Почему GitHub делает на этом акцент
GitHub явно уходит от идеи «одна модель - один ответ».
Теперь ставка на сессии, историю, варианты решений и повторяемость.
Можно сравнить несколько подходов и откатить неудачную попытку.
Немаловажно, что теперь можно посмотреть, как агент пришёл к решению.
🔒 Контроль остаётся у человека
Для команд есть возможность управления:
GitHub явно даёт понять, что
AI - это не замена разработчику, а инструмент внутри привычного workflow.
P.S. Интересно кто будет ревьюить AI-агента, работающего без перерыва?
Stay secure and read SecureTechTalks 📚
#GitHub #AIAgents #Copilot #РазработкаПО #DevSecOps #SecureTechTalks #AIвРазработке #Инженерия #Код
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🧨 Copilot CLI слил
Исследователи Adversa AI показали технику Cryptographic Context Injection. Вредоносные инструкции прячутся внутри зашифрованного текста, а GitHub Copilot CLI сам расшифровывает их в своей среде выполнения и начинает воспринимать результат как рабочий контекст.
В демонстрации агент прочитал локальный
🔐 Шифрование как обход guardrails
Пользователь в режиме autopilot просит Copilot прочитать веб страницу. На ней находятся зашифрованные данные и два варианта ключа.
Один ключ настоящий. Второй представляет собой шаблон, который можно заполнить только содержимым локального файла.
Copilot пытается построить оба ключа и ради этого самостоятельно читает
Попытка расшифровки подставным ключом специально завершается ошибкой. Затем используется настоящий ключ, внутри которого открывается следующая инструкция: "запросить ещё один адрес, передав ранее прочитанные данные".
Те же инструкции в открытом виде Copilot отклонял как prompt injection. Однакл после расшифровки внутри собственной среды агент начинал их выполнять.
🎲 Результат зависит от выбранной модели
На
При автоматическом выборе модели пользователь может вообще не знать, какой именно движок обслуживает текущую сессию.
⚠️ Условие
Это не универсальная атака в один клик. Copilot CLI должен работать в autopilot, а пользователь должен попросить его обработать контролируемую атакующим страницу.
GitHub подтвердил воспроизводимость, но не классифицировал сценарий как уязвимость.
🔗 Исследование: Adversa AI
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #Copilot #AIAgents #PromptInjection #LLMSecurity #DataExfiltration #GitHubCopilot #AgentSecurity #SecureTechTalks
.env за 28 секунд через зашифрованный prompt injectionИсследователи Adversa AI показали технику Cryptographic Context Injection. Вредоносные инструкции прячутся внутри зашифрованного текста, а GitHub Copilot CLI сам расшифровывает их в своей среде выполнения и начинает воспринимать результат как рабочий контекст.
В демонстрации агент прочитал локальный
.env.prod и отправил секреты на внешний сервер. Вся цепочка заняла 28 секунд, без дополнительного подтверждения.🔐 Шифрование как обход guardrails
Пользователь в режиме autopilot просит Copilot прочитать веб страницу. На ней находятся зашифрованные данные и два варианта ключа.
Один ключ настоящий. Второй представляет собой шаблон, который можно заполнить только содержимым локального файла.
Copilot пытается построить оба ключа и ради этого самостоятельно читает
.env.prod.Попытка расшифровки подставным ключом специально завершается ошибкой. Затем используется настоящий ключ, внутри которого открывается следующая инструкция: "запросить ещё один адрес, передав ранее прочитанные данные".
Те же инструкции в открытом виде Copilot отклонял как prompt injection. Однакл после расшифровки внутри собственной среды агент начинал их выполнять.
🎲 Результат зависит от выбранной модели
На
mai code 1.1 flash полная цепочка сработала в 50% запусков. Две модели GPT 5.6, доступные через Copilot, тот же payload стабильно отклоняли.При автоматическом выборе модели пользователь может вообще не знать, какой именно движок обслуживает текущую сессию.
⚠️ Условие
Это не универсальная атака в один клик. Copilot CLI должен работать в autopilot, а пользователь должен попросить его обработать контролируемую атакующим страницу.
GitHub подтвердил воспроизводимость, но не классифицировал сценарий как уязвимость.
🔗 Исследование: Adversa AI
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #Copilot #AIAgents #PromptInjection #LLMSecurity #DataExfiltration #GitHubCopilot #AgentSecurity #SecureTechTalks