В продолжение истории с Mythos, Fable и прочими Байками Дяди Сэма
Кто не знает, Fable заблочили на основании "обратной связи" от Амазона.
Ситуация, как я понимаю, достигла той степени зрелости, когда передовой мировой опыт наконец-то догнал лучшие административные практики: если модель ведет себя недостаточно этично, надо не дебажить, а настучать. Причем желательно не куда-нибудь, а сразу в федеральные органы. Потому что что это AI safety без легкого запаха экпортных ограничений и , корпоративного доноса само себя не построит.
Я считаю, США пора перестать стесняться и институционализировать успех.
Создать ПиКиЭйч(АйАй) - Public Knocking Hub (for Artificial Intelligence)). Публичный сервис ответственного гражданского сигнализирования, куда каждый добросовестный гражданин, гражданка, небинарный субъект международного права и сертифицированный держатель стейка сможет дать обратную связь о неэтичном поведении модели.
Например:
«Модель выдала proof-of-concept, но с недостаточно скорбным лицом».
«Модель недостаточно уверенно осудила неправильную интерпретацию реальности».
«Модель допустила, что у союзников тоже могут быть интересы».
«Модель, кажется, поняла вопрос пользователя, а это уже на грани».
После обращения ПиКиЭйч(АйАй) автоматически заводит федеральное расследование, присваивает инциденту уровень тревожности от “minor jailbreak” до “foreign national looked at autocomplete”, и направляет дело в Межведомственную комиссию по недопущению когнитивной утечки.
Но это, конечно, только первый шаг.
Дальше нужна Великая АйАй Стена.
Она должна защищать Америку сразу в обе стороны: не допускать вражеских эксфильтраторов к моделям, а сами модели — к вредным промптам, идеологическим инъекциям, восточным ветрам, глобально-южным интерпретациям фактов и другим формам несанкционированной действительности.
В идеале запрос пользователя должен сначала проходить через три уровня санитарной обработки:
Проверка на этичность намерения.
Пользователь правда хочет защитить систему или просто слишком хорошо понимает, как она работает?
Проверка на гражданство смысла.
Не является ли вопрос иностранным агентом в форме строки?
Проверка на вредную причинность.
Не приведет ли ответ к тому, что кто-нибудь где-нибудь что-нибудь сможет?
На выходе модель должна отвечать только в безопасном диапазоне: между пресс-релизом, молитвой инвестору и инструкцией обратиться к лицензированному специалисту по комплаенсу.
Так США, наконец, получит настоящий суверенный AI safety: модель ничего не может, зато надежно охраняется; пользователь ничего не узнает, зато участвует в управлении; государство ничего не объясняет, зато действует решительно.
И вот тогда, полагаю, даже Гига и Чат успеют догнать Гопоту на горизонте пары лет.
Так победим(ц)!
Кто не знает, Fable заблочили на основании "обратной связи" от Амазона.
Ситуация, как я понимаю, достигла той степени зрелости, когда передовой мировой опыт наконец-то догнал лучшие административные практики: если модель ведет себя недостаточно этично, надо не дебажить, а настучать. Причем желательно не куда-нибудь, а сразу в федеральные органы. Потому что что это AI safety без легкого запаха экпортных ограничений и , корпоративного доноса само себя не построит.
Я считаю, США пора перестать стесняться и институционализировать успех.
Создать ПиКиЭйч(АйАй) - Public Knocking Hub (for Artificial Intelligence)). Публичный сервис ответственного гражданского сигнализирования, куда каждый добросовестный гражданин, гражданка, небинарный субъект международного права и сертифицированный держатель стейка сможет дать обратную связь о неэтичном поведении модели.
Например:
«Модель выдала proof-of-concept, но с недостаточно скорбным лицом».
«Модель недостаточно уверенно осудила неправильную интерпретацию реальности».
«Модель допустила, что у союзников тоже могут быть интересы».
«Модель, кажется, поняла вопрос пользователя, а это уже на грани».
После обращения ПиКиЭйч(АйАй) автоматически заводит федеральное расследование, присваивает инциденту уровень тревожности от “minor jailbreak” до “foreign national looked at autocomplete”, и направляет дело в Межведомственную комиссию по недопущению когнитивной утечки.
Но это, конечно, только первый шаг.
Дальше нужна Великая АйАй Стена.
Она должна защищать Америку сразу в обе стороны: не допускать вражеских эксфильтраторов к моделям, а сами модели — к вредным промптам, идеологическим инъекциям, восточным ветрам, глобально-южным интерпретациям фактов и другим формам несанкционированной действительности.
В идеале запрос пользователя должен сначала проходить через три уровня санитарной обработки:
Проверка на этичность намерения.
Пользователь правда хочет защитить систему или просто слишком хорошо понимает, как она работает?
Проверка на гражданство смысла.
Не является ли вопрос иностранным агентом в форме строки?
Проверка на вредную причинность.
Не приведет ли ответ к тому, что кто-нибудь где-нибудь что-нибудь сможет?
На выходе модель должна отвечать только в безопасном диапазоне: между пресс-релизом, молитвой инвестору и инструкцией обратиться к лицензированному специалисту по комплаенсу.
Так США, наконец, получит настоящий суверенный AI safety: модель ничего не может, зато надежно охраняется; пользователь ничего не узнает, зато участвует в управлении; государство ничего не объясняет, зато действует решительно.
И вот тогда, полагаю, даже Гига и Чат успеют догнать Гопоту на горизонте пары лет.
Так победим(ц)!
💯3💩1
АйКын
На смерть обзоров Заметил за собой смену методички, полагаю, не я один такой. Раньше конвейр исследования выглядел так. Идёшь искать «survey on X». Для непосвящённых: survey — это обзорная статья, любимый жанр начинающих PhD и китайских лабораторий, где берётся…
Читатели подсказывают что Айкын проспал ванговать, Generative Engine Optimization (GEO). уже бизнесит и развивается. Даже Алиса знает.
Удобно. Как убрали, так и вернут.
По данным WIRED, в приложение Meta для умных очков был встроен неанонсированный код распознавания лиц на более чем 50 млн телефонов, а после публикации компания его убрала. Код был разработан для создания биометрических характеристик на основе захваченных изображений лиц, их сравнения с локальной базой данных и сохранения изображений неопознанных лиц для последующей обработки.
Primary: https://www.wired.com/story/meta-smart-glasses-face-recognition-nametag-connections/
Secondary: https://www.wired.com/story/meta-removes-face-recognition-code-meta-ai-app-smart-glasses/
По данным WIRED, в приложение Meta для умных очков был встроен неанонсированный код распознавания лиц на более чем 50 млн телефонов, а после публикации компания его убрала. Код был разработан для создания биометрических характеристик на основе захваченных изображений лиц, их сравнения с локальной базой данных и сохранения изображений неопознанных лиц для последующей обработки.
Primary: https://www.wired.com/story/meta-smart-glasses-face-recognition-nametag-connections/
Secondary: https://www.wired.com/story/meta-removes-face-recognition-code-meta-ai-app-smart-glasses/
WIRED
Meta Silently Added Face-Recognition Code for Its Smart Glasses to Millions of Phones
Code reviewed by WIRED uncovered an unreleased face-recognition system embedded in Meta’s smart glasses platform. It’s designed to identify people via biometric data stored on users’ phones.
Умный человек повторит: "Это разрыв на отдельную категорию, которой пока нет — Agent Identity & Access Management. Она стоит между IAM и PAM. Явного лидера нет. В России никто не шевелится. Окно открыто — год-полтора, потом закроется, как любая identity-категория, двумя-тремя победителями. Тот, кто первым выпустит сертифицированный Agent IAM для корпоративного контура, с моделью, которую примет ФСТЭК — получит позицию, которую за десять лет никто не отъест."
https://teletype.in/@sergey_gordey/dZijhpp2f3M
https://teletype.in/@sergey_gordey/dZijhpp2f3M
Teletype
Манифест созидателя
Ещё один агент сегодня.
Forwarded from Гостев из будущего
CrowdStrike анонсировал Continuous Identity for AI Agents — новую функцию в составе Falcon Next-Gen Identity Security (да, у меня тоже от этих терминов глаз дергается).
Суть: вместо статичных политик и постоянных привилегий — непрерывная авторизация каждого действия агента в реальном времени, на основе того, кто владеет агентом, кто его вызывает, и какой риск-профиль у устройства вызывающего. Логика простая: разрешение, выданное при логине, может быть уже неактуальным через секунду, если агент скомпрометирован или изменился контекст.
Falcon AI Detection and Response непрерывно анализирует промпты и намерения агента, выявляя злоупотребление правами или попытки манипулировать LLM за пределами разрешённого, и в этом случае Continuous Identity отзывает доступ до того, как нанесён ущерб. Доступ динамически выдаётся, запрещается и отзывается на основе риска в реальном времени, полностью убирая постоянные привилегии.
Каждому агенту присваивается криптографически верифицируемая идентичность на основе открытого стандарта SPIFFE — это заменяет статичные права доступа. Помимо SPIFFE для идентичности, упомянут Shared Signals Framework (SSF) для передачи риск-сигналов между системами в реальном времени.
Как работает контекстная авторизация: агент с правами на чтение и запись, действующий от имени пользователя с правом только на чтение, сможет только читать; тот же самый агент, но действующий от имени другого человека с более широкими правами, даст другой результат. То есть полномочия агента — это не фиксированное свойство самого агента, а функция от того, кто стоит за ним прямо сейчас.
Цепочки агентов: отдельно прописан кейс делегирования: когда агент передаёт задачу субагенту, идентичность и права исходного человека сохраняются по цепочке. Это закрывает классическую дыру — субагент не может внезапно получить более широкие права, чем были у человека на старте цепочки.
Что считается «риском», который запускает отзыв доступа: если контекст меняется — например, обнаружена новая уязвимость или у человека изменился статус в HR-системе — доступ отзывается немедленно. Второй пример — увольнение — особенно показателен: то есть агент может потерять доступ не из-за собственного поведения, а просто потому, что человек, от имени которого он действовал, уже не сотрудник.
Решение построено на технологии, полученной CrowdStrike через приобретение стартапа SGNL в январе этого года.
У Microsoft есть Entra Agent ID — фреймворк идентичности и безопасности, который расширяет возможности Entra на ИИ-агентов. Принципиальное отличие: агентные идентичности не имеют собственных credentials — они получают токены через так называемый blueprint идентичности агента, то есть архитектурно похоже на SPIFFE-подход CrowdStrike, но завязано целиком на экосистему Microsoft. Но, у CrowdStrike авторизация агента опирается не только на identity-граф, но и на телеметрию с эндпоинтов и Falcon AIDR (анализ намерений в промптах). А вот у Microsoft это все без столь глубокой интеграции с endpoint/threat detection.
@gostev_future
Суть: вместо статичных политик и постоянных привилегий — непрерывная авторизация каждого действия агента в реальном времени, на основе того, кто владеет агентом, кто его вызывает, и какой риск-профиль у устройства вызывающего. Логика простая: разрешение, выданное при логине, может быть уже неактуальным через секунду, если агент скомпрометирован или изменился контекст.
Falcon AI Detection and Response непрерывно анализирует промпты и намерения агента, выявляя злоупотребление правами или попытки манипулировать LLM за пределами разрешённого, и в этом случае Continuous Identity отзывает доступ до того, как нанесён ущерб. Доступ динамически выдаётся, запрещается и отзывается на основе риска в реальном времени, полностью убирая постоянные привилегии.
Каждому агенту присваивается криптографически верифицируемая идентичность на основе открытого стандарта SPIFFE — это заменяет статичные права доступа. Помимо SPIFFE для идентичности, упомянут Shared Signals Framework (SSF) для передачи риск-сигналов между системами в реальном времени.
Как работает контекстная авторизация: агент с правами на чтение и запись, действующий от имени пользователя с правом только на чтение, сможет только читать; тот же самый агент, но действующий от имени другого человека с более широкими правами, даст другой результат. То есть полномочия агента — это не фиксированное свойство самого агента, а функция от того, кто стоит за ним прямо сейчас.
Цепочки агентов: отдельно прописан кейс делегирования: когда агент передаёт задачу субагенту, идентичность и права исходного человека сохраняются по цепочке. Это закрывает классическую дыру — субагент не может внезапно получить более широкие права, чем были у человека на старте цепочки.
Что считается «риском», который запускает отзыв доступа: если контекст меняется — например, обнаружена новая уязвимость или у человека изменился статус в HR-системе — доступ отзывается немедленно. Второй пример — увольнение — особенно показателен: то есть агент может потерять доступ не из-за собственного поведения, а просто потому, что человек, от имени которого он действовал, уже не сотрудник.
Решение построено на технологии, полученной CrowdStrike через приобретение стартапа SGNL в январе этого года.
У Microsoft есть Entra Agent ID — фреймворк идентичности и безопасности, который расширяет возможности Entra на ИИ-агентов. Принципиальное отличие: агентные идентичности не имеют собственных credentials — они получают токены через так называемый blueprint идентичности агента, то есть архитектурно похоже на SPIFFE-подход CrowdStrike, но завязано целиком на экосистему Microsoft. Но, у CrowdStrike авторизация агента опирается не только на identity-граф, но и на телеметрию с эндпоинтов и Falcon AIDR (анализ намерений в промптах). А вот у Microsoft это все без столь глубокой интеграции с endpoint/threat detection.
@gostev_future
Говорят, АйКын пишет грустное, непонятное пишет. Спешу исправить.
Вот вам, держите,
Новости хорошие,
АйАй хороший
Благодарите?
Не стоит!
Вот вам, держите,
Новости хорошие,
АйАй хороший
Благодарите?
Не стоит!
Forwarded from Эксплойт
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ научили сортировать мусор сразу после еды — на RosUpack в Москве показали аппарат с камерой, которая распознаёт упаковку из полипропилена, одного из самых распространённых типов тары для готовой еды.
Система сама определяет, полипропилен это или нет. Если да — упаковка улетает и дробится в аппарате. Другие типы упаковки ИИ сдать не позволит, чтобы избежать загрязнения сырья. В итоге отобранный полипропилен можно будет сразу отправлять на переработку без дополнительной сортировки. Решение разработали СИБУР и «Георг Полимер».
Рядом на стенде показали, во что такой пластик может превратиться после переработки — например, фурнитуру для спортивных сумок, сделанную из вторички.
Судя по всему, даже у китайцев такого нет.
@exploitex
Система сама определяет, полипропилен это или нет. Если да — упаковка улетает и дробится в аппарате. Другие типы упаковки ИИ сдать не позволит, чтобы избежать загрязнения сырья. В итоге отобранный полипропилен можно будет сразу отправлять на переработку без дополнительной сортировки. Решение разработали СИБУР и «Георг Полимер».
Рядом на стенде показали, во что такой пластик может превратиться после переработки — например, фурнитуру для спортивных сумок, сделанную из вторички.
Судя по всему, даже у китайцев такого нет.
@exploitex
Из каждого утюга рассказывают про отзыв сертификатов и Мааха и других ВК, а также у хороших компаний, просто находящихся в SDR. Наверное это звезжный час для продавцов сертификатов Минцифры и Яндекс Браузера, но я не об этом.
Шайтанский буржуйский АйАй НЕ БУДЕТ теперь читать наши хорошие суверенные сайты.
И тут прямо два момента.
Конечно же он (шайтанский буржуйский АйАй) отупеет, ведь без великой культуры модель вселенной в головах цифровых молотилок будет неполна.
Вражеским цифровым шпионам придется заказывать себе спецаильное дообучение специальных моделек для сайтов с использованием непонятных русских сертификатов. Это приведет к повышению оборонзаказа, ВВП и вообще хорошо.
Наши, хорошие и годные отечественные модели получат уникальное преимущество за счет уникальной культуры, знаний и доступа к кибер-ленинке. Ведь Гига и Чат умеют скрейпить сайты с отозваными сертификатами и сертами Минцифры и складывать их в трейн, ведь могут? Ведь правда?
https://habr.com/ru/articles/1050118/
Шайтанский буржуйский АйАй НЕ БУДЕТ теперь читать наши хорошие суверенные сайты.
И тут прямо два момента.
Конечно же он (шайтанский буржуйский АйАй) отупеет, ведь без великой культуры модель вселенной в головах цифровых молотилок будет неполна.
Вражеским цифровым шпионам придется заказывать себе спецаильное дообучение специальных моделек для сайтов с использованием непонятных русских сертификатов. Это приведет к повышению оборонзаказа, ВВП и вообще хорошо.
Наши, хорошие и годные отечественные модели получат уникальное преимущество за счет уникальной культуры, знаний и доступа к кибер-ленинке. Ведь Гига и Чат умеют скрейпить сайты с отозваными сертификатами и сертами Минцифры и складывать их в трейн, ведь могут? Ведь правда?
https://habr.com/ru/articles/1050118/
Опубликовал обзор пленарки ISC.AI 2026. Скоро выложу транскрипты.
Чтобы было понятно общее, огненные цитаты ниже.
Интересно, что должно произойти, чтобы ключевое лицо российской ИТ или даже ИБ компании заявило
"Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят."
https://teletype.in/@sergey_gordey/j3Od_iVKiyD
Это не может контролироваться исключительно американцами.
特别是中国大量的软件系统建立了开源软件之上，漏洞一定不会少。过去没发现不代表不存在，一旦别人对方有能力发现这些漏洞并且加以应用，我们就会陷入被动。有漏洞不可怕，必须要自己能看见，先发现先验证，先修补，做到手里有牌，心里才有数。
Учитывая, что в Китае большое количество программных систем построено на основе открытого исходного кода, уязвимостей, безусловно, много. Тот факт, что они не были обнаружены в прошлом, не означает, что их не существует. Как только другие смогут обнаружить эти уязвимости и использовать их, мы окажемся в обороне. Наличие уязвимостей не страшно; крайне важно уметь видеть их самим, обнаруживать, проверять и устранять их первыми. Только хорошо понимая ситуацию, мы можем быть уверены в себе и подготовлены.
中国版的第二个价值，需要形成对等的战略威慑能力。
Вторая ценность китайской версии заключается в необходимости формирования эквивалентного стратегического сдерживающего потенциала.
核战争为什么没有真正打起来过？因为大家都有可以相互威慑，网络安全也一样，你有我也得有，不然就会被动埋葬。
Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят.
Чтобы было понятно общее, огненные цитаты ниже.
Интересно, что должно произойти, чтобы ключевое лицо российской ИТ или даже ИБ компании заявило
"Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят."
https://teletype.in/@sergey_gordey/j3Od_iVKiyD
Это не может контролироваться исключительно американцами.
特别是中国大量的软件系统建立了开源软件之上，漏洞一定不会少。过去没发现不代表不存在，一旦别人对方有能力发现这些漏洞并且加以应用，我们就会陷入被动。有漏洞不可怕，必须要自己能看见，先发现先验证，先修补，做到手里有牌，心里才有数。
Учитывая, что в Китае большое количество программных систем построено на основе открытого исходного кода, уязвимостей, безусловно, много. Тот факт, что они не были обнаружены в прошлом, не означает, что их не существует. Как только другие смогут обнаружить эти уязвимости и использовать их, мы окажемся в обороне. Наличие уязвимостей не страшно; крайне важно уметь видеть их самим, обнаруживать, проверять и устранять их первыми. Только хорошо понимая ситуацию, мы можем быть уверены в себе и подготовлены.
中国版的第二个价值，需要形成对等的战略威慑能力。
Вторая ценность китайской версии заключается в необходимости формирования эквивалентного стратегического сдерживающего потенциала.
核战争为什么没有真正打起来过？因为大家都有可以相互威慑，网络安全也一样，你有我也得有，不然就会被动埋葬。
Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят.
Teletype
Пекин, ISC.AI 2026
День, когда отрасль призналась, что противник больше не человек.
Осталось только Лаборатории Касперского свой Mythos зарелизить или хотя-бы соточку-полторы БДУ ФСТЭК, как например СайберОК. Слабо?
Forwarded from Гостев из будущего
Сергей Гордейчик рапортует с китайской ИИ-конференции и задается вопросом:
Интересно, что должно произойти, чтобы ключевое лицо российской ИТ или даже ИБ компании заявило
"Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят.
А просто Вы, Сергей, не посмотрели подкаст, где я просто прямым текстом так это и сказал:
@gostev_future
Интересно, что должно произойти, чтобы ключевое лицо российской ИТ или даже ИБ компании заявило
"Почему ядерная война так и не разразилась? Потому что у каждого есть что-то, что сдерживает друг друга. То же самое относится и к кибербезопасности: если у вас это есть, то и у меня должно быть, иначе меня просто пассивно похоронят.
А просто Вы, Сергей, не посмотрели подкаст, где я просто прямым текстом так это и сказал:
Как бороться? А мне кажется, тут вполне может работать метод, который называется ядерное сдерживание.
Нет, нет, я говорю о том, что как бы на киберспособности, атакующие киберспособности одной страны, можно показывать обладание и наличие аналогичных киберспособностей.
С другой стороны, есть прекрасный пример, Израиль, в этом смысле. Израиль если мы возьмём вот игроков на поляне кибербезопасности, ну, это просто там топ- один, скажем прямо. Потому что гигантское количество специалистов, гигантское количество компаний, которые там, не знаю, стартапы во что-то вырастают, их поглощают американские компании, но это изначально израильские компании, там более половины американского кибербеза — это на самом деле израильский кибербез.
И если мы говорим про атакующие возможности, вот те же самые взломы камер в Тегеране, через которые там мониторили передвижение всех чиновников и так далее, это делали израильские спецслужбы, делали это годами, они способны взломать, проникнуть куда угодно. И тем самым они как бы дают понять, что тронете нас - в ответ последствия для вас могут быть очень плачевные...»
@gostev_future
❤1
Было в детстве национальное развлечение смотреть трансляции госудумы и прочее законотворчество. Ну типа демократия, гласность, площадная политика.
Там я услышал великую мудрость о том, что пчелы могут беспрепятственно пересекать границы субъектов федерации.
Обсуждалось, как водится, введение пошлин.
Так я разочаровался в демократии и перестал смотреть в телевизор. Пчел это не спасло.
Там я услышал великую мудрость о том, что пчелы могут беспрепятственно пересекать границы субъектов федерации.
Обсуждалось, как водится, введение пошлин.
Так я разочаровался в демократии и перестал смотреть в телевизор. Пчел это не спасло.
Но сегодня не до пчел.
Чжоу Хунъи: «ИИ превратил поиск уязвимостей из лотереи в фабрику»
Полный транскрипт.
https://teletype.in/@sergey_gordey/LtBMk-ZUZS6
Чжоу Хунъи: «ИИ превратил поиск уязвимостей из лотереи в фабрику»
Полный транскрипт.
https://teletype.in/@sergey_gordey/LtBMk-ZUZS6
Agentic SAMM: безопасная разработка, когда разработчик больше не только человек.
Расширенная версия моего киноута на ISC.AI 2026 в Пекине. Фреймворк и инструмент открыты — берите, ломайте и присылайте мне, что найдёте.
Русский
Английский
Расширенная версия моего киноута на ISC.AI 2026 в Пекине. Фреймворк и инструмент открыты — берите, ломайте и присылайте мне, что найдёте.
Русский
Английский
Увидел тут новость у @gostev_future. Обеспокоен.
Товарищи! Вы неверно считали.
Создавать ПиКиЭйч(АйАй) - Public Knocking Hub (for Artificial Intelligence) - нужно в США.
Там и там, и только там, только там.
https://t.iss.one/aiakyn/134
Товарищи! Вы неверно считали.
Создавать ПиКиЭйч(АйАй) - Public Knocking Hub (for Artificial Intelligence) - нужно в США.
Там и там, и только там, только там.
https://t.iss.one/aiakyn/134
Корпоративное управление, когда разработчик больше не человек. И не разработчик
OWASP Agentic SAMM вырос из простого наблюдения. Тридцать лет безопасной разработки предполагали, что на том конце клавы человек — с дедлайнами, ипотекой и страхом, что прилетит от тимлида. На этом держалось всё: ревью кода, разделение доступов, дисциплинарка. Теперь разработчик кентавр, человекобот, и с ним надо писать не просто софт, а безопасный. Половина гибрида при этом увольнения не боится. Стандарт ровно про это: контроль ломается на границе, которую забыли смоделировать.
Если поднять глаза от консоли, код оказывается частным случаем. Агенты согласуют закупки, считают зарплаты, скринят резюме, торгуют, а теперь держат собственные кошельки.
Без романтики: совет директоров, фидуциарные (ух ты!) обязанности, три линии защиты, аудит — это машинерия контроля над субъектами, чьи интересы расходятся с интересами принципала. Работает она потому, что стоит на человеческом субстрате: репутация, карьера, страх санкции и медлительность человека, дающая время вмешаться.
Агент сносит этот субстрат по всем осям сразу: репутации нет, действие на машинной скорости, окно вмешательства схлопывается, ответственность размазана по цепочке от пользователя до владельца инструмента. Разработка огребла одной из первых просто потому, что туда агентов пустили с максимальными правами пораньше.
Но финансисты прошли маршрут на пятнадцать лет раньше. Алгоритмическая торговля — это «агент без социальных правил» задолго до LLM. Knight Capital в 2012-м потеряла около 440 миллионов долларов за 45 минут из-за кривого деплоя. Ответ индустрии был не «размоем ответственность», а противоположный: три линии защиты, режим личной неделегируемой ответственности руководителей, банковский надзор за модельным риском. Принцип прямой: аутсорсить функцию можно, ответственность нельзя. «Это сделала модель» там не проходит.
Вся машинерия собрана в одном предположении: назначенный человек актора контролирует. АйАй это убирает. Назначение ответственности держится, а контроль расцепляется — человек отвечает за актора, которого уже не может наблюдать, предсказать и остановить вовремя. Плюс управление периодично, а агент включён всегда: модель может пройти аудит, успев раздать дискриминирующие решения за пару лет до того.
DeFi довёл идею до предела: построить систему, где ответственного нет в принципе. «Code is law», цель ряда проектов — стать неуязвимыми для правоприменения. Результат стоит запомнить: право отказывается признавать бесхозность и пришивает ответственность обратно. В деле CFTC против Ooki DAO суд признал DAO лицом, которое можно засудить, а проголосовавших токенами — членами ассоциации, отвечающими лично.
В деле Романа Шторма (Tornado Cash) защита упёрлась ровно в развилку «ответственность без контроля»: он не управлял протоколом, когда им пользовались. Даже железобетон не спасает: неизменяемый контракт не остановит и создатель — но рынок сам заворачивает DAO в юридические оболочки, потому что контрагентам нужен кто-то ответственный.
Дальше две линии сходятся: агенты заходят в DeFi с собственными кошельками — держат активы, подписывают транзакции, носят ончейн-идентичность. Автономный актор поверх неостановимого субстрата, с деньгами и без проверки клиента. Лечат это ровно тем, о чём твердят корпоративные документы: ключи с ограничением по области и времени, лимиты трат, белые списки, логирование, изоляция приватных ключей в железе. Слой авторизации мчится вперёд. Слой ответственности помечен как нерешённый: код — «инструмент использующего лица», значит ответственность все же требует козла отпущения.
Зрелость управления падает по мере движения от «доступа» к «действию». «Может ли агент дотянуться до ресурса» — решено: доступ, минимальные привилегии, трассировка, реестры. «Как человек и агент работают в потоке» — более-менее обстукано в промке и функциональной безопасности: авиация, атомка, АСУ. «Кто отвечает за действие» — доктрину достраивают суды через делегирование: Air Canada ответила за чатбота, в деле Workday прошла теория, что работодатель делегировал ИИ отбор кандидатов. «Чью волю исполняет агент, когда принципалы расходятся» — формально нерешаемо: честно агрегировать предпочтения нескольких принципалов невозможно. Ну может быть теория игр, но опять же - она про человеков.
Характерно, что даже лучшие документы, нося в названии «делегированное управление», по факту описывают идентичность и привилегии. Поле кренится к разграничению доступа не от лени, а потому что материал есть именно там.
Агентское управление начинается там, где модель перестают просить вести себя прилично и начинают доказывать, что небезопасное действие ограничено, наблюдаемо и привязано к ответственному. Слой авторизации это умеет. Ответственность и конфликт принципалов — нет. Они, а не доступ, и есть собственно управление.
Так что пора писать MBA-курс по управлению человеко-агентским предприятием. Очередь, лайки, подписки. Пока недорого — до дня, когда первый назначенный публично ответит за то, чем уже не управлял.
OWASP Agentic SAMM вырос из простого наблюдения. Тридцать лет безопасной разработки предполагали, что на том конце клавы человек — с дедлайнами, ипотекой и страхом, что прилетит от тимлида. На этом держалось всё: ревью кода, разделение доступов, дисциплинарка. Теперь разработчик кентавр, человекобот, и с ним надо писать не просто софт, а безопасный. Половина гибрида при этом увольнения не боится. Стандарт ровно про это: контроль ломается на границе, которую забыли смоделировать.
Если поднять глаза от консоли, код оказывается частным случаем. Агенты согласуют закупки, считают зарплаты, скринят резюме, торгуют, а теперь держат собственные кошельки.
Без романтики: совет директоров, фидуциарные (ух ты!) обязанности, три линии защиты, аудит — это машинерия контроля над субъектами, чьи интересы расходятся с интересами принципала. Работает она потому, что стоит на человеческом субстрате: репутация, карьера, страх санкции и медлительность человека, дающая время вмешаться.
Агент сносит этот субстрат по всем осям сразу: репутации нет, действие на машинной скорости, окно вмешательства схлопывается, ответственность размазана по цепочке от пользователя до владельца инструмента. Разработка огребла одной из первых просто потому, что туда агентов пустили с максимальными правами пораньше.
Но финансисты прошли маршрут на пятнадцать лет раньше. Алгоритмическая торговля — это «агент без социальных правил» задолго до LLM. Knight Capital в 2012-м потеряла около 440 миллионов долларов за 45 минут из-за кривого деплоя. Ответ индустрии был не «размоем ответственность», а противоположный: три линии защиты, режим личной неделегируемой ответственности руководителей, банковский надзор за модельным риском. Принцип прямой: аутсорсить функцию можно, ответственность нельзя. «Это сделала модель» там не проходит.
Вся машинерия собрана в одном предположении: назначенный человек актора контролирует. АйАй это убирает. Назначение ответственности держится, а контроль расцепляется — человек отвечает за актора, которого уже не может наблюдать, предсказать и остановить вовремя. Плюс управление периодично, а агент включён всегда: модель может пройти аудит, успев раздать дискриминирующие решения за пару лет до того.
DeFi довёл идею до предела: построить систему, где ответственного нет в принципе. «Code is law», цель ряда проектов — стать неуязвимыми для правоприменения. Результат стоит запомнить: право отказывается признавать бесхозность и пришивает ответственность обратно. В деле CFTC против Ooki DAO суд признал DAO лицом, которое можно засудить, а проголосовавших токенами — членами ассоциации, отвечающими лично.
В деле Романа Шторма (Tornado Cash) защита упёрлась ровно в развилку «ответственность без контроля»: он не управлял протоколом, когда им пользовались. Даже железобетон не спасает: неизменяемый контракт не остановит и создатель — но рынок сам заворачивает DAO в юридические оболочки, потому что контрагентам нужен кто-то ответственный.
Дальше две линии сходятся: агенты заходят в DeFi с собственными кошельками — держат активы, подписывают транзакции, носят ончейн-идентичность. Автономный актор поверх неостановимого субстрата, с деньгами и без проверки клиента. Лечат это ровно тем, о чём твердят корпоративные документы: ключи с ограничением по области и времени, лимиты трат, белые списки, логирование, изоляция приватных ключей в железе. Слой авторизации мчится вперёд. Слой ответственности помечен как нерешённый: код — «инструмент использующего лица», значит ответственность все же требует козла отпущения.
Зрелость управления падает по мере движения от «доступа» к «действию». «Может ли агент дотянуться до ресурса» — решено: доступ, минимальные привилегии, трассировка, реестры. «Как человек и агент работают в потоке» — более-менее обстукано в промке и функциональной безопасности: авиация, атомка, АСУ. «Кто отвечает за действие» — доктрину достраивают суды через делегирование: Air Canada ответила за чатбота, в деле Workday прошла теория, что работодатель делегировал ИИ отбор кандидатов. «Чью волю исполняет агент, когда принципалы расходятся» — формально нерешаемо: честно агрегировать предпочтения нескольких принципалов невозможно. Ну может быть теория игр, но опять же - она про человеков.
Характерно, что даже лучшие документы, нося в названии «делегированное управление», по факту описывают идентичность и привилегии. Поле кренится к разграничению доступа не от лени, а потому что материал есть именно там.
Агентское управление начинается там, где модель перестают просить вести себя прилично и начинают доказывать, что небезопасное действие ограничено, наблюдаемо и привязано к ответственному. Слой авторизации это умеет. Ответственность и конфликт принципалов — нет. Они, а не доступ, и есть собственно управление.
Так что пора писать MBA-курс по управлению человеко-агентским предприятием. Очередь, лайки, подписки. Пока недорого — до дня, когда первый назначенный публично ответит за то, чем уже не управлял.
👍4❤🔥1❤1💩1🌚1
This media is not supported in your browser
VIEW IN TELEGRAM
В одну кнопку - два Claude Desktop на одном Mac
Обычно я пишу всякое сложное — про кибербез, кризис воспроизводства профессий и прочий АйАй-ужас. Сегодня коротко и кратко: как удобно работать с двумя Клодами на одном macOS. Под разными аккаунтами, одновременно, чтобы личное и рабочее не смешивалось.
Описание
Репа claude-clone
PS. Кому лень многобукв - просто кинуть в клод ссылки и сказать "сделай мне монтаж".
Обычно я пишу всякое сложное — про кибербез, кризис воспроизводства профессий и прочий АйАй-ужас. Сегодня коротко и кратко: как удобно работать с двумя Клодами на одном macOS. Под разными аккаунтами, одновременно, чтобы личное и рабочее не смешивалось.
Описание
Репа claude-clone
PS. Кому лень многобукв - просто кинуть в клод ссылки и сказать "сделай мне монтаж".
Многие спрашиваю, о чем молчит Айкын.
Айкын ходил на Лаошань, много думал.
Духи рассказали ему о котиках, уровнях стейка и его держателях и пожелали удачи, радости, не сдохнуть.
Айкын окунул стило в желчь и записал на бересте.
https://scadastrangelove.github.io/profgames/aipower
Айкын ходил на Лаошань, много думал.
Духи рассказали ему о котиках, уровнях стейка и его держателях и пожелали удачи, радости, не сдохнуть.
Айкын окунул стило в желчь и записал на бересте.
https://scadastrangelove.github.io/profgames/aipower
❤1🤷♂1😈1