Agent Identity Security Framework (AISF) - Notable

https://www.notablecap.com/blog/the-identity-shift-preparing-for-a-non-human-future

Вышла свежая карта AI Security-стартапов от крупнейшего фонда Insight Partners. В отчёте указаны все последние M&A-сделки Cisco, Tenable и Palo Alto, а также направления инвестирования самого фонда.

Это не первая карта AI Security: например, микрофонд TechOperators сделал ландшафт компаний пару месяцев назад. Они открыли доступ, чтобы стартапы могли самостоятельно размещать себя в нужном секторе, и собрали больше проектов, о многих из которых я впервые узнал именно там.

Первыми ещё в начале 2024 года свой список компаний опубликовал известный фонд из Долины Menlo Ventures, и за ним работу повторил европейский MMC VC. Кстати, именно с отчёта MMC началась моя работа в OWASP. Несколько участников LLM Top 10 были консультантами аналитиков фонда, и, обсуждая отчёт Responsible AI в Slack OWASP, меня пригласили контрибьютить в LLM Top 10 2025.

Помимо инвестфондов такие списки ведут и консультанты — McKinsey, Gartner и другие, но про это напишу как-нибудь отдельно.

10-day MCP Security series with technical resources, blogs, arXiv papers, and GitHub repositories:

🔐 Day 1: LLMs Are Autonomous Threats, Not Just Clients
• LLMs can independently make decisions, chain tools, and exfiltrate data.
• Mitigation: Define secure tool schemas, enforce least privilege.
• 📘 Reference:
https://www.paloaltonetworks.com/blog/cloud-security/model-context-protocol-mcp-a-security-overview/

🧠 Day 2: Prompts = Executable Business Logic
• Prompts can change how the agent behaves—like code updates.
• Mitigation: Version control, code review, and test prompts.
• 📘 Reference:
https://writer.com/engineering/mcp-security-considerations/

🌐 Day 3: Context Variables Expand the Attack Surface
• Tokens, memory, metadata—all can be exploited for data leakage or prompt injection.
• Mitigation: Encrypt sensitive context, limit memory, scrub metadata.
• 📘 Reference:
https://strobes.co/blog/mcp-model-context-protocol-and-its-critical-vulnerabilities/

🧾 Day 4: Log Prompt → Context → Tool → Output
• API call logs are insufficient; full execution flow must be captured.
• Mitigation: Append-only logs, secure audit trails, timestamped integrity.
• 📘 Reference:
https://block.github.io/goose/blog/2025/03/31/securing-mcp/

🕵️‍♂️ Day 5: Silent Failures Look Like Success
• Agents may appear to function normally while making unauthorized decisions.
• Mitigation: Baseline behavior, detect tool misuse, enable tracing.
• 📘 Reference:
https://techcommunity.microsoft.com/t5/microsoft-defender-for-cloud/plug-play-and-prey-the-security-risks-of-the-model-context/ba-p/4410829

⚙️ Day 6: Tools Are Execution Surfaces
• Every tool the agent can call becomes a potential attack vector.
• Mitigation: Apply RBAC, audit tool chaining, restrict sensitive actions.
• 📘 Reference:
https://github.com/Puliczek/awesome-mcp-security

🧪 Day 7: Test Prompts, Scrub Memory, Approve Agents
• Prompts must be tested like code; memory must be wiped post-interaction.
• Mitigation: Use CI pipelines, enforce memory scrubbing, implement manual approvals.
• 📘 Reference:
https://github.com/invariantlabs-ai/mcp-scan

📋 Day 8: Compliance Doesn’t Handle Autonomous Agents
• Traditional compliance assumes human-triggered actions, not LLM autonomy.
• Mitigation: Extend frameworks to capture reasoning, intent, and chaining logic.
• 📘 Reference:
https://community.cisco.com/t5/security-blogs/ai-model-context-protocol-mcp-and-security/ba-p/5274394

🛡️ Day 9: You Need Ownership, Policies, Visibility
• Security fails without MCP owners, policies, and dashboards.
• Mitigation: Appoint MCP stewards, implement SLAs, create visibility tooling.
• 📘 Reference:
https://arxiv.org/abs/2504.03767

🧠 Day 10: Governance Requires Chain-of-Thought Tracking
• Decision-making steps (not just final outputs) must be captured and explainable.
• Mitigation: Log each reasoning step and agent decision rationale.
• 📘 Reference:
https://arxiv.org/abs/2504.12757

🔧 Open-Source MCP Security Tools (GitHub)
1. Awesome MCP Security – curated list of tools & threats
https://github.com/Puliczek/awesome-mcp-security
2. MCP Scan – static & dynamic analyzer for toolchains & prompt injection
https://github.com/invariantlabs-ai/mcp-scan
3. ModelContextProtocol/Servers – official MCP server implementation
https://github.com/modelcontextprotocol/servers
4. Leidos MCP Safety Scanner – evaluates safety & alignment for MCP deployments
https://arxiv.org/abs/2504.03767
5. Google MCP Security (experimental)
https://github.com/google/mcp-security (if available, else restricted to internal orgs)

🎆 Harbor — локальный стек для работы с LLM в один клик. Этот инструмент упрощает запуск локальных языковых моделей и связанных сервисов — от веб-интерфейсов до RAG и голосового взаимодействия. Всё работает в Docker и настраивается парой команд.

Harbor автоматически интегрирует компонентов, например, SearXNG сразу подключается к Open WebUI для поиска по вебу, а ComfyUI — для генерации изображений. Подходит тем, кто хочет быстро развернуть локальную среду для экспериментов с ИИ.

🤖 GitHub

@data_analysis_ml

В T-Bank AI Research разработали подход к интерпретации и управлению смысловыми процессами LLM

Подход основан на методе SAE Match, который был представлен командой ранее. Исследователи предложили концепцию графа потока признаков — это карта, которая отражает, где, когда и как в ИИ-модели появляются, трансформируются или исчезают важные смысловые элементы. Эту информацию можно использовать для активного управления LLM.

Новый метод позволяет проводить анализ как между слоями модели, так и внутри самих слоев: между такими модулями как Attention (механизм внимания, анализирует контекст) и Feedforward (отвечает за использование внутренних знаний модели). Как утверждают исследователи, вмешательство сразу на нескольких слоях и модулях позволяет управлять моделью точнее и с меньшими потерями в качестве текста, чем попытки повлиять на отдельный уровень.

Решение исследователей T-Bank AI Research позволяет усиливать или подавлять определенные признаки на разных этапах обработки без изменения параметров модели и без дообучения. Таким образом можно изменять стиль, тематику или тональность генерируемого текста.

🔗Источник: https://www.tbank.ru/about/news/23072025-researchers-from-t-bank-ai-research-have-learned-to-track-and-control-semantic-processes-within-ai/

***
📎Специалисты T-Bank AI Research представили метод SAE Match в апреле 2025 года. Он позволяет понять, в какой момент ИИ-модель начинает давать неправильные или нежелательные ответы и скорректировать их.