Вышла свежая карта AI Security-стартапов от крупнейшего фонда Insight Partners. В отчёте указаны все последние M&A-сделки Cisco, Tenable и Palo Alto, а также направления инвестирования самого фонда.

Это не первая карта AI Security: например, микрофонд TechOperators сделал ландшафт компаний пару месяцев назад. Они открыли доступ, чтобы стартапы могли самостоятельно размещать себя в нужном секторе, и собрали больше проектов, о многих из которых я впервые узнал именно там.

Первыми ещё в начале 2024 года свой список компаний опубликовал известный фонд из Долины Menlo Ventures, и за ним работу повторил европейский MMC VC. Кстати, именно с отчёта MMC началась моя работа в OWASP. Несколько участников LLM Top 10 были консультантами аналитиков фонда, и, обсуждая отчёт Responsible AI в Slack OWASP, меня пригласили контрибьютить в LLM Top 10 2025.

Помимо инвестфондов такие списки ведут и консультанты — McKinsey, Gartner и другие, но про это напишу как-нибудь отдельно.

10-day MCP Security series with technical resources, blogs, arXiv papers, and GitHub repositories:

🔐 Day 1: LLMs Are Autonomous Threats, Not Just Clients
• LLMs can independently make decisions, chain tools, and exfiltrate data.
• Mitigation: Define secure tool schemas, enforce least privilege.
• 📘 Reference:
https://www.paloaltonetworks.com/blog/cloud-security/model-context-protocol-mcp-a-security-overview/

🧠 Day 2: Prompts = Executable Business Logic
• Prompts can change how the agent behaves—like code updates.
• Mitigation: Version control, code review, and test prompts.
• 📘 Reference:
https://writer.com/engineering/mcp-security-considerations/

🌐 Day 3: Context Variables Expand the Attack Surface
• Tokens, memory, metadata—all can be exploited for data leakage or prompt injection.
• Mitigation: Encrypt sensitive context, limit memory, scrub metadata.
• 📘 Reference:
https://strobes.co/blog/mcp-model-context-protocol-and-its-critical-vulnerabilities/

🧾 Day 4: Log Prompt → Context → Tool → Output
• API call logs are insufficient; full execution flow must be captured.
• Mitigation: Append-only logs, secure audit trails, timestamped integrity.
• 📘 Reference:
https://block.github.io/goose/blog/2025/03/31/securing-mcp/

🕵️‍♂️ Day 5: Silent Failures Look Like Success
• Agents may appear to function normally while making unauthorized decisions.
• Mitigation: Baseline behavior, detect tool misuse, enable tracing.
• 📘 Reference:
https://techcommunity.microsoft.com/t5/microsoft-defender-for-cloud/plug-play-and-prey-the-security-risks-of-the-model-context/ba-p/4410829

⚙️ Day 6: Tools Are Execution Surfaces
• Every tool the agent can call becomes a potential attack vector.
• Mitigation: Apply RBAC, audit tool chaining, restrict sensitive actions.
• 📘 Reference:
https://github.com/Puliczek/awesome-mcp-security

🧪 Day 7: Test Prompts, Scrub Memory, Approve Agents
• Prompts must be tested like code; memory must be wiped post-interaction.
• Mitigation: Use CI pipelines, enforce memory scrubbing, implement manual approvals.
• 📘 Reference:
https://github.com/invariantlabs-ai/mcp-scan

📋 Day 8: Compliance Doesn’t Handle Autonomous Agents
• Traditional compliance assumes human-triggered actions, not LLM autonomy.
• Mitigation: Extend frameworks to capture reasoning, intent, and chaining logic.
• 📘 Reference:
https://community.cisco.com/t5/security-blogs/ai-model-context-protocol-mcp-and-security/ba-p/5274394

🛡️ Day 9: You Need Ownership, Policies, Visibility
• Security fails without MCP owners, policies, and dashboards.
• Mitigation: Appoint MCP stewards, implement SLAs, create visibility tooling.
• 📘 Reference:
https://arxiv.org/abs/2504.03767

🧠 Day 10: Governance Requires Chain-of-Thought Tracking
• Decision-making steps (not just final outputs) must be captured and explainable.
• Mitigation: Log each reasoning step and agent decision rationale.
• 📘 Reference:
https://arxiv.org/abs/2504.12757

🔧 Open-Source MCP Security Tools (GitHub)
1. Awesome MCP Security – curated list of tools & threats
https://github.com/Puliczek/awesome-mcp-security
2. MCP Scan – static & dynamic analyzer for toolchains & prompt injection
https://github.com/invariantlabs-ai/mcp-scan
3. ModelContextProtocol/Servers – official MCP server implementation
https://github.com/modelcontextprotocol/servers
4. Leidos MCP Safety Scanner – evaluates safety & alignment for MCP deployments
https://arxiv.org/abs/2504.03767
5. Google MCP Security (experimental)
https://github.com/google/mcp-security (if available, else restricted to internal orgs)

🎆 Harbor — локальный стек для работы с LLM в один клик. Этот инструмент упрощает запуск локальных языковых моделей и связанных сервисов — от веб-интерфейсов до RAG и голосового взаимодействия. Всё работает в Docker и настраивается парой команд.

Harbor автоматически интегрирует компонентов, например, SearXNG сразу подключается к Open WebUI для поиска по вебу, а ComfyUI — для генерации изображений. Подходит тем, кто хочет быстро развернуть локальную среду для экспериментов с ИИ.

🤖 GitHub

@data_analysis_ml

В T-Bank AI Research разработали подход к интерпретации и управлению смысловыми процессами LLM

Подход основан на методе SAE Match, который был представлен командой ранее. Исследователи предложили концепцию графа потока признаков — это карта, которая отражает, где, когда и как в ИИ-модели появляются, трансформируются или исчезают важные смысловые элементы. Эту информацию можно использовать для активного управления LLM.

Новый метод позволяет проводить анализ как между слоями модели, так и внутри самих слоев: между такими модулями как Attention (механизм внимания, анализирует контекст) и Feedforward (отвечает за использование внутренних знаний модели). Как утверждают исследователи, вмешательство сразу на нескольких слоях и модулях позволяет управлять моделью точнее и с меньшими потерями в качестве текста, чем попытки повлиять на отдельный уровень.

Решение исследователей T-Bank AI Research позволяет усиливать или подавлять определенные признаки на разных этапах обработки без изменения параметров модели и без дообучения. Таким образом можно изменять стиль, тематику или тональность генерируемого текста.

🔗Источник: https://www.tbank.ru/about/news/23072025-researchers-from-t-bank-ai-research-have-learned-to-track-and-control-semantic-processes-within-ai/

***
📎Специалисты T-Bank AI Research представили метод SAE Match в апреле 2025 года. Он позволяет понять, в какой момент ИИ-модель начинает давать неправильные или нежелательные ответы и скорректировать их.

Cloud.ru активно продвигает инструменты для создания агентных систем. Любопытно будет увидеть метрики инференса в Evolution в сравнении с другими платформами. Помимо инструментов для деплоя и настройки приложений в статье авторы также дали рекомендации по защите агентов: GuardRails AI, NER Natasha и наш HiveTrace🎉.

Foundations of Large Language Models - 277 Pages

A foundational guide to how LLMs work, focusing on core principles; even though it doesn’t dive directly into cybersecurity, it covers architectures, training strategies, prompting, alignment, and inference methods

Chapter 1️⃣ - introduces the basics of pre-training. This is the foundation of large language models, and common pre-training methods and model architectures will be discussed here.

Chapter 2️⃣ - introduces generative models, which are the large language models we commonly refer to today. After presenting the basic process of building these models, we will also explore how to scale up model training and handle long texts.

Chapter 3️⃣ - introduces prompting methods for large language models. We will discuss various prompting strategies, along with more advanced methods such as chain-of-thought reasoning and automatic prompt design.

Chapter 4️⃣ - introduces alignment methods for large language models. We will focus on instruction fine-tuning and alignment based on human feedback.

Chapter 5️⃣ - introduces inference methods for large language models. We will discuss various decoding algorithms, acceleration methods, and the inference-time scaling issue.

Source: https://arxiv.org/pdf/2501.09223 By Tong Xiao and Jingbo Zhu - Thanks, Alex Axworthy for sharing.

#JingboZhu #TongXiao #LLMBasics #NLPModels #AIResearch #ModelTraining #DeepLearning #SelfSupervised #PromptDesign #ModelScaling #TransformerAI #TokenPrediction #TextGeneration #LanguageModel #EncoderDecoder #BERTModel #GPTModel #T5Model #BARTModel #FineTuning #ZeroShot #FewShot #RLHFTraining #AIAlignment #AIInference #MaskedLearning #CausalModeling #SequenceModel #LanguageTasks #AIOptimization #ModelLoss #CrossEntropy #TextPrompt