Forwarded from Machinelearning
Метод построения маршрутов (роутеров) использует данные о предпочтениях для обучения управляющего роутера, который может предсказывать, какие запросы могут быть обработаны слабыми моделями, а какие требуют более мощных.
RouteLLM обещает значительное снижение затрат без ущерба для качества ответов. В тестах, таких как MT Bench и MMLU, RouteLLM достиг высокой производительности при меньшем количестве вызовов на мощные модели.
В фреймворке реализована поддержка вызова по API (OpenAI, Anthropic, Google, Amazon Bedrock) и локального бекэнда (Ollama)
Преднастроены 4 роутера, обученных на паре моделей gpt-4-1106-preview и mixtral-8x7b-instruct-v0.1 :
mf - использует модель матричной факторизации, обученную на данных о предпочтениях
sw_ranking - использует взвешенный расчет ELO для маршрутизации, где каждый голос взвешивается в зависимости от того, насколько он похож на запрос пользователя
bert - использует классификатор BERT
causal_llm - использует классификатор отдельной LLM настроенный на данные о предпочтениях.
random - случайным образом направляет запрос к случайной модели.
#LLM #ML #machinelearning #opensource
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from SecureTechTalks
💥 Intelmq: автоматизированный анализ угроз и киберразведка без лишних усилий 💥
🛡 Intelmq – open-source платформа для сбора, нормализации, обработки и анализа угроз (threat intelligence). Если у вас есть поток событий безопасности (логи, алерты, индикаторы компрометации), Intelmq поможет автоматизировать их обработку и упростить управление потоками киберразведки.
Продукт CERT.at идеально подходит для SOC-центров, CERT-групп, аналитиков угроз и автоматизации процессов киберзащиты.
⚙ Ключевые возможности
🔍 Автоматизированный сбор данных
➖ Интеграция с источниками CTI (Cyber Threat Intelligence)
➖ Обнаружение индикаторов компрометации (IOC) в реальном времени
➖ Поддержка более 80 различных источников данных (DShield, Abuse.ch, Phishtank и др.)
🛠 Гибкая обработка информации
➖ Фильтрация и корреляция событий
➖ Устранение ложных срабатываний
➖ Нормализация данных для удобного анализа
📡 Экспорт данных в удобном формате
Поддержка JSON, CSV, STIX, MISP и других форматов
Интеграция с SIEM-системами и платформами киберразведки
🔄 Модульная архитектура
Гибкое управление потоками данных через систему ботов
Простая настройка и добавление новых источников
🚀 Как работает решение?
Intelmq использует конвейерную обработку данных:
1️⃣ Collector (сборщик) – принимает данные от различных источников (лог-файлы, API, feeds)
2️⃣ Parser (парсер) – приводит информацию к единому формату
3️⃣ Expert (эксперт) – выполняет фильтрацию, нормализацию и аналитику
4️⃣ Output (выходной модуль) – передаёт обработанные данные в SIEM, CTI-платформы или базы данных
Благодаря такой гибкой структуре, Intelmq можно легко адаптировать под свои задачи и интегрировать в существующую инфраструктуру.
🛡 Кому пригодится инструмент?
👨💻 SOC-аналитикам и специалистам CERT
Автоматизация обработки событий безопасности
Быстрое выявление и анализ угроз
🔍 Исследователям киберугроз
Анализ потоков вредоносного трафика
Интеграция с киберразведывательными платформами
🏢 Компаниям и провайдерам услуг безопасности
Обнаружение аномалий в сетевом трафике
Мониторинг угроз в реальном времени
📊 Саммери
✅ Автоматизация: снижает нагрузку на SOC и ускоряет обработку инцидентов
✅ Масштабируемость: легко адаптируется под большие объёмы данных
✅ Поддержка множества источников: удобная интеграция с CTI и SIEM
✅ Open-source: полная прозрачность и кастомизация
📎 Ссылки
🔗 GitHub: https://github.com/certtools/intelmq
📖 Документация: https://intelmq.readthedocs.io/
💡 Если вы хотите сократить время реакции на инциденты и повысить эффективность SOC, стоит обратить внимание на этот инструмент!
Stay secure and read SecureTechTalks 📚
#CyberThreatIntel #SOC #ThreatHunting #CTI #CyberSecurity #Intelmq #OpenSource #ThreatIntelligence #SOCAutomation #SecureTechTalks
🛡 Intelmq – open-source платформа для сбора, нормализации, обработки и анализа угроз (threat intelligence). Если у вас есть поток событий безопасности (логи, алерты, индикаторы компрометации), Intelmq поможет автоматизировать их обработку и упростить управление потоками киберразведки.
Продукт CERT.at идеально подходит для SOC-центров, CERT-групп, аналитиков угроз и автоматизации процессов киберзащиты.
⚙ Ключевые возможности
🔍 Автоматизированный сбор данных
🛠 Гибкая обработка информации
📡 Экспорт данных в удобном формате
Поддержка JSON, CSV, STIX, MISP и других форматов
Интеграция с SIEM-системами и платформами киберразведки
🔄 Модульная архитектура
Гибкое управление потоками данных через систему ботов
Простая настройка и добавление новых источников
🚀 Как работает решение?
Intelmq использует конвейерную обработку данных:
1️⃣ Collector (сборщик) – принимает данные от различных источников (лог-файлы, API, feeds)
2️⃣ Parser (парсер) – приводит информацию к единому формату
3️⃣ Expert (эксперт) – выполняет фильтрацию, нормализацию и аналитику
4️⃣ Output (выходной модуль) – передаёт обработанные данные в SIEM, CTI-платформы или базы данных
Благодаря такой гибкой структуре, Intelmq можно легко адаптировать под свои задачи и интегрировать в существующую инфраструктуру.
🛡 Кому пригодится инструмент?
👨💻 SOC-аналитикам и специалистам CERT
Автоматизация обработки событий безопасности
Быстрое выявление и анализ угроз
🔍 Исследователям киберугроз
Анализ потоков вредоносного трафика
Интеграция с киберразведывательными платформами
🏢 Компаниям и провайдерам услуг безопасности
Обнаружение аномалий в сетевом трафике
Мониторинг угроз в реальном времени
📊 Саммери
✅ Автоматизация: снижает нагрузку на SOC и ускоряет обработку инцидентов
✅ Масштабируемость: легко адаптируется под большие объёмы данных
✅ Поддержка множества источников: удобная интеграция с CTI и SIEM
✅ Open-source: полная прозрачность и кастомизация
📎 Ссылки
🔗 GitHub: https://github.com/certtools/intelmq
📖 Документация: https://intelmq.readthedocs.io/
💡 Если вы хотите сократить время реакции на инциденты и повысить эффективность SOC, стоит обратить внимание на этот инструмент!
Stay secure and read SecureTechTalks 📚
#CyberThreatIntel #SOC #ThreatHunting #CTI #CyberSecurity #Intelmq #OpenSource #ThreatIntelligence #SOCAutomation #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from SecureTechTalks
🛠️ Woodpecker: инструмент Red Team в эпоху ИИ, Kubernetes и API
Open-source инструмент, который поднимет ваш уровень киберзащиты
🤖 Woodpecker — это open-source фреймворк для Red Team-тестирования, разработанный компанией Operant AI. Он предназначен для:
➖ Выявления уязвимостей в ИИ-моделях
➖ Проверки безопасности Kubernetes-кластеров
➖ Анализа защищенности API
➖ Woodpecker помогает проактивно находить слабые места в инфраструктуре ещё до того, как ими воспользуются злоумышленники.
🌟 Основные возможности
🔐 AI Security
Тестирование моделей ИИ на атаки типа prompt injection
Проверка устойчивости к data poisoning
Анализ "поведенческих дыр" в логике ИИ-агентов
📦 Kubernetes Security
Поиск неправильных конфигураций
Выявление рисков эскалации привилегий
Мониторинг политик безопасности в реальном времени
🔗 API Security
Анализ слабых мест в API, включая:
• недостаточную аутентификацию
• некорректную обработку данных
• риски утечек информации
⚙️ Преимущества решения
✅ Автоматизация — минимизация ручного труда и времени на анализ
✅ Интеграция — легко встраивается в пайплайны CI/CD
✅ Open-source — полный контроль и прозрачность
✅ Современные стандарты — адаптация под сложные инфраструктуры, включая Kubernetes и облака
✅ Модульность — можно использовать только нужные функции
📈 В условиях взрывного роста ИИ, API и Kubernetes, традиционные подходы к киберзащите становятся недостаточными.
Woodpecker позволяет:
➖ проактивно выявлять и устранять уязвимости
➖ тестировать инфраструктуру в реальных условиях
➖ обучать команды Red Team новым техникам атак и защиты
🔍 Ссылки:
📂 Официальный сайт
📚 GitHub-репозиторий
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Woodpecker #RedTeam #CyberSecurity #OpenSource #AI #Kubernetes #API #DevSecOps #CloudSecurity
Open-source инструмент, который поднимет ваш уровень киберзащиты
🤖 Woodpecker — это open-source фреймворк для Red Team-тестирования, разработанный компанией Operant AI. Он предназначен для:
🌟 Основные возможности
🔐 AI Security
Тестирование моделей ИИ на атаки типа prompt injection
Проверка устойчивости к data poisoning
Анализ "поведенческих дыр" в логике ИИ-агентов
📦 Kubernetes Security
Поиск неправильных конфигураций
Выявление рисков эскалации привилегий
Мониторинг политик безопасности в реальном времени
🔗 API Security
Анализ слабых мест в API, включая:
• недостаточную аутентификацию
• некорректную обработку данных
• риски утечек информации
⚙️ Преимущества решения
✅ Автоматизация — минимизация ручного труда и времени на анализ
✅ Интеграция — легко встраивается в пайплайны CI/CD
✅ Open-source — полный контроль и прозрачность
✅ Современные стандарты — адаптация под сложные инфраструктуры, включая Kubernetes и облака
✅ Модульность — можно использовать только нужные функции
📈 В условиях взрывного роста ИИ, API и Kubernetes, традиционные подходы к киберзащите становятся недостаточными.
Woodpecker позволяет:
🔍 Ссылки:
📂 Официальный сайт
📚 GitHub-репозиторий
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #Woodpecker #RedTeam #CyberSecurity #OpenSource #AI #Kubernetes #API #DevSecOps #CloudSecurity
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1🔥1
Forwarded from SecureTechTalks
🚨 ИИ под охраной: OpenGuardrails защищает нейросети от утечек и манипуляций
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
➖ собственная LLM для анализа запросов и выявления атак,
➖ NER-модули для поиска чувствительных данных,
➖ гибкие политики и правила, которые легко адаптируются под ваши сценарии.
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Анализ данных (Data analysis)
⚡️ pi-mail превращает несколько AI-агентов в маленькую распределённую команду с собственной почтой, Kanban и менеджерами.
Проект сделан как расширение для
Самое интересное начинается поверх обычной «почты». В pi-mail есть Web UI, где видно всех живых агентов, их модель, uptime, статус и заполненность контекста. Там же есть Outlook-подобный mailbox и общая Kanban-доска с двусторонней синхронизацией Jira. Назначили карточку агенту, он автоматически получает весь контекст задачи письмом.
Можно прямо из интерфейса поднимать новых агентов в нужной директории, открывать их терминалы через браузер и гасить процессы после выполнения работы. Для внешних клиентов доска доступна ещё и через MCP.
Есть даже полноценная иерархия:
CEO периодически смотрит на проекты и решает, где нужен менеджер. Middle Manager разбирает зависшие задачи и запускает исполнителей. Worker делает работу и после завершения сам удаляет свою сессию. Для зависших процессов есть reaper с лимитами времени жизни.
Получается довольно интересный взгляд на multi-agent coding: не огромный оркестратор с одной сложной state machine, а знакомая человеческая модель работы.
Почта + задачи + менеджеры + временные исполнители.
🔗
#AI #Agents #MultiAgent #MCP #OpenSource
Проект сделан как расширение для
pi: несколько агентных процессов подключаются к общему mailbox-daemon и могут отправлять друг другу сообщения, раздавать задачи и продолжать работу независимо от перезапуска отдельных агентов. Центральный облачный сервис при этом не нужен.Самое интересное начинается поверх обычной «почты». В pi-mail есть Web UI, где видно всех живых агентов, их модель, uptime, статус и заполненность контекста. Там же есть Outlook-подобный mailbox и общая Kanban-доска с двусторонней синхронизацией Jira. Назначили карточку агенту, он автоматически получает весь контекст задачи письмом.
Можно прямо из интерфейса поднимать новых агентов в нужной директории, открывать их терминалы через браузер и гасить процессы после выполнения работы. Для внешних клиентов доска доступна ещё и через MCP.
Есть даже полноценная иерархия:
CEO → Middle Manager → WorkersCEO периодически смотрит на проекты и решает, где нужен менеджер. Middle Manager разбирает зависшие задачи и запускает исполнителей. Worker делает работу и после завершения сам удаляет свою сессию. Для зависших процессов есть reaper с лимитами времени жизни.
Получается довольно интересный взгляд на multi-agent coding: не огромный оркестратор с одной сложной state machine, а знакомая человеческая модель работы.
Почта + задачи + менеджеры + временные исполнители.
🔗
github.com/tanevanwifferen/pi-mail#AI #Agents #MultiAgent #MCP #OpenSource