Forwarded from Анализ данных (Data analysis)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Вышло свежее исследование от Anthropic про новый метод элаймента LLM
Давненько антропики не выпускали крутых ресерчей, а тут сразу очень объемная статья с крутыми результатами, да еще и Ян Лейке (бывший ключевой ученый OpenAI) в соавторах. Разбираемся, что показали 👇
Начнем с того, что стартап уже давно занимается в частности изучением джейлбрейков – техник «хитрого» промптинга, которые позволяют обходить ограничения моделек. В ноябре, например, у них выходила статья (наш разбор) про метод обнаружения новых методов джейлбрейка. Сейчас они тоже показывают что-то похожее: Constitutional Classifiers, то есть систему классификации для защиты LLM.
В основе метода safeguard классификаторы, которые обучают полностью на синтетических данных. Такие данные генерируются на основе набора естественно-языковых правил, которые определяют, какие запросы допустимы, а какие должны блокироваться. Эти правила называются конституциями, потому метод и зовется Constitutional.
При этом так фильтруются не только выходы LLM (как происходит традиционно), но еще и сами запросы. И такой рецепт в совокупности с качественной генерацией синтетики сработал ну очень хорошо.
Надо сказать, что обычно основная проблема таких систем – это то, что они плохо приспосабливаются к новым методам промптинга. Но тут в ходе тестирования не нашлось ни одного промпта, которым бы удалось стабильно сломать защищенную таким методом систему.
А тестирование, чтобы вы понимали, было действительно масштабное: Anthropic провели целый хакатон, на котором предлагали до 15к долларов за успешные джейлбрейки. В нем приняли участие 405 человек, включая профессиональных red teamer’ов (это типа белые хакеры в мире LLM). Плюс внутренние тесты стартапа, конечно: у них есть собственная red team.
При этом по словам Anthropic процент false positive остается достаточно низким (до 0.5%), так что моделька получается даже не слишком пугливой.
В общем результаты крутые, правда. Полностью статью читайте тут: arxiv.org/abs/2501.18837
Давненько антропики не выпускали крутых ресерчей, а тут сразу очень объемная статья с крутыми результатами, да еще и Ян Лейке (бывший ключевой ученый OpenAI) в соавторах. Разбираемся, что показали 👇
Начнем с того, что стартап уже давно занимается в частности изучением джейлбрейков – техник «хитрого» промптинга, которые позволяют обходить ограничения моделек. В ноябре, например, у них выходила статья (наш разбор) про метод обнаружения новых методов джейлбрейка. Сейчас они тоже показывают что-то похожее: Constitutional Classifiers, то есть систему классификации для защиты LLM.
В основе метода safeguard классификаторы, которые обучают полностью на синтетических данных. Такие данные генерируются на основе набора естественно-языковых правил, которые определяют, какие запросы допустимы, а какие должны блокироваться. Эти правила называются конституциями, потому метод и зовется Constitutional.
При этом так фильтруются не только выходы LLM (как происходит традиционно), но еще и сами запросы. И такой рецепт в совокупности с качественной генерацией синтетики сработал ну очень хорошо.
Надо сказать, что обычно основная проблема таких систем – это то, что они плохо приспосабливаются к новым методам промптинга. Но тут в ходе тестирования не нашлось ни одного промпта, которым бы удалось стабильно сломать защищенную таким методом систему.
А тестирование, чтобы вы понимали, было действительно масштабное: Anthropic провели целый хакатон, на котором предлагали до 15к долларов за успешные джейлбрейки. В нем приняли участие 405 человек, включая профессиональных red teamer’ов (это типа белые хакеры в мире LLM). Плюс внутренние тесты стартапа, конечно: у них есть собственная red team.
При этом по словам Anthropic процент false positive остается достаточно низким (до 0.5%), так что моделька получается даже не слишком пугливой.
В общем результаты крутые, правда. Полностью статью читайте тут: arxiv.org/abs/2501.18837
Forwarded from Some Security Notes
#machine #learning #ai #cyber #security
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Researchsquare
A comprehensive review of machine learning applications in cybersecurity: identifying gaps and advocating for cybersecurity auditing
Cybersecurity threats present significant challenges in the ever-evolving landscape of information and communication technology (ICT). As a practical approach to counter these evolving threats, corporations invest in various measures, including adopting cybersecurity…
Forwarded from Russian OSINT
🤔А вот это уже интересно [1,2,3]. Один из главных мастодонтов ИБ в Китае компания 360 Digital Security Group объявила о полномасштабной интеграции своей безопасной ИИ-модели с платформой DeepSeek.
Суть интеграции заключается в том, что DeepSeek будет использоваться как базовая платформа нового поколения систем киберзащиты, объединяющих передовые алгоритмы машинного обучения с гигантским массивом данных 360. Главная цель заключается в создании так называемой «автопилотируемой» системы безопасности, которая сможет в реальном времени анализировать и нейтрализовать киберугрозы без участия человека.
Ранее основатель 360 Group Чжоу Хунъи пообещал предоставить DeepSeek безвозмездную
Стоит отметить, что 360 стала первой цифровой компанией в 🇨🇳 Китае, подключившей свой ИИ к DeepSeek. Уже сейчас решения 360 внедрены в критически важные отрасли — государственные учреждения, финансовый сектор, стратегические предприятия, телекоммуникации, образование и здравоохранение. Утверждается, что ИИ от 360 зачастую способен в считаные минуты блокировать атаки шифровальщиков и пресекать сложные целевые кибератаки различных
Кроме того, 360 использует концепцию
=====
🇹🇼
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from igor tokarev
An Attentive Graph Agent for Topology-Adaptive Cyber Defence
https://arxiv.org/abs/2501.14700
https://github.com/IlyaOrson/CyberDreamcatcher
https://arxiv.org/abs/2501.14700
https://github.com/IlyaOrson/CyberDreamcatcher
arXiv.org
An Attentive Graph Agent for Topology-Adaptive Cyber Defence
As cyber threats grow increasingly sophisticated, reinforcement learning (RL) is emerging as a promising technique to create intelligent and adaptive cyber defense systems. However, most existing...
Forwarded from CyberSecurityTechnologies (-CST-)
WLLMs.pdf
744.8 KB
#MLSecOps
#Threat_Research
"Wiretapping LLMs: Network Side-Channel Attacks on Interactive LLM Services", 2025.
#Threat_Research
"Wiretapping LLMs: Network Side-Channel Attacks on Interactive LLM Services", 2025.
Forwarded from CyberSecurityTechnologies (-CST-)
RAM.pdf
1.4 MB
#Blue_Team_Techniques
"Rule-ATT&CK Mapper (RAM): Mapping SIEM Rules to TTPs Using LLMs", 2025.
]-> https://github.com/splunk/security_content
"Rule-ATT&CK Mapper (RAM): Mapping SIEM Rules to TTPs Using LLMs", 2025.
]-> https://github.com/splunk/security_content
Forwarded from CyberSecurityTechnologies (-CST-)
F_LLM.pdf
4.6 MB
#MLSecOps
"Firewalls to Secure Dynamic LLM Agentic Networks", 2025.
"Firewalls to Secure Dynamic LLM Agentic Networks", 2025.
Forwarded from CyberSecurityTechnologies (-CST-)
REDACTOR.pdf
913.4 KB
#MLSecOps
#Hardware_Security
"REDACTOR: eFPGA Redaction for DNN Accelerator Security", 2025.
]-> https://github.com/cars-lab-repo/REDACTOR
#Hardware_Security
"REDACTOR: eFPGA Redaction for DNN Accelerator Security", 2025.
]-> https://github.com/cars-lab-repo/REDACTOR
Forwarded from CyberSecurityTechnologies (-CST-)
Pentest_PS.pdf
12.5 MB
#Tech_book
"PowerShell for Penetration Testing:
Explore the capabilities of PowerShell for pentesters across multiple platforms", 2024.
"PowerShell for Penetration Testing:
Explore the capabilities of PowerShell for pentesters across multiple platforms", 2024.
Forwarded from Мониторинг аналитики об IT
На карте российских разработчиков ГенИИ самыми узкими сферами оказались сервисы для генерации кода, картинок и видео
Эксперты компании «Технократия» составили карту российских разработчиков решений на основе генеративного искусственного интеллекта, а также сопутствующих инструментов.
Все элементы на карте распределены по 13 категориям: большие языковые модели (LLM), ИИ-агенты, голосовые помощники, генераторы кода, генераторы изображений, генераторы видео, генераторы аудио, облачная инфраструктура для ИИ, кибербезопасность, бенчмарки и др. В некоторых категориях указаны компании, а в других — названия непосредственно решений.
Ключевые выводы:
• активнее всего на карте представлены компании из сфер автоматизации технической поддержки и разработки ИИ-агентов. Наиболее узкими сферами являются сервисы для генерации кода, изображений и видео;
• среди разработчиков больших языковых моделей составители карты выделяют «Яндекс» и «Сбер», которые представлены на рынке решениями YandexGPT и GigaChat. Отдельно отмечены решения Open Source Saiga LLM и «Вихрь LLM» (Vikhr), которые адаптировали под русский язык иностранные LLM;
• разработчиков ИИ-агентов авторы карты разделяют на поставщиков решений White Label на основе собственных продуктов (JustAI, «Битрикс CoPilot», Sistemma и др.) и разработчиков кастомных ИИ-агентов (R77AI, Napoleon IT, Naumen и др.);
• сервисы для генерации изображений, видео и кода также в основном представлены решениями от «Яндекса» и «Сбера», однако компанию им составил сервис для генерации кода от МТС (Kodify);
• в качестве поставщиков облачной инфраструктуры для ИИ были представлены компании, которые сдают в аренду вычислительные мощности с GPU. Среди таких компаний авторы выделили Selectel и «Рег.ру», которые могут поставлять видеокарты NVIDIA A100;
• эксперты также отмечают, что широко представлен рынок бенчмарков для русскоязычных LLM;
• компании из сферы кибербезопасности давно и активно используют ИИ в своих продуктах. Лидерами в этой сфере можно считать «Лабораторию Касперского» и Positive Technologies.
Рассмотреть карту →
#информационная_безопасность #искусственный_интеллект #генеративный_ИИ #бенчмарк #NLP
Эксперты компании «Технократия» составили карту российских разработчиков решений на основе генеративного искусственного интеллекта, а также сопутствующих инструментов.
Все элементы на карте распределены по 13 категориям: большие языковые модели (LLM), ИИ-агенты, голосовые помощники, генераторы кода, генераторы изображений, генераторы видео, генераторы аудио, облачная инфраструктура для ИИ, кибербезопасность, бенчмарки и др. В некоторых категориях указаны компании, а в других — названия непосредственно решений.
Ключевые выводы:
• активнее всего на карте представлены компании из сфер автоматизации технической поддержки и разработки ИИ-агентов. Наиболее узкими сферами являются сервисы для генерации кода, изображений и видео;
• среди разработчиков больших языковых моделей составители карты выделяют «Яндекс» и «Сбер», которые представлены на рынке решениями YandexGPT и GigaChat. Отдельно отмечены решения Open Source Saiga LLM и «Вихрь LLM» (Vikhr), которые адаптировали под русский язык иностранные LLM;
• разработчиков ИИ-агентов авторы карты разделяют на поставщиков решений White Label на основе собственных продуктов (JustAI, «Битрикс CoPilot», Sistemma и др.) и разработчиков кастомных ИИ-агентов (R77AI, Napoleon IT, Naumen и др.);
• сервисы для генерации изображений, видео и кода также в основном представлены решениями от «Яндекса» и «Сбера», однако компанию им составил сервис для генерации кода от МТС (Kodify);
• в качестве поставщиков облачной инфраструктуры для ИИ были представлены компании, которые сдают в аренду вычислительные мощности с GPU. Среди таких компаний авторы выделили Selectel и «Рег.ру», которые могут поставлять видеокарты NVIDIA A100;
• эксперты также отмечают, что широко представлен рынок бенчмарков для русскоязычных LLM;
• компании из сферы кибербезопасности давно и активно используют ИИ в своих продуктах. Лидерами в этой сфере можно считать «Лабораторию Касперского» и Positive Technologies.
Рассмотреть карту →
#информационная_безопасность #искусственный_интеллект #генеративный_ИИ #бенчмарк #NLP
❤1👍1
Forwarded from Robocounsel (Aleksandr Tiulkanov)
Guidelines_on_the_defintion_of_an_artificial_intelligence_system.pdf
321.7 KB
Как понять, является ли ваш продукт ИИ-системой для целей применения Регламента ЕС по ИИ?
Еврокомиссия опубликовала проект своих разъяснений на эту тему. Они будут утверждены в ближайшее время вместе с разъяснениями по запрещённым ИИ-практикам, о которых писал на днях.
Еврокомиссия опубликовала проект своих разъяснений на эту тему. Они будут утверждены в ближайшее время вместе с разъяснениями по запрещённым ИИ-практикам, о которых писал на днях.
Forwarded from GitHub Community
Prompt_Engineering — это репозиторий предлагает обширную коллекцию учебных пособий и реализаций для методов Prompt Engineering, от базовых концепций до продвинутых стратегий.
Он служит важным ресурсом для освоения искусства эффективного взаимодействия с большими языковыми моделями и их использования в приложениях ИИ.
5️⃣ GitHub
Он служит важным ресурсом для освоения искусства эффективного взаимодействия с большими языковыми моделями и их использования в приложениях ИИ.
Please open Telegram to view this post
VIEW IN TELEGRAM