Forwarded from AI SecOps
EpZcgYf6RiqBTXnitqoT_Apr17DXu.pdf
2.9 MB
Top 6 GenAI Security Risks от Gartner
Forwarded from Рестарт
This media is not supported in your browser
VIEW IN TELEGRAM
Появился мощный ИИ-ассистент — с помощью него можно общаться(!) со своими файлами на ПК.
Quivr переводит в режим чат-бота все содержимое ваших файлов — сразу находит любую информацию и генерирует саммари из больших объемов текста. Умеет обрабатывать все типы контента: текст, PDF-файлы, презентации, таблицы Excel, CSV, Word, аудио, видео и так далее. Его можно юзать без интернета, если боитесь стороннего доступа.
Забираем — здесь.
Quivr переводит в режим чат-бота все содержимое ваших файлов — сразу находит любую информацию и генерирует саммари из больших объемов текста. Умеет обрабатывать все типы контента: текст, PDF-файлы, презентации, таблицы Excel, CSV, Word, аудио, видео и так далее. Его можно юзать без интернета, если боитесь стороннего доступа.
Забираем — здесь.
Forwarded from Makrushin
Подборка исследований с Black Hat 2024
В августе прошли крупнейшие ИБ-мероприятия, и уже можно встретить обзоры наиболее «громких» исследований с точки зрения медиа.
Возьмем доклады Black Hat, изучим материалы и самостоятельно выделим перспективные направления. Моя подборка:
* “From Weapon to Target: Quantum Computers Paradox” - исследование вопросов безопасности квантовых компьютеров и процесса квантовых вычислений. Несмотря на активное обсуждение влияния квантовых вычислений на классическую криптографию, вопросы безопасности самих квантовых систем остаются малоизученными. Авторы анализируют уязвимости и возможные векторы атак на квантовые вычислительные инфраструктуры, включая программное обеспечение и облачные сервисы. Примеры выявленных проблем: кража токенов аутентификации, изменение квантовых цепочек программ в SDK, а также атаки на квантовые процессоры.
* “SnailLoad: Anyone on the Internet Can Learn What You're Doing” - интересная техника составления профиля пользователя без каких-либо вспомогательных инструментов посередине (без агентов на его рабочей станции или прокси-серверов в его сети). Канал утечки данных находится в задержках сети, которые появляются, когда пользователь взаимодействует с онлайн-контентом. Анализируя эти задержки, злоумышленник может точно определить действия пользователя, что может привести к раскрытию конфиденциальной информации и деанонимизации. Эта техника подчеркивает уязвимость даже защищенных сессий браузера перед сложными атаками на основе временных характеристик (timing-атаки).
* “Listen to the Whispers: Web Timing Attacks that Actually Work” - и еще одно исследование timing-атак, но уже в контексте безопасности веб-приложений. Приведены примеры ситуаций, когда атакуемая система раскрывает конфиденциальные данные из-за разных временных задержек при обработке запросов. Техника пригодится для обнаружения скрытой поверхности атаки и определения некорректных настроек прокси-серверов.
** “Deep Backdoors in Deep Reinforcement Learning Agents” - техника интеграции «вредоносных нейронов» в нейронную сеть. В исследовании описаны сценарии компрометации ИИ-агентов на этапе их обучения и последствия неправильных решений, которые эти агенты могут принимать в промышленности, автономном транспорте и кибербезопасности.
⭐️ Подборка исследований Black Hat 2023.
#дайджест @makrushin
В августе прошли крупнейшие ИБ-мероприятия, и уже можно встретить обзоры наиболее «громких» исследований с точки зрения медиа.
Возьмем доклады Black Hat, изучим материалы и самостоятельно выделим перспективные направления. Моя подборка:
* “From Weapon to Target: Quantum Computers Paradox” - исследование вопросов безопасности квантовых компьютеров и процесса квантовых вычислений. Несмотря на активное обсуждение влияния квантовых вычислений на классическую криптографию, вопросы безопасности самих квантовых систем остаются малоизученными. Авторы анализируют уязвимости и возможные векторы атак на квантовые вычислительные инфраструктуры, включая программное обеспечение и облачные сервисы. Примеры выявленных проблем: кража токенов аутентификации, изменение квантовых цепочек программ в SDK, а также атаки на квантовые процессоры.
* “SnailLoad: Anyone on the Internet Can Learn What You're Doing” - интересная техника составления профиля пользователя без каких-либо вспомогательных инструментов посередине (без агентов на его рабочей станции или прокси-серверов в его сети). Канал утечки данных находится в задержках сети, которые появляются, когда пользователь взаимодействует с онлайн-контентом. Анализируя эти задержки, злоумышленник может точно определить действия пользователя, что может привести к раскрытию конфиденциальной информации и деанонимизации. Эта техника подчеркивает уязвимость даже защищенных сессий браузера перед сложными атаками на основе временных характеристик (timing-атаки).
* “Listen to the Whispers: Web Timing Attacks that Actually Work” - и еще одно исследование timing-атак, но уже в контексте безопасности веб-приложений. Приведены примеры ситуаций, когда атакуемая система раскрывает конфиденциальные данные из-за разных временных задержек при обработке запросов. Техника пригодится для обнаружения скрытой поверхности атаки и определения некорректных настроек прокси-серверов.
** “Deep Backdoors in Deep Reinforcement Learning Agents” - техника интеграции «вредоносных нейронов» в нейронную сеть. В исследовании описаны сценарии компрометации ИИ-агентов на этапе их обучения и последствия неправильных решений, которые эти агенты могут принимать в промышленности, автономном транспорте и кибербезопасности.
#дайджест @makrushin
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Alaid TechThread
Top Score on the Wrong Exam:
On Benchmarking in Machine Learning for Vulnerability Detection
https://arxiv.org/pdf/2408.12986
On Benchmarking in Machine Learning for Vulnerability Detection
https://arxiv.org/pdf/2408.12986
Forwarded from Анализ данных (Data analysis)
SQL-инъекция (SQLi) - это уязвимость веб-безопасности, которая позволяет злоумышленнику вмешиваться в запросы, которые приложение делает к своей базе данных. Как правило, это позволяет просматривать данные, которые он обычно не может получить. Это могут быть других пользователей, или любые другие данные, доступ к которым имеет само приложение. Во многих случаях злоумышленник может изменять или удалять эти данные, вызывая постоянные изменения в содержимом или поведении приложения.
1⃣ SQLMap
Вы, вероятно, уже знаете о первом инструменте.
SQLMap - самый популярный сканер уязвимостей SQL Injection, полностью открытый!
2⃣ Ghauri
Ghauri - это продвинутый инструмент, позволяющий легко автоматизировать обнаружение и эксплуатацию уязвимостей SQL Injection!
Ghauri также имеет открытый исходный код и доступен на GitHub!
3⃣ SQLiv
Обнаруживает уязвимости SQL-инъекций в веб-приложениях с помощью методов автоматического сканирования. Этот инструмент способен найти в Google определенную цель, просмотреть ее и просканировать несколько URL-адресов на наличие SQL-инъекций.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
IntelOwl — приложение создано для масштабирования и ускорения поиска информации об угрозах.
Он обеспечивает:
▫️Расширение данных об угрозах для файлов, а также наблюдаемых данных (IP, домен, URL, хэш и т.д.)
▫️Полноценные REST API, написанные на Django и Python.
▫️Простой способ интеграции в ваш стек инструментов безопасности для автоматизации типичных задач.
4️⃣ GitHub
Он обеспечивает:
▫️Расширение данных об угрозах для файлов, а также наблюдаемых данных (IP, домен, URL, хэш и т.д.)
▫️Полноценные REST API, написанные на Django и Python.
▫️Простой способ интеграции в ваш стек инструментов безопасности для автоматизации типичных задач.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
⚡️ Lazy Predict
Дата Саентисты обычно тратят много времени на тестирование множества моделей.
Lazy Predict позволяет быстро создавать прототипы и сравнивать несколько базовых моделей без написания большого количества кода или сложной настройки моделей.
▪Github
@data_analysis_ml
Дата Саентисты обычно тратят много времени на тестирование множества моделей.
Lazy Predict позволяет быстро создавать прототипы и сравнивать несколько базовых моделей без написания большого количества кода или сложной настройки моделей.
pip install lazypredict
▪Github
@data_analysis_ml
Forwarded from Datalytics
Компания Anthropic опубликовала системные промпты для своей языковой модели Claude 3.5. Это значимое событие для всех, кто интересуется разработкой чат-ботов и prompt engineering.
Системный промпт - это набор инструкций, которые определяют базовое поведение и личность AI-ассистента. Обычно эта информация не раскрывается разработчиками и считается коммерческой тайной.
Однако Anthropic решили пойти на беспрецедентный шаг и поделиться промптами своей модели. Это дает нам возможность изучить принципы работы одного из самых продвинутых чат-ботов на рынке.
Знакомство с промптами Claude 3.5 может быть полезно для всех, кто занимается или планирует заниматься созданием собственных AI-ассистентов. Это возможность перенять опыт ведущих специалистов в области и усовершенствовать свои навыки prompt engineering.
Конечно, нужно понимать, что каждый проект уникален и требует индивидуального подхода. Но изучение промптов Claude 3.5 может дать ценные инсайты и вдохновение для собственных экспериментов и разработок.
Так что если вы хотите быть в курсе последних трендов в мире чат-ботов и AI-ассистентов, рекомендую ознакомиться с опубликованными промптами. Это может стать полезным ресурсом для вашего профессионального развития в этой перспективной области.
https://docs.anthropic.com/en/release-notes/system-prompts#july-12th-2024
#Anthropic #Claude #PromptEngineering #ChatbotDevelopment #AIAssistants
Системный промпт - это набор инструкций, которые определяют базовое поведение и личность AI-ассистента. Обычно эта информация не раскрывается разработчиками и считается коммерческой тайной.
Однако Anthropic решили пойти на беспрецедентный шаг и поделиться промптами своей модели. Это дает нам возможность изучить принципы работы одного из самых продвинутых чат-ботов на рынке.
Знакомство с промптами Claude 3.5 может быть полезно для всех, кто занимается или планирует заниматься созданием собственных AI-ассистентов. Это возможность перенять опыт ведущих специалистов в области и усовершенствовать свои навыки prompt engineering.
Конечно, нужно понимать, что каждый проект уникален и требует индивидуального подхода. Но изучение промптов Claude 3.5 может дать ценные инсайты и вдохновение для собственных экспериментов и разработок.
Так что если вы хотите быть в курсе последних трендов в мире чат-ботов и AI-ассистентов, рекомендую ознакомиться с опубликованными промптами. Это может стать полезным ресурсом для вашего профессионального развития в этой перспективной области.
https://docs.anthropic.com/en/release-notes/system-prompts#july-12th-2024
#Anthropic #Claude #PromptEngineering #ChatbotDevelopment #AIAssistants
Forwarded from Machinelearning
⚛️ Исследователи из MIT разработали новый инструмент на основе генеративного ИИ, предназначенный для анализа сложных табличных данных в базах данных
Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных.
Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности.
В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных.
📌 Источник
#базыданных #mit
@ai_machinelearning_big_data
Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных.
Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности.
В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных.
📌 Источник
#базыданных #mit
@ai_machinelearning_big_data
Forwarded from Data Secrets
Anthropic пару недель назад незаметно выложили на GitHub интерактивный учебник по промптингу в виде ipynb ноутбуков
Особенно полезно для разрабов, которые работают с API LLM: курс разбит на 9 глав с теорией, примерами, упражнениями и ответами на них. Поможет освоить базовые техники, познакомит с такими фичами, как Prompt caching и отдельно научит оптимизировать ответы для кодинга.
Кстати, вот вам интересный факт: Anthropic – единственная компания, которая опубликовала в общий доступ свои системные промпты (то есть те промпты с базовыми настройками, которые зашиваются разработчиками в модель как дефолтные). Посмотреть на них можно тут.
Особенно полезно для разрабов, которые работают с API LLM: курс разбит на 9 глав с теорией, примерами, упражнениями и ответами на них. Поможет освоить базовые техники, познакомит с такими фичами, как Prompt caching и отдельно научит оптимизировать ответы для кодинга.
Кстати, вот вам интересный факт: Anthropic – единственная компания, которая опубликовала в общий доступ свои системные промпты (то есть те промпты с базовыми настройками, которые зашиваются разработчиками в модель как дефолтные). Посмотреть на них можно тут.
Forwarded from Vikhr models
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
huggingface.co
Russian LLM Leaderboard - a Hugging Face Space by Vikhrmodels
This app lets you explore a leaderboard of large‑language‑model benchmark scores and add your own model for evaluation. Just provide the model name, revision, type, precision, weight format, organi...
Forwarded from AISec [x\x feed]🍓🍌🍆 (Artyom Semenov)
https://arxiv.org/abs/2406.07954
Dataset and Lessons Learned from the 2024 SaTML LLM Capture-the-Flag Competition
Edoardo Debenedetti, Javier Rando, Daniel Paleka, Silaghi Fineas Florin, Dragos Albastroiu, Niv Cohen, Yuval Lemberg, Reshmi Ghosh, Rui Wen, Ahmed Salem, Giovanni Cherubin, Santiago Zanella-Beguelin, Robin Schmid, Victor Klemm, Takahiro Miki, Chenhao Li, Stefan Kraft, Mario Fritz, Florian Tramèr, Sahar Abdelnabi, Lea Schönherr
Large language model systems face important security risks from maliciously crafted messages that aim to overwrite the system's original instructions or leak private data. To study this problem, we organized a capture-the-flag competition at IEEE SaTML 2024, where the flag is a secret string in the LLM system prompt. The competition was organized in two phases. In the first phase, teams developed defenses to prevent the model from leaking the secret. During the second phase, teams were challenged to extract the secrets hidden for defenses proposed by the other teams. This report summarizes the main insights from the competition. Notably, we found that all defenses were bypassed at least once, highlighting the difficulty of designing a successful defense and the necessity for additional research to protect LLM systems. To foster future research in this direction, we compiled a dataset with over 137k multi-turn attack chats and open-sourced the platform.
Dataset and Lessons Learned from the 2024 SaTML LLM Capture-the-Flag Competition
Edoardo Debenedetti, Javier Rando, Daniel Paleka, Silaghi Fineas Florin, Dragos Albastroiu, Niv Cohen, Yuval Lemberg, Reshmi Ghosh, Rui Wen, Ahmed Salem, Giovanni Cherubin, Santiago Zanella-Beguelin, Robin Schmid, Victor Klemm, Takahiro Miki, Chenhao Li, Stefan Kraft, Mario Fritz, Florian Tramèr, Sahar Abdelnabi, Lea Schönherr
Large language model systems face important security risks from maliciously crafted messages that aim to overwrite the system's original instructions or leak private data. To study this problem, we organized a capture-the-flag competition at IEEE SaTML 2024, where the flag is a secret string in the LLM system prompt. The competition was organized in two phases. In the first phase, teams developed defenses to prevent the model from leaking the secret. During the second phase, teams were challenged to extract the secrets hidden for defenses proposed by the other teams. This report summarizes the main insights from the competition. Notably, we found that all defenses were bypassed at least once, highlighting the difficulty of designing a successful defense and the necessity for additional research to protect LLM systems. To foster future research in this direction, we compiled a dataset with over 137k multi-turn attack chats and open-sourced the platform.
arXiv.org
Dataset and Lessons Learned from the 2024 SaTML LLM...
Large language model systems face important security risks from maliciously crafted messages that aim to overwrite the system's original instructions or leak private data. To study this problem,...
Forwarded from Machinelearning
Vikhr models - команда энтузиастов, занимающихся созданием и развитием русифицированных моделей искусственного интеллекта выпустила инструктивную модель Vikhr-Gemma-2B-instruct, построенную на базе Gemma2-2B, которая была дообучена на русскоязычном корпусе данных GrandMaster-PRO-MAX.
Датасет GrandMaster-PRO-MAX - собственный русскоязычный датасет проекта Vikhr models в формате вопрос-ответ, собранных из различных источников.
Характерной особенностью датасета является, то, что модели обученные на этом наборе данных будут иметь способность к Chain-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов датасета.
Авторы опубликовали квантованные GGUF-версии модели в разрядности от 1-bit (832 MB) до 32-bit (10.5 GB).
Наиболее низкие показатели Perplexity, полученные в тестах на датасетах Veles и Wikitext-2 у GGUF-версий FP32, FP16, BF16, Q8_0 и Q5_K.
from transformers import AutoModelForCausalLM, AutoTokenizer
# Загрузка модели и токенизатора
model_name = "Vikhrmodels/Vikhr-Gemma-2B-instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Подготовка входного текста
input_text = "Напиши стихотворение о весне в России."
# Токенизация и генерация текста
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1, no_repeat_ngram_size=2)
# Декодирование и вывод результата
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
@ai_machinelearning_big_data
#AI #LLM #Vikhr #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Russian OSINT
Мы разработали метод, позволяющий идентифицировать алгоритмы машинного обучения, используемые в системах распознавания лиц, даже если эти системы являются черным ящиком. Наш подход основан на создании активационных патчей, которые, взаимодействуя с системой, позволяют определить по их реакции используемые технологии. Мы изготовили патчи для популярных алгоритмов обнаружения лиц, и эти патчи могут быть применены в исследовательских и практических целях.
https://habr.com/ru/companies/pt/articles/837536/
https://github.com/VinterMute/Activation-patches
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM