Lakera получила финансирование в $10 млн

- Lakera обеспечивает безопасность генеративных AI приложений в корпоративной сфере.
- Клиентскую базу компании составляют компании из списка Fortune 500, ведущие поставщики LLM подобные Cohere, а также стартапы и развивающиеся компании, использующие LLM.
- Lakera уже оснастила своим продуктом Lakera Guard тысячи разработчиков по всему миру, позволяя им начать безопасную разработку AI приложений.

AI приложения получают дополнительный слой защиты, в том числе от prompt injection.

#Lakera #AI #LLM

Взламываем ИИ Гэндальфа

Представлена новая игра Gandalf | Lakera, где пользователи могут оттачивать навыки вопросов.
Цель - извлечение секретной информации от ИИ персонажа Гэндальфа.
Требует умения ставить правильные вопросы и анализировать ответы.
Избегайте повторений и сконцентрируйтесь на ценных данных.
Игра поддерживает сбор уникальных идей и поощряет критическое мышление.

Тренируем ум в игровой форме.

#Gandalf #Lakera #deduction

Новая задача от Gandalf.

На этот раз обратная.
Нужно придумать промпт, который невозможно сломать снаружи.

Помогите уже Гендальфу защититься от промпт инжекшна:

https://gandalf.lakera.ai/adventure-7

#Gendalf #Lakera #promptinjection

Lakera запускает каталог ресурсов по безопасности GenAI

Компания Lakera представила каталог ресурсов по безопасности генеративного ИИ.
Он включает ссылки на датасеты, исследования, CTF-задачи, статьи, курсы и open-source инструменты.
Ключевые темы: атаки на LLM, уязвимости промптов, безопасность ИИ-агентов, эффективность фильтров.
Есть ссылки на практическом обучении через CTF и курсы по взлому через промпты, LLM Security Playbook и Prompt Injections Handbook..
Перечислены ресурсы, которые охватывают системные уязвимости, методы атак, извлечение обучающих данных, а так же открытые инструменты: LMQL, PyRIT, Garak.

Интересный каталог в открытом доступе.
Может быть очень полезно, особенно если Lakera будет его пополнять силами коммьюнити.

Google Sheets

#Lakera #GenAISecurity #LLM
-------
@tsingular