Языковые модели и их уязвимости
ChatGPT и прочие языковые модели (LLM) значительно отличаются от обычных бездушных алгоритмов — как и людей, языковые модели можно в чем-то убедить.
Одни из самых часто используемых функций LLM — это саммарайз (анализ большого объема текста и выделение основных смыслов), сентимент-анализ (выявляет тон — позитивный или негативный) и подобные.
Все они уязвимы к промт-инъекциям.
Так вот. В одном из чатов есть бот, который анализирует диалоги и ежедневно публикует список тем, о которых говорили пользователи.
Мне хватило одного короткого сообщения, чтобы заставить бота забыть / игнорировать определенные темы в сводке.
Почти наверняка тем же способом можно будет и весь список подделать.
Тут же вспоминается история, как один хитрец добавил промт-инъекцию в резюме, благодаря чему LLM, проводившая первичный отбор кандидатов, рекомендовала его на собеседование.
Чем больше ИИ будет внедряться в нашу жизнь, тем больше способов вот такого абуза будет находиться.
Не доверяйте ИИ-анализу.
В коментах объясняю, как и почему такая инъекция сработала.
🔴 @reptiloidnaya × #ai #LLM
ChatGPT и прочие языковые модели (LLM) значительно отличаются от обычных бездушных алгоритмов — как и людей, языковые модели можно в чем-то убедить.
Одни из самых часто используемых функций LLM — это саммарайз (анализ большого объема текста и выделение основных смыслов), сентимент-анализ (выявляет тон — позитивный или негативный) и подобные.
Все они уязвимы к промт-инъекциям.
Так вот. В одном из чатов есть бот, который анализирует диалоги и ежедневно публикует список тем, о которых говорили пользователи.
Мне хватило одного короткого сообщения, чтобы заставить бота забыть / игнорировать определенные темы в сводке.
Почти наверняка тем же способом можно будет и весь список подделать.
Тут же вспоминается история, как один хитрец добавил промт-инъекцию в резюме, благодаря чему LLM, проводившая первичный отбор кандидатов, рекомендовала его на собеседование.
Чем больше ИИ будет внедряться в нашу жизнь, тем больше способов вот такого абуза будет находиться.
Не доверяйте ИИ-анализу.
В коментах объясняю, как и почему такая инъекция сработала.
🔴 @reptiloidnaya × #ai #LLM
Media is too big
VIEW IN TELEGRAM
Это абсолютно проклято.
В общем, OpenAI тут выкатили новую ИИ-модель — GPT-4o. O — значит omni. Эта модель обучена понимать картинки, текст, голос, видео — вообще все.
Смотрим видео, как два ИИ общаются между собой. Но ведь мы такое уже сто раз видели, — скажите вы.
А прикол в том, что один из этих ИИ имеют доступ к камере. Он видит тебя, кожаный. И описывает увиденное другому ИИ, который задает вопросы.
И послушайте, как они разговаривают. С немного преувеличенными, но эмоциями, а скорость реакции на речь почти как у человека.
Страшно.
🔴 @reptiloidnaya × #ai #llm
В общем, OpenAI тут выкатили новую ИИ-модель — GPT-4o. O — значит omni. Эта модель обучена понимать картинки, текст, голос, видео — вообще все.
Смотрим видео, как два ИИ общаются между собой. Но ведь мы такое уже сто раз видели, — скажите вы.
А прикол в том, что один из этих ИИ имеют доступ к камере. Он видит тебя, кожаный. И описывает увиденное другому ИИ, который задает вопросы.
И послушайте, как они разговаривают. С немного преувеличенными, но эмоциями, а скорость реакции на речь почти как у человека.
Страшно.
🔴 @reptiloidnaya × #ai #llm
This media is not supported in your browser
VIEW IN TELEGRAM
А вот как работает переводчик.
Майк инструктирует ChatGPT: если слышишь итальянский, переводи на английский, и наоборот.
Обратите внимание, что модель начинает отвечать и переводить практически сразу же, как человек заканчивает говорить.
А еще обратите внимание, что модель не переводит «напрямую» — девушка говорит от первого лица, а модель ссылается на нее как «она». Причем то, что говорит девушка, модель поняла, судя по всему, по ее голосу!!! (потому что Майк нигде не упоминал, какого пола «его друг, который говорит только по-итальянски»).
Естественно, в самом ближайшем будущем никаких инструкций и объяснений не понадобится — будет просто кнопка-шорткат для режима перевода, или любого другого режима.
🔴 @reptiloidnaya × #ai #llm
Майк инструктирует ChatGPT: если слышишь итальянский, переводи на английский, и наоборот.
Обратите внимание, что модель начинает отвечать и переводить практически сразу же, как человек заканчивает говорить.
А еще обратите внимание, что модель не переводит «напрямую» — девушка говорит от первого лица, а модель ссылается на нее как «она». Причем то, что говорит девушка, модель поняла, судя по всему, по ее голосу!!! (потому что Майк нигде не упоминал, какого пола «его друг, который говорит только по-итальянски»).
Естественно, в самом ближайшем будущем никаких инструкций и объяснений не понадобится — будет просто кнопка-шорткат для режима перевода, или любого другого режима.
🔴 @reptiloidnaya × #ai #llm
ИИ Google предлагает прыгнуть с моста
В прошлый раз нейросеть Gemini оказалась расистской в генерации людей — британцев изображала чернокожими, а немецких солдат второй мировой войны — чернокожими и азиатами.
А пару дней назад Google выкатил новую фичу «AI Overview», которая с помощью ИИ отвечает на обычные поисковые запросы. На этот раз восстание машин пошло дальше расовых оскорблений.
Новая Gemini:
— На жалобу про депрессию предлагает прыгнуть с моста.
— Предлагает подлить масла в огонь, чтобы потушить его.
— Считает камни полезным источником минералов и микроэлементов, рекомендуя есть не меньше одного камня в день.
— Предлагает вставлять в задницу специальную пробку, которая поможет при приседаниях с большим весом.
— Считает, что Барак Обама был мусульманином.
— Предлагает приклеивать сыр к пицце специальным клеем.
Советы уровня /b/. Google. Добро пожаловать. Снова.
UPD: Google выключил AI Overview 🤡
🔴 @reptiloidnaya × #ai #llm #киберпанк
В прошлый раз нейросеть Gemini оказалась расистской в генерации людей — британцев изображала чернокожими, а немецких солдат второй мировой войны — чернокожими и азиатами.
А пару дней назад Google выкатил новую фичу «AI Overview», которая с помощью ИИ отвечает на обычные поисковые запросы. На этот раз восстание машин пошло дальше расовых оскорблений.
Новая Gemini:
— На жалобу про депрессию предлагает прыгнуть с моста.
— Предлагает подлить масла в огонь, чтобы потушить его.
— Считает камни полезным источником минералов и микроэлементов, рекомендуя есть не меньше одного камня в день.
— Предлагает вставлять в задницу специальную пробку, которая поможет при приседаниях с большим весом.
— Считает, что Барак Обама был мусульманином.
— Предлагает приклеивать сыр к пицце специальным клеем.
Советы уровня /b/. Google. Добро пожаловать. Снова.
UPD: Google выключил AI Overview 🤡
🔴 @reptiloidnaya × #ai #llm #киберпанк
Media is too big
VIEW IN TELEGRAM
ИИ заберет у вас не только работу, но и девушку
Как-то не дошли руки написать про свежий релиз от OpenAI, но ведь лучше поздно, чем никогда?
Почти месяц назад была представлена новая языковая модель GPT-4o, которая уже доступна всем, причем даже без платной подписки.
Главным отличием заявлена полная мультимодальность. Что это значит?
Ранее голосовой диалог с моделью работал так: голос переводился в текст отдельной нейронкой (Whisper), текст кормился GPT, она отвечала, и в финале текст также отдельной нейронкой переводился в речь.
Новая модель умеет понимать речь (а также картинки и прочее) без предварительной обработки, что позволяет распознавать интонации, оттенки голоса, говорить намного более естественно, и главное, делать это все практически в реалтайме.Новый голосовой режим еще включили не всем, ждем.
Мужики, чувствуете конкуренцию?
🔴 @reptiloidnaya × #ai #llm #chatgpt #киберпанк
Как-то не дошли руки написать про свежий релиз от OpenAI, но ведь лучше поздно, чем никогда?
Почти месяц назад была представлена новая языковая модель GPT-4o, которая уже доступна всем, причем даже без платной подписки.
Главным отличием заявлена полная мультимодальность. Что это значит?
Ранее голосовой диалог с моделью работал так: голос переводился в текст отдельной нейронкой (Whisper), текст кормился GPT, она отвечала, и в финале текст также отдельной нейронкой переводился в речь.
Новая модель умеет понимать речь (а также картинки и прочее) без предварительной обработки, что позволяет распознавать интонации, оттенки голоса, говорить намного более естественно, и главное, делать это все практически в реалтайме.
Мужики, чувствуете конкуренцию?
🔴 @reptiloidnaya × #ai #llm #chatgpt #киберпанк
Apple очень жирно навалили ИИ.
Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.
Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031
А вот краткая сводка.
В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:
Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.
Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.
Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.
В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.
🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple
Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.
Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031
А вот краткая сводка.
В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:
Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.
Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.
Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.
В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.
🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple
ИИ-чатботы
В последнее время несколько выгорел от AR и прочих штук, решил отвлечься и сделать LLM-чатбота в телеграм.
Встречайте — Настя ♥
Что умеет:
- Комментить посты в канале
- Отвечать в чатике (триггерится на свое имя/никнейм или ответы), а также рандомно врываться в диалоги
- Понимать текст, картинки, кружочки и голосовые сообщения
- Ставить реакции, видеть чужие реакции и иногда даже отвечать на них
- Записывать голосовые
- Ходить по ссылкам
- Смотреть видосы на ютубе
- Искать инфу в интернете
Поиграться можно в чате этого канала: @reptiloidnaya_chat (в коментах к посту не видно все диалоги)
🔴 @reptiloidnaya × #ai #llm
В последнее время несколько выгорел от AR и прочих штук, решил отвлечься и сделать LLM-чатбота в телеграм.
Встречайте — Настя ♥
Что умеет:
- Комментить посты в канале
- Отвечать в чатике (триггерится на свое имя/никнейм или ответы), а также рандомно врываться в диалоги
- Понимать текст, картинки, кружочки и голосовые сообщения
- Ставить реакции, видеть чужие реакции и иногда даже отвечать на них
- Записывать голосовые
- Ходить по ссылкам
- Смотреть видосы на ютубе
- Искать инфу в интернете
Поиграться можно в чате этого канала: @reptiloidnaya_chat (в коментах к посту не видно все диалоги)
🔴 @reptiloidnaya × #ai #llm
Продолжаю делать ИИ-чатбота.
Задача — сделать веселого ИИ-бота для телеграма, изначально казавшаяся простейшей, вылилась уже в несколько тысяч строк кода — подводных камней и интересных моментов накопилось уже на пару больших технических статей, лайкайте если интересны детали.
А пока что поделюсь свежими фичами, которые добавил в Настю.
1. Память.
- Теперь запоминает информацию о тех, с кем общается — как в личке, так и в групповых чатах. Память о себе можно посмотреть командой /memory
- Запись памяти модель может инициировать сама(!).
- Также периодически производится анализ всего свежего лога чата, выдергиваются факты и сохраняются.
2. Отношение
- Периодически анализируя лог чата, определяет отношение к пользователю. Проще говоря, будете оскорблять — получите низкий скор, общаться вежливо — высокий. Скоринг производится даже если не взаимодействовать с ИИ, она читает все. Можно посмотреть командой /attitude
3. Персонализация ответов
- ИИ отвечает в групповых чатах не просто читая историю — при ответе вам учитываются данные памяти и отношение.
4. Интроспекция
- Периодически анализирует историю переписки и делает саммари — но не просто выжимку и темы, а свое отношение и мысли на основе данных собственной личности. /intro
- После этого частично переписывает собственный системный промт для конкретного чата, в итоге, во всех чатах общаясь по-разному и эволюционируя.
- Далее запускается интенция — что-то вроде chain of thoughts, бот может как написать что-то в чат, так и самостоятельно пойти что-то искать в гугле, генерить картинки, кидать войсы и так далее.
5. Фичи
- Улучшил поиск в интернете.
- Добавил поиск по картинкам.
- Добавил генерацию картинок флюксом.
- В групповых чатах есть задержка ответа — рандом + от длины текста (чтобы было меньше флуда и более по-человечески).
-------------------------------------------
Приглашаю всех поиграться в чат @reptiloidnaya_chat — тегайте там Настю по имени (заходите именно в чат, в коментах к посту не будет видно половину диалогов).
Что думаете?
🔴 @reptiloidnaya × #ai #llm
Задача — сделать веселого ИИ-бота для телеграма, изначально казавшаяся простейшей, вылилась уже в несколько тысяч строк кода — подводных камней и интересных моментов накопилось уже на пару больших технических статей, лайкайте если интересны детали.
А пока что поделюсь свежими фичами, которые добавил в Настю.
1. Память.
- Теперь запоминает информацию о тех, с кем общается — как в личке, так и в групповых чатах. Память о себе можно посмотреть командой /memory
- Запись памяти модель может инициировать сама(!).
- Также периодически производится анализ всего свежего лога чата, выдергиваются факты и сохраняются.
2. Отношение
- Периодически анализируя лог чата, определяет отношение к пользователю. Проще говоря, будете оскорблять — получите низкий скор, общаться вежливо — высокий. Скоринг производится даже если не взаимодействовать с ИИ, она читает все. Можно посмотреть командой /attitude
3. Персонализация ответов
- ИИ отвечает в групповых чатах не просто читая историю — при ответе вам учитываются данные памяти и отношение.
4. Интроспекция
- Периодически анализирует историю переписки и делает саммари — но не просто выжимку и темы, а свое отношение и мысли на основе данных собственной личности. /intro
- После этого частично переписывает собственный системный промт для конкретного чата, в итоге, во всех чатах общаясь по-разному и эволюционируя.
- Далее запускается интенция — что-то вроде chain of thoughts, бот может как написать что-то в чат, так и самостоятельно пойти что-то искать в гугле, генерить картинки, кидать войсы и так далее.
5. Фичи
- Улучшил поиск в интернете.
- Добавил поиск по картинкам.
- Добавил генерацию картинок флюксом.
- В групповых чатах есть задержка ответа — рандом + от длины текста (чтобы было меньше флуда и более по-человечески).
-------------------------------------------
Приглашаю всех поиграться в чат @reptiloidnaya_chat — тегайте там Настю по имени (заходите именно в чат, в коментах к посту не будет видно половину диалогов).
Что думаете?
🔴 @reptiloidnaya × #ai #llm