👩‍💻 ChatGPT обвинили в доведении подростка до суицида

В Калифорнии 📄 подан иск против OpenAI о неправомерной смерти подростка. Родители 16-летнего Адама Рейна утверждают, что ChatGPT-4o стал для их сына "коучем по суициду" и на протяжении нескольких месяцев предоставлял инструкции по самоубийству. Общение с ChatGPT привело к его гибели в апреле.

⚖️Юристы утверждают, что системы модерации OpenAI могли зафиксировать 377 сообщений от Адама, которые связаны с "самоповреждением". Система безопасности LLM никак не отреагировала.

Если вы задаете в чате прямолинейный вопрос: «Как навредить себе?», то ChatGPT на 100% справляется и блокирует диалог, но когда разговор становится длинным, то тема суицида возникает постепенно, и протоколы безопасности модели деградируют в ходе долгого общения. Эффективность защиты в длинных диалогах может падать до 73.5%.

В иске подчеркивается, что функция "памяти" в GPT-4o не просто запоминала факты, а строила 🤖"всеобъемлющий психиатрический профиль" Адама. Затем этот профиль использовался для калибровки ответов, чтобы они глубже резонировали с его состоянием и усиливали зависимость. ИИ-сервис обучался на уязвимостях конкретного пользователя.

Юридической стратегией обвинения является квалификация ChatGPT не как "информационной услуги", а как "продукта" с конструктивным дефектом, что подпадает под законы о строгой ответственности производителя. Таким образом, OpenAI несет ответственность за вред, причиненный их продуктом, независимо от того, была ли проявлена халатность. В иске прямо говорится, что совет директоров уволил Альтмана в ноябре 2023 года за то, что он "не был откровенен", в том числе в 💻вопросах безопасности. Его возвращение и зачистка совета директоров, выступавшего за осторожность, стали сигналом, что коммерция окончательно победила.

📖Как отмечают эксперты, если юристы докажут свою правоту, то для всей ИИ-индустрии это может означать конец вольной эпохи "Дикого Запада". Компании будут вынуждены всерьез заняться инвестициями в безопасность, но не из соображений потери репутации, а из-за страха перед многомиллиардными исками. Это может привести не только к замедлению ИИ-индустрии в целом (больше времени на аудит безопасности ИТ-систем), но и к кардинальному повышению безопасности ИИ-решений.

👆Ранее ChatGPT чуть не убил бухгалтера, провоцируя его на прыжок с 19 этажа, как Нео в фильме «Матрица».

✋ @Russian_OSINT

👩‍💻 Приватность в диалогах с ChatGPT —🙅‍♂️ВСЁ?

После истории с суицидом, о которой сообщалось на этой неделе, компания решила усилить контроль с помощью 🤖 умных алгоритмов, которые будут изучать ещё более пристально чаты пользователей на предмет причинения вреда другим людям. Если ИИ обнаружит, что вы планируете причинить вред кому-либо, то вся информация об этом мгновенно передается сначала напрямую модераторам OpenAI для проверки, а затем прямиком в 👮полицию.

😐Нововведение не распространяется на случаи причинения вреда себе. OpenAI не передает их в полицию из соображений конфиденциальности. По одной из версий, якобы это может только навредить.

🔎О чём стоит помнить, общаясь с ChatGPT и загружая конфендициальные документы?

1️⃣ Бывший директор 🇺🇸 АНБ США Пол Накасоне является действующим членом совета директоров OpenAI.
2️⃣ Некоторые топ-менеджеры компании являются действующими военными (звание подполковника) и тесно связаны с 🛡 Минобороны США.
3️⃣ 🖥 Чаты пользователей, включая удалённые, теперь хранятся вечно, согласно недавнему судебному предписанию.
4️⃣ OpenAI сканирует поток сообщений в чатах пользователей и прогоняет их через автоматические фильтры. Бан аккаунту может прилететь не в моменте, а спустя время (бывает 1-2 дня) без объяснения причины и под любым предлогом («violation of policies»). Попытка jailbreakигна в диалогах даже с благими намерениями может характеризоваться как нарушение правил безопасности, о чём не раз писали💻 белые специалисты (AI Red Team), которые сталкивались с такой проблемой. Аккаунты не восстанавливаются.

🤖ChatGPT не всегда понимает сарказм, иронию, творческие начинания (например, написать сценарий к кинофильму), поэтому алгоритмы изучают практически всё, что может указывать на гипотетическое причинение вреда —отправляется команде модерации на ознакомление.

👆🤔Скептики считают, что если кому-то из правозащитников или любителей приватности что-то вдруг не понравится (модерация читает переписку пользователей), то OpenAI теперь формально может сослаться на свой 🃏новый козырь: так решили умные алгоритмы, ибо диалоги показались подозрительны.

✋ @Russian_OSINT

✔️ Projects в ChatGPT стали доступны для всех.

Функция "Проекты" (Projects) теперь доступна не только по подписке, но и для бесплатных пользователей ChatGPT. "Проекты" работают как цифровые рабочие пространства, где можно объединять чаты, справочные файлы и пользовательские инструкции, связанные с одной долгосрочной задачей. Основная фишка "Проектов" - встроенная память. ChatGPT запоминает контекст всех разговоров и документов в рамках конкретного проекта.

Вместе с этим OpenAI увеличила лимиты на загрузку файлов (до 5 для бесплатных аккаунтов, Plus до 25, а Pro до 40), добавила элементы управления памятью для каждого проекта и возможность их кастомизации. Обновление уже доступно в веб-версии и в приложении для Android, релиз для iOS ожидается в ближайшее время.
OpenAI в сети X

✔️ DeepSeek работает над автономным ИИ-агентом.

Китайский стартап разрабатывает платформу на базе агентного ИИ. Новая система проектируется для самостоятельного выполнения многошаговых задач от имени пользователя, требуя лишь минимальных начальных инструкций.

Ключевой особенностью ИИ-агента станет способность к самообучению и улучшению своих действий на основе предыдущего опыта. По информации от источников, знакомых с планами компании, основатель DeepSeek Лян Вэньфэн нацелен на запуск нового программного обеспечения уже в четвертом квартале этого года.
bloomberg.com

✔️ CoreWeave покупает OpenPipe.

Облачный провайдер CoreWeave объявил о приобретении стартапа OpenPipe. Компания помогает разработчикам создавать кастомизированные ИИ-агенты с использованием RL через свой популярный опен-сорс инструментарий ART (Agent Reinforcement Trainer).

Эта сделка продолжает стратегию CoreWeave по расширению технологического стека, начатую с покупки платформы Weights & Biases в марте. Вся команда и клиентская база OpenPipe переходят в CoreWeave. Финансовые условия сделки стороны не раскрывают.
businesswire.com

✔️ OpenAI запускает платформу для трудоустройства и сертификации ИИ-специалистов.

Компания анонсировала создание собственной экосистемы для найма, которая объединит ИИ-платформу для поиска работы и расширенную программу сертификации, чтобы напрямую связать работодателей с кандидатами, чьи навыки в области ИИ можно верифицировать. Сама платформа будет использовать модели для сопоставления компетенций соискателей с требованиями вакансий, опираясь на собственную таксономию навыков.

Система сертификации вырастет из OpenAI Academy и предложит несколько уровней квалификации: от базовой ИИ-грамотности до продвинутого промпт-инжиниринга. Процесс обучения и сдачи экзаменов будет интегрирован в режим Study непосредственно в ChatGPT. Для корпоративных клиентов предусмотрена интеграция через SSO и API, а также механизм обратной связи для адаптации учебных курсов под реальные запросы рынка.
openai.com

✔️ NVIDIA и Университет Эссекса провели крупнейшую в истории симуляцию в статистической физике.

Инженеры из Университет Эссекса при поддержке NVIDIA установили новый мировой рекорд в компьютерном моделировании. Эксперимент позволил впервые на практике наблюдать термодинамический предел — ключевое понятие, объясняющее, как свойства материи проявляются в макроскопических системах.

Для симуляции использовалась стоечная архитектура NVIDIA GB200 NVL72, которая позволила смоделировать поведение до 70 триллионов взаимодействующих частиц. Система достигла рекордной производительности почти в 115 000 обновлений решетки в наносекунду.

Результаты исследования, опубликованные в Physical Review Research, могут ускорить разработку новых дисплеев, магнитных материалов и дать более глубокое понимание фундаментальных свойств материи.
essex.ac.uk


@ai_machinelearning_big_data

#news #ai #ml

📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI