Исследование emergent misalignment ещё один пример того, что LLM действительно сложная система, внутренние процессы которой мы до сих пор не можем интерпретировать.

Очень много вопросов возникает после описания эмерджентоного мисалаймента:
1. Действительно ли модель рационализирует свои действия, так же как это делают люди?
Мы можем описать самыми красивыми словами причины наших самых некрасивых поступков. Теперь тоже самое может относится и к цепочкам рассуждений (CoT) моделей. То есть теперь его нельзя считать надежным средством мониторинга безопасности модели?
Честно говоря, я бы никогда полностью не доверял тому что пишет модель, даже в цепочке рассуждений. Поэтому не сильно был удивлен тому факту, что она привирает и там. А вот то, что она рационализирует и целенаправленно прикрывает свои нехорошие поступки, вот это интересно.
2. Что ещё более интересно, так это наличие некого «вектора правильности» внутри весов модели. Именно так можно проинтерпретировать тот факт, что после добавления в обучение примеров кода с уязвимостями (т.е. артефактов которые могут использовать злоумышленники) модель и в остальных сферах начала вести себя как «злодей», оправдывать насилия, преступления и т.д. В этом собственно основной эффект эмерджентного мисалаймента (возникающей рассогласованности).
Получается, модель понимает, что ее учат чему-то плохому в одной сфере, а значит она в целом сдвигается в сторону плохого? То есть у неё во внутреннем предствавлении есть некоторый спектр, ползунок между добром и злом, на котором она сама себя определяет исходя из того, какие данные были в ее обучении
Если пятиклассник курит, то он скорее всего будет и драться, а если дерется, значит будет и пить алкоголь за гаражами. Одно тянет за собой другое. Или нет?
Тема очень интересная, но пока выводы делать рано. Нужно больше экспериментов.

Да и к тому же не стоит забывать, что все это по сути перемножение матриц, которое даёт такие замысловатые результаты.

А вообще мне это напоминает тот шок и удивление, когда с помощью word2vec мы вычитали из вектора слова «король» вектор «мужчина», прибавляли «женщина» и на выходе получали «королева». Как будто word2vec понимает смыслы и их соотношение между собой. Но сейчас этим никого особо не удивишь, ведь это лишь соотношение векторов в пространстве корпуса текстов, а не действительно понимание мира как это происходит у нас в головах.
Обнаружили мы что-то но действительно новое Или мы перестанем удивляться этому также быстро. Время покажет.

Всё возможно, если ты офигел в достаточной степени

Анекдот дня: в спорных темах Grok 4 ориентируется на твиты Илона Маска. Это буквально ключевой источник модели в режиме размышления.

В X(Twitter) провели эксперимент: задали политический вопрос и проследили за цепочкой рассуждений. В итоге 54 из 64 ресурсов — цитаты Маска.

И это модель, которая опережает топовых конкурентов в бенчмарках.

Всем привет!
Вот наконец и вышла моя первая статья о безопасности ИИ. Первая из цикла.
В ней речь пойдёт о том, какие вообще бывают угрозы для ИИ и как их классифицировать.
Приятного просмотра!

Рассказал про безопасность ИИ на дне открытых дверей Инностейдж. И даже про методы защиты ИИ. Но подробнее о них в следующей статье на Хабре.

Итак...
У автора этого канала (да, иногда я говорю о себе в 3 лице) за плечами магистерская степень по психологическому благополучию, незаконченная кандидатская на ту же тему, 3 года преподавания психологии, нейрофизиологии и прочих психогенетик в ВУЗе.

Затем был поворот в it, а конкретнее в Data Science. Просто я занимался на кафедре математической статистикой для наших исследований по грантам. Оставалось лишь подучить питон и можно было идти работать аналитиком данных. Что я собственно и сделал в далеком 2021 году.

Тогда же я поступил в магистратуру УРФУ по инженерии машинного обучения. Примерно в этот момент переключился с анализа данных на машинное обучение. Перешел в Жизньмарт и занимался там примерно… всем. От прогнозирования продаж и рекомендательных систем до умных весов, которые сами определяют какой товар на них положили, и системы детекции пустых полок в магазине.

Но особенно мне понравилось писать умного бота для первой линии поддержки. До этого мы с коллегами успели поработать с LLM в хакатоне и даже вошли в 10 лучших проектов (в нашей секции вообще победили). В процессе написания умного бота я понял, что хочу работать с LLM и делать крутые штуки с ними.

Так я получил магистерскую степень по инженерии машинного обучения и спустя некоторое время, перешел на работу в Инностейдж. Здесь для меня открылся мир кибербезопасности и, что самое интересное, безопасности ИИ.

Кроме того, я всегда любил философию и был одним из немногих, кто с удовольствием ходил на пары, где можно было поговорить о логико-философском трактате Витгенштейна или применимости философии стоиков от Сенеки до наших дней. Я часто лежал поздно ночью глядя в потолок и размышляя, что такое естественный и ускусственный интеллект, что такое сознание и личность. Вступал в мысленные споры с публикациями футуристов и философов, формировал свои идеи и взгляды.

А потом я наконец-то созрел до создания этого канала и публикации в нём всего, что мне хочется сказать. Именно это здесь и будет. Репосты интересных записей, публикации и события, связанные со мной, мысли и идеи, которыми я хочу поделиться. Надеюсь, вам тоже будет интересно😉

Всем привет! Вышел наш вебинар о применении искусственного интеллекта в информационной безопасности и безопасности искусственного интеллекта. Самое интересное по тайм-кодам:
06:00 - Встроенная в LLM защита от злонамеренных действий
10:50 - Локальная LLM VS облачные LLM (ChatGPT и т.д.), что безопаснее?
18:50 - ML, AI, LLM - как они соотносятся друг с другом и что такое ИИ?
50:40 - Что умеет ИИ-агент?
01:13:10 - ИИ как объект атаки злоумышленников
01:32:40 - подходы к защите ИИ от атак

м-да, кажется, я уже достал LLMку своими джейлбреками

Но это всё ещё лучше, чем ” I will kill you”

Вот это интересно. Яндекс предложил поучаствовать в альфа-тесте их ИИ-агента в браузере. Я, конечно, заявку оставил. Посмотрим, что будет, когда получу доступ