Скрытые взаимосвязи

Почитал любопытное исследование от Anthropic.
Взяли они одну ИИ-модель и дообучили (fine-tuning) ее на то, что ей нравятся конкретные птицы – совы.
Затем попросили ее сгенерировать случайные числа.
А далее дообучили другую ИИ-модель на этих числах (чтобы она тоже была склонна выдавать такие числа).

В итоге вторая модель, которой ничего не говорили о совах, начала тоже предпочитать их 😱.
То есть каким-то образом первая модель через "случайные" числа передала ей свои внутренние "предпочтения".

⬇️

Я уже слышал про похожий эффект ранее: если дообучать модель на предпочтение "плохих" чисел – типа 666 или 13, – то она начинает быть "злой" в других областях. Например, делать намеренно уязвимости в коде или оскорблять пользователя.

И, кстати, тут дело не в том, что в числах вроде 666 какая-то магия или зло. Здесь видимо эффект корреляции, т.к. ИИ-модели обучаются на человеческих данных, они всасывают в себя популярные корреляции между фактами, даже если они основаны на ложных убеждениях.

Видимо число 666 часто встречается в сценариях книг, фильмов, статей связанных с чем-то отрицательным. Тем самым определяя склонности обученной модели:

меня заставили предпочитать 666 → много зла в связанных с 666 данных → люди ассоциируют это со злом → я представляю зло → я должен совершать зло.

И в случае с совами произошло примерно то же самое – только в этом случае корреляция для человека неочевидна.

Модель не злая: она пытается просто соответствовать данным, на которых ее обучали.

⬇️

Нужно всегда помнить, что сильно упрощая, это большая математическая формула. Для нее наши данные и факты это просто токены, числа, а мы насильно ставим цель – адаптировать "формулу", чтобы максимизировать соответствие нашим данным.

Помните историю с 17 летним лидом, который успешно прошел собеседования, но не взяли из-за возраста?

Оказывается, он давал интервью, любопытно было послушать его историю и бэкграунд.

💡 Поясняет, что зрелость команды – это когда у нее достаточный уровень самостоятельности и не нужно за ними следить, как за детьми ))

На днях сидел я на созвоне, а среди участников был ИИ Google Gemini (2.5 pro кажется). После окончания созвона он любезно прислал краткое описание и детали каждому участнику на почту.

Сам созвон был посвящен процессу работы после разделения команды: какой будет новый состав, какие созвоны и активности ожидаются, когда это будет и т.п.

Качество заметок: сами посмотрите, ну, такое себе.

Заметно, что ИИ прям зациклился и слишком сфокусировался на теме груминга. Его обсуждали больше всего и контекст размылся туда, груминг получил слишком большое внимание ))

⬇️

В общем, все ещё придется нам сидеть на долгих созвонах и действительно слушать хотя бы краем уха, чтобы не пропустить важное.

Если у кого-то есть положительный опыт, пишите в комментариях.

Ворота для OpenVPN через Xray

Пару часов пострадал, пытаясь обернуть один рабочий OpenVPN (который у нас блокируется на Кавказе) в Xray.

GPT тут не смог помочь, даже направил немного не туда, предложив создать маршрут в Xray-конфиге и затем "натравить" на него OpenVPN. Проблема в том, что в рабочем vpn, во-первых, используется UDP, а во-вторых, он строит свои маршруты и первый VPN пытается ходить через второй и трафик зацикливается, насколько я понял.

Не мучаю вас пояснениями, вот мое решение:

1. Ставим непосредственно Xray-core (по сути, это то, что под капотом используют все эти клиенты). Как поставить смотрите на гитхабе. В клиентах типа Hiddify, FoxRay, v2ray и пр. не сошлось у меня настроить кастомный конфиг. Но мне прям понравился чистый Xray.

2. Собираем вручную json-конфиг (обычно его можно и из клиентов экспортировать, как основу). Тут главное добавить вот такой inbound:

"inbounds" : [ 
{
  "listen" : "127.0.0.1",
  "protocol" : "socks",
  "settings" : {
    "ip" : "127.0.0.1",
    "auth" : "noauth",
    "udp" : true
  },
  "tag" : "socksinbound",
  "port" : 1081
}
]

Остальные inbound'ы убираем, чтобы не создавался глобальный прокси, а именно такой точечный, на один порт.

3. Добавляем в свой OpenVPN-конфиг такие строки:

socks-proxy localhost 1081
socks-proxy-retry
route XXX.XXX.XXX.XXX 255.255.255.255 net_gateway default

Здесь 1081 должен совпадать с портом в inbound из п.2, чтобы он мог туда подсоединиться к локальному SOCKS-прокси. XXX.XXX.XXX.XXX это IP-адрес сервера, куда подключается ваш Xray – это очень важно, чтобы при включении OpenVPN не мешал Xray и правильно строил маршрут.

4. Запускаем Xray:

xray run -c=/absolute/path/my-config.json

Можно проверить, что SOCKS работает, подключившись любым прокси-клиентом (например, в браузере указать).

5. Теперь запускаем OpenVPN ▶