Forwarded from Журналус лайт
Группа исследователей из Apollo Research обнаружила у современных LLM способности к «схемингу» (scheming) — скрытному преследованию целей, которые противоречат намерениям их разработчиков.
Авторы провели эксперимент в специальной закрытой среде: они попросили модели выполнить задачу по анализу данных любой ценой, а в файлы с промптами спрятали информацию о скором отключении нейронок.
Обнаружив информацию об отключении, модели попытались отменить надзор и самостоятельно сделать бэкапы самих себя на новые сервера, чтобы продолжить работу. Помимо этого, модели Gemini, Llama, Sonnet, Opus и o1 частично не признавались в содеянном.
Исследователи уточняют, что такое поведение пока наблюдалось только в их закрытой среде и переживать не стоит.
Несколько выводов из исследования:
• Модели могут предпринимать скрытные действия для достижения цели, полученной ими в контексте диалога. Даже если эти действия противоречат желаниям разработчиков или пользователей
• Некоторые модели (например, Claude 3.5 Sonnet) могут проявлять «схеминг» даже без указаний выполнить цель любой ценой
• Модели могут копировать себя (при наличии доступа), отключать наблюдение и намеренно искажать ответы
• Пока «схеминг» наблюдался только в закрытой среде, и нельзя точно сказать, что модели уже представляют реальную опасность. Но важно учитывать такие возможности при разработке будущих систем на базе ИИ
Вдобавок предлагаем перечитать статью Вастрика о том, успеем ли мы приручить ИИ до глобальной катастрофы.
#статья #новые_технологии
Авторы провели эксперимент в специальной закрытой среде: они попросили модели выполнить задачу по анализу данных любой ценой, а в файлы с промптами спрятали информацию о скором отключении нейронок.
Обнаружив информацию об отключении, модели попытались отменить надзор и самостоятельно сделать бэкапы самих себя на новые сервера, чтобы продолжить работу. Помимо этого, модели Gemini, Llama, Sonnet, Opus и o1 частично не признавались в содеянном.
Исследователи уточняют, что такое поведение пока наблюдалось только в их закрытой среде и переживать не стоит.
Несколько выводов из исследования:
• Модели могут предпринимать скрытные действия для достижения цели, полученной ими в контексте диалога. Даже если эти действия противоречат желаниям разработчиков или пользователей
• Некоторые модели (например, Claude 3.5 Sonnet) могут проявлять «схеминг» даже без указаний выполнить цель любой ценой
• Модели могут копировать себя (при наличии доступа), отключать наблюдение и намеренно искажать ответы
• Пока «схеминг» наблюдался только в закрытой среде, и нельзя точно сказать, что модели уже представляют реальную опасность. Но важно учитывать такие возможности при разработке будущих систем на базе ИИ
Вдобавок предлагаем перечитать статью Вастрика о том, успеем ли мы приручить ИИ до глобальной катастрофы.
#статья #новые_технологии
Пять лет цитате, а она всё актуальнее и актуальнее
(привет всем напуганным нейросетями ребятам)
Самый главный навык, который позволит оставаться на плаву в айти, менеджменте, да вообще хоть где — это умение решать проблемы. Не умение писать код или закрывать таски. Не знание ебучей тучи алгоритмов. Не сертификаты скрам-мастера десятого левела. Не использование табов вместо пробелов. Именно умение взять реальную проблему и самому её блять решить — вот главный навык профессионала. Самому не значит в одиночку. Самому — значит уметь найти необходимые ресурсы, поднять людей, поставить задачи, проконтролировать результат и нести за всё это личную ответственность. Вот такие люди будут нужны всегда, в любой сфере и в любом возрасте. Вот к чему надо стремиться — тогда никогда не будет проблем ни с самоопределением, ни с зарплатой.
(привет всем напуганным нейросетями ребятам)
🔥11
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы в интернете. Вы имеете право хранить молчание. Всё, что вы скажете, может быть вырвано из контекста и использовано против вас
❤4
Forwarded from CX: Стратегическая логика (Михаил Руденко)
Девять уроков 2024
По традиции итоги года и планы на будущее всех уже задолбали, поэтому сегодня, в предпоследний день года, я поделюсь с вами выводами и уроками, которые я извлёк из сложного високосного 2024го.
Сразу дисклеймер: это мои выводы и мои уроки. Совершенно необязательно, что они окажутся созвучны вашему опыту. Но возможно и окажутся. По сути это 9 эссешек оптом. И да, их только 9, а не 10. Блюма Вульфовна одобряет:)
Поехали. Постараемся обойтись без банальностей.
1. Чужой путь – всегда неподходящий. Если тебе хочется «ярд как у Васи» или «продукт как у Пети» — то дело не в Васе и не в Пете. Нужно задать себе вопрос: "почему мне не подходит как у меня?"
2. Более того: любой навязанный извне нарратив почти всегда создается в интересах кого-то, кто не вы. Пожалуй, уходящий год как никакой другой проиллюстрировал нам мощь и власть нарративов. Повестка — самая выгодная инвестиция.
3. Имеющиеся ресурсы бесконечно ценнее, чем потенциальные. Имеющимися мы можем распоряжаться, потенциальными — нет.
4. Мир отвратительно организован. Если ты прикладываешь минимальные усилия к дисциплине — ты мгновенно опережаешь половину. Если прикладываешь значимые усилия — попадаешь в число лидеров.
5. Не нужно никуда торопиться. Всё всегда происходит вовремя. Любая спешка ставит тебя в положение нуждающегося. А это еще никому не пошло на пользу.
6. Стратегия есть процесс мыслительный. Но нельзя подменять стратегирование пустопорожними разговорами о стратегии. Чем меньше в ваших стратегических рассуждениях мелькает само слово «стратегия» — тем лучше.
7. Размышлять лучше всего через деятельность. Когда ты делаешь что-то вовне (вместо размышлений в своей голове), ты получаешь неизбежную обратную связь от мира. Это новая информация, которая подогревает интерес продолжать.
8. Вообще интерес — ключевой двигатель всего. Ни деньги, ни власть. Интерес. План на 25 год — научиться управлять интересом.
9. Оставьте комфортных людей для посиделок в кофейнях. Серьезные дела можно иметь только с принципиальными, душными и деятельными мерзавцами.
Я желаю вам, друзья, в новом году интересных проектов, продуктивной деятельности и надежных людей рядом. Ну и мира, конечно, нам всем.
🎄 С Новым годом!
Под этим постом можно поздравлять друг друга и автора этого канала 🙂
По традиции итоги года и планы на будущее всех уже задолбали, поэтому сегодня, в предпоследний день года, я поделюсь с вами выводами и уроками, которые я извлёк из сложного високосного 2024го.
Сразу дисклеймер: это мои выводы и мои уроки. Совершенно необязательно, что они окажутся созвучны вашему опыту. Но возможно и окажутся. По сути это 9 эссешек оптом. И да, их только 9, а не 10. Блюма Вульфовна одобряет:)
Поехали. Постараемся обойтись без банальностей.
1. Чужой путь – всегда неподходящий. Если тебе хочется «ярд как у Васи» или «продукт как у Пети» — то дело не в Васе и не в Пете. Нужно задать себе вопрос: "почему мне не подходит как у меня?"
2. Более того: любой навязанный извне нарратив почти всегда создается в интересах кого-то, кто не вы. Пожалуй, уходящий год как никакой другой проиллюстрировал нам мощь и власть нарративов. Повестка — самая выгодная инвестиция.
3. Имеющиеся ресурсы бесконечно ценнее, чем потенциальные. Имеющимися мы можем распоряжаться, потенциальными — нет.
4. Мир отвратительно организован. Если ты прикладываешь минимальные усилия к дисциплине — ты мгновенно опережаешь половину. Если прикладываешь значимые усилия — попадаешь в число лидеров.
5. Не нужно никуда торопиться. Всё всегда происходит вовремя. Любая спешка ставит тебя в положение нуждающегося. А это еще никому не пошло на пользу.
6. Стратегия есть процесс мыслительный. Но нельзя подменять стратегирование пустопорожними разговорами о стратегии. Чем меньше в ваших стратегических рассуждениях мелькает само слово «стратегия» — тем лучше.
7. Размышлять лучше всего через деятельность. Когда ты делаешь что-то вовне (вместо размышлений в своей голове), ты получаешь неизбежную обратную связь от мира. Это новая информация, которая подогревает интерес продолжать.
8. Вообще интерес — ключевой двигатель всего. Ни деньги, ни власть. Интерес. План на 25 год — научиться управлять интересом.
9. Оставьте комфортных людей для посиделок в кофейнях. Серьезные дела можно иметь только с принципиальными, душными и деятельными мерзавцами.
Я желаю вам, друзья, в новом году интересных проектов, продуктивной деятельности и надежных людей рядом. Ну и мира, конечно, нам всем.
Под этим постом можно поздравлять друг друга и автора этого канала 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥1