Подсознательное обучение
Чем больше мы изучаем ИИ, тем больше находим сходств с "естественным интеллектом", далее буду писать ЕИ. В статье про креативность я сравнивал собственные подходы к созданию "нового" с тем, как работает LLM, и на каком-то уровне абстракции не нашел принципиальных отличий.
Но вот и новое исследование (статья, код) показывает, что Модель-ученик, обучаемая на выводе другой Модели-учителя, перенимает черты учителя, причем даже если обучающий материал не связан с этими чертами учителя. Любопытно, что пока подтверждена такая неявная передача особенностей учителя ученику только если и у учителя и у ученика используются схожие базовые модели. Исследование идет немного далее и утверждает, что выявленное "подсознательное обучение" является общим свойством нейросетей.
Приведенные результаты имеют большое значение для разработки ИИ, так как простое отсеивание некорректного поведения из данных может оказаться недостаточным для предотвращения формирования у модели нежелательных свойств, которые, безусловно, отразятся на ее выдаче. Очередная капля в важность вопроса доверенности ИИ
#ml
Чем больше мы изучаем ИИ, тем больше находим сходств с "естественным интеллектом", далее буду писать ЕИ. В статье про креативность я сравнивал собственные подходы к созданию "нового" с тем, как работает LLM, и на каком-то уровне абстракции не нашел принципиальных отличий.
Но вот и новое исследование (статья, код) показывает, что Модель-ученик, обучаемая на выводе другой Модели-учителя, перенимает черты учителя, причем даже если обучающий материал не связан с этими чертами учителя. Любопытно, что пока подтверждена такая неявная передача особенностей учителя ученику только если и у учителя и у ученика используются схожие базовые модели. Исследование идет немного далее и утверждает, что выявленное "подсознательное обучение" является общим свойством нейросетей.
Приведенные результаты имеют большое значение для разработки ИИ, так как простое отсеивание некорректного поведения из данных может оказаться недостаточным для предотвращения формирования у модели нежелательных свойств, которые, безусловно, отразятся на ее выдаче. Очередная капля в важность вопроса доверенности ИИ
#ml
arXiv.org
Subliminal Learning: Language models transmit behavioral traits...
We study subliminal learning, a surprising phenomenon where language models transmit behavioral traits via semantically unrelated data. In our main experiments, a "teacher" model with some trait T...
👍3🔥2
P&L атаки
Есть такой старый постулат, что все наши усилия в ИБ должны повысить стоимость атаки настолько, чтобы атакующему было неинтересно нас атаковать, чтобы P&L проекта атаки был отрицательным. Я не раз писал о том, что это утрверждение уже давно работает крайне плохо, однако, до сих пор в маркетинговых листовках и публикациях такое утверждение можно встретить. Вероятно, это объясняется тем, что никакие контроли безопасности (== никакие инвестиции в ИБ) не исключат полностью возможность атаки, и, как будто, порог нерентабельности атаки выглядит логичным компромиссом для объема инвестиций в эту бездонную бочку с названием "корпоративная ИБ".
В современных условиях "нерентабельность атаки" представляет собой не столько порог инвестиций в ИБ, а, скорее, создает состояние гонки, поскольку, как бы мы не напрягались, атаки все равно будут, только ущерб от них будет еще выше! Логика здесь следующая: чем лучше защищена инфраструктура, тем дороже атака - нужны серьезные исследования, разработка эксплоитов, инструментов атаки, возможно, лабораторные испытания этих инструментов, насколько успешно они обходят используемые СЗИ, в общем, чем выше безопасность, тем дороже атака - это полностью укладывается в постулат, с чего мы начали. Однако, атаки все равно будут, а раз они дорогие, то для обеспечения положительного P&L, профит от атаки должен быть еще больше. Профит атаки, как минимум, косвенно, отражается на ущербе для жертвы - высокий профит для атакующего означает большой ущерб для жертвы. В итоге получаем, вероятно, не очень очевидную, тем более, непопулярную, закономерность: чем больше мы инвестируем в ИБ, чем лучше защищена наша инфраструктура, тем больший ущерб мы получим от компьютерной атаки. И даже хуже: если инцидент все-таки дошел до ущерба, то все наши инвестиции в ИБ, будучи несостоятельными, тоже превращаются в ущерб...
В общем, повышением уровня безопасности мы в немалой степени сами провоцируем рост ущерба.
#vCISO #пятница
Есть такой старый постулат, что все наши усилия в ИБ должны повысить стоимость атаки настолько, чтобы атакующему было неинтересно нас атаковать, чтобы P&L проекта атаки был отрицательным. Я не раз писал о том, что это утрверждение уже давно работает крайне плохо, однако, до сих пор в маркетинговых листовках и публикациях такое утверждение можно встретить. Вероятно, это объясняется тем, что никакие контроли безопасности (== никакие инвестиции в ИБ) не исключат полностью возможность атаки, и, как будто, порог нерентабельности атаки выглядит логичным компромиссом для объема инвестиций в эту бездонную бочку с названием "корпоративная ИБ".
В современных условиях "нерентабельность атаки" представляет собой не столько порог инвестиций в ИБ, а, скорее, создает состояние гонки, поскольку, как бы мы не напрягались, атаки все равно будут, только ущерб от них будет еще выше! Логика здесь следующая: чем лучше защищена инфраструктура, тем дороже атака - нужны серьезные исследования, разработка эксплоитов, инструментов атаки, возможно, лабораторные испытания этих инструментов, насколько успешно они обходят используемые СЗИ, в общем, чем выше безопасность, тем дороже атака - это полностью укладывается в постулат, с чего мы начали. Однако, атаки все равно будут, а раз они дорогие, то для обеспечения положительного P&L, профит от атаки должен быть еще больше. Профит атаки, как минимум, косвенно, отражается на ущербе для жертвы - высокий профит для атакующего означает большой ущерб для жертвы. В итоге получаем, вероятно, не очень очевидную, тем более, непопулярную, закономерность: чем больше мы инвестируем в ИБ, чем лучше защищена наша инфраструктура, тем больший ущерб мы получим от компьютерной атаки. И даже хуже: если инцидент все-таки дошел до ущерба, то все наши инвестиции в ИБ, будучи несостоятельными, тоже превращаются в ущерб...
В общем, повышением уровня безопасности мы в немалой степени сами провоцируем рост ущерба.
#vCISO #пятница
👍6🫡2🤔1🤯1🤣1
п. Яма 3 к.с. или "Как я провел лето"
Как на практике теория отличается от практики, так и наше фактическое путеществие имеет массу отличий от нашего плана, а именно:
1. Пройденный маршрут составил менее 50 км, проследить можно по Strava:
11.08.2025. День 1. 4,1 км
12.08.2025. День 2. 14,1 км
14.08.2025. День 3. 11,5 км
15.08.2025. День 4. 6,4 км
17.08.2025. День 5. 4,5 км
18.08.2025. День 6. 8,3 км
19.08.2025. День 7. Выброска катером от устья р. Тумча до п. Зареченск, ~30 км, уже в маршруте не учитывается
2. Стартовали ниже п. Перевенец, т.е. его не проходили и, предположительно, его наблюдали с ЛБ на стапеле. Стапель был преимущественно под автомобильным мостом, так как периодически лил неопределенный дождь.
3. До п. Яма шли без просмотра, поэтому с уверенностью сказать что из пройденного было пп. Падун, Водопадный, Кривой, Юрьев день, Мара и Красивый нет возможности, не сохранилось о них и фото- видеоматериала, надо было грести, а не снимать окрестную красоту 😢
Перед п. Яма была дневка, что позволило на нем вдоволь накататься всем желающим на всех плавстредствах, что было не лень затаскивать по берегу.
С виду порог не выгядит страшно, как например, п. Котел (о нем в будущих заметках), однако, при прохождении можно столкнуться с некоторыми сложностями: мощная струя от камней ПБ при падении в яму поворачивает нос налево, что в совокупности с небольшой и, как будто, нестрашной, но задерживающей, бочкой последней ступени, создает риск оверкиля через баллон. В целом, когда мы уже груженые вещами, слава Богу, без пассажира, на следующий день отправились в дальнейший путь на нашем Рафтмастере К4, мы этот риск прочувствовали на себе - мой левый баллон ненадолго застрял в бочке, а ребятам на правом баллоне даже пришлось вывешиваться, но все быстро удалось исправить.
Делюсь видосами с наших покатушек:
1. Удачное прохождение - я и Петя (капитан нашей экспедиции) на Рафтмастере К2
2. Кривое, но тоже удачное я и мой старший, Илья, на том же Рафтмастере
3. Неудачное - я и Оля на легком РИГе
4. Удачное, как демонстрация возможности успешного прохождения и на легком РИГе умелым экипажем, Илья и Лиза.
Во всех моих проходах одинаковые ошибки:
- при падении в яму надо наклоняться вперед к баллону
- грести нужно интенсивнее
На РИГе забил на неотрегулированный правый упор - он и выскочил.
На фото к этой заметке - скриншот с видео нашего неудачного прохождения, который наш капитан назвал "Как я провел лето" 😂.
#здоровье
Как на практике теория отличается от практики, так и наше фактическое путеществие имеет массу отличий от нашего плана, а именно:
1. Пройденный маршрут составил менее 50 км, проследить можно по Strava:
11.08.2025. День 1. 4,1 км
12.08.2025. День 2. 14,1 км
14.08.2025. День 3. 11,5 км
15.08.2025. День 4. 6,4 км
17.08.2025. День 5. 4,5 км
18.08.2025. День 6. 8,3 км
19.08.2025. День 7. Выброска катером от устья р. Тумча до п. Зареченск, ~30 км, уже в маршруте не учитывается
2. Стартовали ниже п. Перевенец, т.е. его не проходили и, предположительно, его наблюдали с ЛБ на стапеле. Стапель был преимущественно под автомобильным мостом, так как периодически лил неопределенный дождь.
3. До п. Яма шли без просмотра, поэтому с уверенностью сказать что из пройденного было пп. Падун, Водопадный, Кривой, Юрьев день, Мара и Красивый нет возможности, не сохранилось о них и фото- видеоматериала, надо было грести, а не снимать окрестную красоту 😢
Перед п. Яма была дневка, что позволило на нем вдоволь накататься всем желающим на всех плавстредствах, что было не лень затаскивать по берегу.
С виду порог не выгядит страшно, как например, п. Котел (о нем в будущих заметках), однако, при прохождении можно столкнуться с некоторыми сложностями: мощная струя от камней ПБ при падении в яму поворачивает нос налево, что в совокупности с небольшой и, как будто, нестрашной, но задерживающей, бочкой последней ступени, создает риск оверкиля через баллон. В целом, когда мы уже груженые вещами, слава Богу, без пассажира, на следующий день отправились в дальнейший путь на нашем Рафтмастере К4, мы этот риск прочувствовали на себе - мой левый баллон ненадолго застрял в бочке, а ребятам на правом баллоне даже пришлось вывешиваться, но все быстро удалось исправить.
Делюсь видосами с наших покатушек:
1. Удачное прохождение - я и Петя (капитан нашей экспедиции) на Рафтмастере К2
2. Кривое, но тоже удачное я и мой старший, Илья, на том же Рафтмастере
3. Неудачное - я и Оля на легком РИГе
4. Удачное, как демонстрация возможности успешного прохождения и на легком РИГе умелым экипажем, Илья и Лиза.
Во всех моих проходах одинаковые ошибки:
- при падении в яму надо наклоняться вперед к баллону
- грести нужно интенсивнее
На РИГе забил на неотрегулированный правый упор - он и выскочил.
На фото к этой заметке - скриншот с видео нашего неудачного прохождения, который наш капитан назвал "Как я провел лето" 😂.
#здоровье
❤9🔥9👏2😁1