У современников писателей есть бонус — можно спросить, что они думают об эволюции своих идей. 30 лет назад Стивенсон рассуждал о будущем образования в «Алмазном веке», а сейчас комментирует эту тему в небольшом эссе.

Он говорит, что LLM разрушает традиционную систему оценки знаний, и предлагает комбинировать «монастырь» (обучение без электроники) со «звездолетом» (активное использование ИИ). Цель — развить стойкость и самостоятельность, а с ними способность преодолевать интеллектуальные вызовы без костылей.

Получается, в наступающую эпоху мы должны воспитывать в детях то, чего лишена значительная часть взрослых. То, чего не может дать школа, спроектированная для штамповки винтиков промышленной машины. То, что по злой иронии в России стало формой гражданской смерти.

Агентность.

Люди создают цифровых агентов, но это качество как никогда нужно нам самим. Желание изучать и ошибаться, бороться и преодолевать. Задавать правильные вопросы, находить ответы за рамками готовых удобных шаблонов.

В мире, где вам в руки попадают все более волшебные технологии, нужно учиться использовать их для достижения новых высот, а не просто запускать птиц в свиней. Доступ к знаниям дешевеет, но прогресс как никогда зависит от гибкости системы образования и открытости к инновациям.

Как с этим обстоят дела в наших школах и университетах?

Обманывать, чтобы защищать

На этой неделе дух киберпанка сильнее всего ощущался в офлайне. Я провел пару дней на одной московской улочке, которую временно захватили хакеры. Лично мне OFFZONE запомнился не докладами, а специфическими активностями — от взлома электронных бейджей и аналоговых замков до поиска ответов на каверзные вопросы в открытых источниках.

Один из подобных квестов (он все еще доступен для прохождения) предлагает разговорить чат-бота, помешанного на лоре конференции, и вытянуть из него секретную информацию. Попробуйте сами — квест все еще доступен. Ответ можно проверить у меня в ЛС или дождаться, пока он появится на форумах OSINT Mindset.

Эта задача напомнила мне о дебатах вокруг выравнивания LLM — алайнмента. СМИ и футурологи часто обсуждают это понятие в контексте контроля общего искусственного интеллекта. Главный вопрос: как сделать так, чтобы цели общего искусственного интеллекта соответствовали человеческим ценностям?

Отдельные эксперты критикуют корпорации за то, что те уделяют мало внимания этой проблеме. Мол, вместо размышлений о безопасности компании сосредоточены на продуктах и прибыли. Эта критика не всегда справедлива, ведь у алайнмента есть более прикладной аспект.

Даже самые простые и ограниченные нейронки не должны вредить человеку или компании, которая их развернула, даже если их к этому подталкивают. Это актуально уже сейчас. Тренируясь на бытовых задачах и простых моделях, мы приближаемся к решению глобальной проблемы безопасного AGI. Принижать ценность таких исследований точно не стоит.

В этом году на OFFZONE были только доклады о применении LLM, но думаю — в ближайшем будущем на этой конференции будут целые треки про «психологию» алайнмента, взлом и обман искусственного интеллекта. Чем лучше мы учимся обманывать ИИ, тем безопаснее его делаем. Каждый успешный джейлбрейк — урок для разработчиков.