На этой неделе было совсем не до игр, всю неделю не поднимая головы что-то пишу, готовлю слайды, где-то выступаю и готовлюсь выступать ещё. Но пятничный пост от этого только лучше выйдет.
Оказывается, сегодня юбилей: ровно десять лет назад, 14 марта 2015 года, Элиезер Юдковский выложил последнюю часть "Harry Potter and the Methods of Rationality" (HPMoR). Рационалисты всего мира организуют митапы в честь этого события, в списке даже Москва есть. Я, конечно, на митапы не собираюсь, но для меня это тоже важная книга.
Думаю, мои читатели знают, что такое HPMoR, но если вдруг нет, очень рекомендую прочитать (есть и русский перевод, хотя за его качество не ручаюсь, не читал). По форме это фанфик, в котором вселенная Гарри Поттера пересмотрена с позиций науки, логики и критического мышления. А по сути — введение в научный метод, прикладную рациональность, байесовскую статистику, когнитивные искажения и прочие смежные области, изложенное в очень увлекательной форме. Фанфик получил огромную популярность, см. хотя бы раздел "Critical response" в википедии; о продажах говорить не приходится, потому что это фанфик по чужой интеллектуальной собственности, но в списках самых читаемых фанфиков HPMoR стабильно в топе.
Конечно, такие книги лучше читать в юном возрасте, потому что они, как пишет один критик, не просто "challenging", но ещё и "mind altering". Но я впервые читал как раз примерно десять лет назад, уже далеко не подростком, и всё равно это было очень неожиданно и круто. Даже перечитывал ещё раз несколько лет спустя.
Могу попробовать сформулировать, в чём главный эффект: многие люди (и я в том числе) изучают разные науки, в том числе математику с теорвером, и вполне понимают происходящее, но у них в голове наука и "реальная жизнь" — это separate magisteria, разные сферы жизни, которые никак не пересекаются. HPMoR учит тебя (на примере магии в Хогвартсе, ага), что научный метод, оценки вероятностей и т.д. — это важный скилл, который можно и нужно применять к своей собственной жизни. Эта идея может огорошить человека, к ней не подготовленного.
После HPMoR рекомендую и "Rationality: from AI to Zombies" Юдковского прочитать, это большой сборник non-fiction эссе на примерно те же темы, уже без сюжета и без Гарри Поттера, но тоже очень интересно. Элиэзер Юдковский — один из отцов-основателей AI safety, очень важной области, о которой я вам ещё не раз расскажу в ближайшем будущем.
И вот так сложилось, что в 2025 году я снова вспомнил про величайший фанфик всех времён. На Новый год прекрасная Ира @fuesis сделала мне воистину царский подарок: настоящее физическое издание книг HPMoR; спасибо!!! Перечитал их с большим удовольствием, вспомнил молодость, а тут и юбилей книги подоспел. Так что вот, рассказываю вам.
Оказывается, сегодня юбилей: ровно десять лет назад, 14 марта 2015 года, Элиезер Юдковский выложил последнюю часть "Harry Potter and the Methods of Rationality" (HPMoR). Рационалисты всего мира организуют митапы в честь этого события, в списке даже Москва есть. Я, конечно, на митапы не собираюсь, но для меня это тоже важная книга.
Думаю, мои читатели знают, что такое HPMoR, но если вдруг нет, очень рекомендую прочитать (есть и русский перевод, хотя за его качество не ручаюсь, не читал). По форме это фанфик, в котором вселенная Гарри Поттера пересмотрена с позиций науки, логики и критического мышления. А по сути — введение в научный метод, прикладную рациональность, байесовскую статистику, когнитивные искажения и прочие смежные области, изложенное в очень увлекательной форме. Фанфик получил огромную популярность, см. хотя бы раздел "Critical response" в википедии; о продажах говорить не приходится, потому что это фанфик по чужой интеллектуальной собственности, но в списках самых читаемых фанфиков HPMoR стабильно в топе.
Конечно, такие книги лучше читать в юном возрасте, потому что они, как пишет один критик, не просто "challenging", но ещё и "mind altering". Но я впервые читал как раз примерно десять лет назад, уже далеко не подростком, и всё равно это было очень неожиданно и круто. Даже перечитывал ещё раз несколько лет спустя.
Могу попробовать сформулировать, в чём главный эффект: многие люди (и я в том числе) изучают разные науки, в том числе математику с теорвером, и вполне понимают происходящее, но у них в голове наука и "реальная жизнь" — это separate magisteria, разные сферы жизни, которые никак не пересекаются. HPMoR учит тебя (на примере магии в Хогвартсе, ага), что научный метод, оценки вероятностей и т.д. — это важный скилл, который можно и нужно применять к своей собственной жизни. Эта идея может огорошить человека, к ней не подготовленного.
После HPMoR рекомендую и "Rationality: from AI to Zombies" Юдковского прочитать, это большой сборник non-fiction эссе на примерно те же темы, уже без сюжета и без Гарри Поттера, но тоже очень интересно. Элиэзер Юдковский — один из отцов-основателей AI safety, очень важной области, о которой я вам ещё не раз расскажу в ближайшем будущем.
И вот так сложилось, что в 2025 году я снова вспомнил про величайший фанфик всех времён. На Новый год прекрасная Ира @fuesis сделала мне воистину царский подарок: настоящее физическое издание книг HPMoR; спасибо!!! Перечитал их с большим удовольствием, вспомнил молодость, а тут и юбилей книги подоспел. Так что вот, рассказываю вам.
🔥24❤🔥9❤5👍1🤮1💩1
Первый доклад в новом CS Space прошёл в воскресенье. Кажется, прошёл успешно, как будет видео, обязательно выложу. Пока прислали фоточки, так что вот вам минутка самолюбования. :) На последних фото — организаторы CS Space, которым большое спасибо за приглашение и огромных успехов в этом начинании! Подписывайтесь на канал CS Space и приходите на будущие курсы и лекции.
Но уже пора анонсировать следующий мой доклад: в это воскресенье поговорим о том, какие есть риски, связанные с развитием искусственного интеллекта, и как мы, человечество, с этими рисками пытаемся справиться. Spoiler: риски есть, а пытаемся явно недостаточно.
Первый доклад я планировал разделить на две части, и первую сделать более популярной, а вторую — более технической. В итоге один "популярный" раздел пришлось перенести на вторую лекцию, но это было не так уж важно: к счастью, в перерыве ушли немногие, и вроде бы слушателям было интересно. В этот раз тоже попробуем по той же схеме: в первой части расскажу о рисках популярно и на уровне махания руками, а во второй — о современных исследованиях, которые пытаются эти риски так или иначе уменьшить.
Приходите! Тема стала более узкой и более... ммм... дискомфортной; так что думаю, что в этот раз проблем с переполнением быть не должно.
Но уже пора анонсировать следующий мой доклад: в это воскресенье поговорим о том, какие есть риски, связанные с развитием искусственного интеллекта, и как мы, человечество, с этими рисками пытаемся справиться. Spoiler: риски есть, а пытаемся явно недостаточно.
Первый доклад я планировал разделить на две части, и первую сделать более популярной, а вторую — более технической. В итоге один "популярный" раздел пришлось перенести на вторую лекцию, но это было не так уж важно: к счастью, в перерыве ушли немногие, и вроде бы слушателям было интересно. В этот раз тоже попробуем по той же схеме: в первой части расскажу о рисках популярно и на уровне махания руками, а во второй — о современных исследованиях, которые пытаются эти риски так или иначе уменьшить.
Приходите! Тема стала более узкой и более... ммм... дискомфортной; так что думаю, что в этот раз проблем с переполнением быть не должно.
❤21🔥15❤🔥5
Forwarded from CS Space
– Страница мероприятия
– 23 марта, 14:00 – 17:30
– Мраморный зал, ПОМИ РАН, наб. реки Фонтанки, 27, Санкт-Петербург
– Пожалуйста, не забудьте зарегистрироваться — это необходимое условие посещения ПОМИ РАН.
Сергей Николенко — учёный, преподаватель и практик в области машинного обучения и информатики в целом. Доктор физико-математических наук, сотрудник ПОМИ РАН, преподаватель в СПбГУ, Harbour Space University, ИТМО и НИУ ВШЭ, Head of AI в компании Synthesis AI, автор более 200 научных публикаций и нескольких книг, в том числе бестселлера «Глубокое обучение» (Питер, 2018), монографии «Synthetic Data for Deep Learning» (Springer, 2021) и прямо сейчас появляющейся в продаже книги «Машинное обучение: Основы» (Питер, 2025). Сергей ведёт исследования в разных областях, от улучшения больших языковых моделей до анализа алгоритмов и теоретической информатики, применяет машинное обучение в реальных проектах, пишет посты и книги, ведет телеграм-канал «Sinекура» (@sinecor), а также стал двукратным чемпионом мира по «Что? Где? Когда?».
Многие исследователи считают, что создание настоящего сильного искусственного интеллекта (artificial general intelligence, AGI) уже не за горами. Во второй части нашего разговора мы именно это и обсудим: когда появится AGI, как мы об этом узнаем и, главное, готовы ли мы к этому? Нужно ли нам бояться AGI и если нужно, то чего именно и над чем нам в этом контексте работать? Почему такие люди, как Джеффри Хинтон, Йошуа Бенджи и Билл Гейтс, говорят, что создание AGI может быть экзистенциальным риском для человечества?
В этой части я надеюсь не только поговорить о рисках, но и дать достаточно полный обзор основных направлений исследований, которые люди сейчас ведут в области AI safety. Это очень молодая область, и очень сложная — в основном мы не знаем даже, как хорошо поставить ту или иную задачу. Но заниматься ей надо, и мы поговорим о том, как люди пытаются это делать. Как и в первой части, доклад не будет требовать глубокого знания технических аспектов машинного обучения, но некоторые идеи я всё-таки надеюсь рассказать.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤11🔥7🤮1
Видео из CS Space появилось, но пока оно мне не нравится: слайды в нём почему-то сильно засвечены, что иногда прямо мешает восприятию. Так что постараюсь переделать, а пока вот вчерашние лекции из СПбГУ по расписанию.
Мы в прошлый раз начали, а в этот продолжили говорить о графических вероятностных моделях. По сути это удобный и элегантный способ (точнее, несколько разных способов) представить сложные вероятностные зависимости в виде графа. Узлы такого графа — это случайные переменные, а связи между ними показывают, как они влияют друг на друга (точнее, их условные и безусловные [не]зависимости между собой).
Когда впервые слышишь о графических моделях, на ум приходят применения вроде представления знаний и вероятностного вывода в стиле MYCIN из 1970-х: как по набору симптомов, уложенному в такой граф экспертным путём, поставить диагноз. Изначально для этого графические модели в 1980-х и разрабатывались, и такие применения, конечно, тоже есть.
Но на самом деле это просто язык, на котором говорят целые большие разделы машинного обучения. Как объяснить, например, ваш вариант скрытой марковской модели или тематической модели LDA? Можно — и нужно, конечно! — написать новые, изменившиеся формулы. Скорее всего, у вашей модели есть что-то общее с базовой, но в ней появились новые переменные, а в правдоподобии, соответственно, — новые сомножители. Но формулы часто бывает не так легко понять интуитивно, и если в дополнение к формуле нарисовать графическую модель, то структура ваших предположений сразу станет гораздо понятнее. На этом языке мы и дальше будем постоянно "разговаривать" в курсе.
Кроме того, в некоторых случаях такие графы полезны и непосредственно. Если фактор-граф модели представляет собой дерево, то на нём можно запустить простой и быстрый алгоритм передачи сообщений, который сделает точный вероятностный вывод (маргинализацию). Это было основное техническое содержание первой части лекции.
Но алгоритм передачи сообщений помогает не так часто; обычно фактор-граф сложной модели всё-таки отнюдь не является деревом, и нужно вести приближённый вывод. Поэтому во второй части мы начали говорить о сэмплировании; о нём напишу в следующий раз, когда доберёмся до методов Markov chain Monte Carlo (MCMC).
https://www.youtube.com/watch?v=PUXyA0FbRbk
Мы в прошлый раз начали, а в этот продолжили говорить о графических вероятностных моделях. По сути это удобный и элегантный способ (точнее, несколько разных способов) представить сложные вероятностные зависимости в виде графа. Узлы такого графа — это случайные переменные, а связи между ними показывают, как они влияют друг на друга (точнее, их условные и безусловные [не]зависимости между собой).
Когда впервые слышишь о графических моделях, на ум приходят применения вроде представления знаний и вероятностного вывода в стиле MYCIN из 1970-х: как по набору симптомов, уложенному в такой граф экспертным путём, поставить диагноз. Изначально для этого графические модели в 1980-х и разрабатывались, и такие применения, конечно, тоже есть.
Но на самом деле это просто язык, на котором говорят целые большие разделы машинного обучения. Как объяснить, например, ваш вариант скрытой марковской модели или тематической модели LDA? Можно — и нужно, конечно! — написать новые, изменившиеся формулы. Скорее всего, у вашей модели есть что-то общее с базовой, но в ней появились новые переменные, а в правдоподобии, соответственно, — новые сомножители. Но формулы часто бывает не так легко понять интуитивно, и если в дополнение к формуле нарисовать графическую модель, то структура ваших предположений сразу станет гораздо понятнее. На этом языке мы и дальше будем постоянно "разговаривать" в курсе.
Кроме того, в некоторых случаях такие графы полезны и непосредственно. Если фактор-граф модели представляет собой дерево, то на нём можно запустить простой и быстрый алгоритм передачи сообщений, который сделает точный вероятностный вывод (маргинализацию). Это было основное техническое содержание первой части лекции.
Но алгоритм передачи сообщений помогает не так часто; обычно фактор-граф сложной модели всё-таки отнюдь не является деревом, и нужно вести приближённый вывод. Поэтому во второй части мы начали говорить о сэмплировании; о нём напишу в следующий раз, когда доберёмся до методов Markov chain Monte Carlo (MCMC).
https://www.youtube.com/watch?v=PUXyA0FbRbk
YouTube
СПбГУ -- 2025.03.18 -- Алгоритм передачи сообщений, сэмплирование в машинном обучении
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
🔥16❤🔥4🤣1
Видео из CS Space цветокорректировали, и оно стало гораздо лучше. Меня всё ещё подмывает всё переделать и вставить слайды картинками, но на это надо потратить несколько часов, а прорекламировать канал CS Space всё равно хорошо и правильно, так что вот вам ссылка пока что на него.
А почему у меня нет на это сейчас нескольких часов? Потому что я готовлюсь к лекциям в воскресенье! В отличие от первой части, стандартного доклада "State of AI", который у меня просто обновляется последними новостями (и всё равно такое обновление занимает день-два перед каждой итерацией), подробные лекции об AI Safety мне приходится делать почти с нуля. Сейчас у меня около двухсот слайдов, и конца пока не видно.)
Поэтому в анонсе доклада я не мог пообещать ничего, кроме общих слов — а теперь уже могу! Мы поговорим не только о том, как AGI выбирается из ящика, заменяет всех программистов и покрывает мир канцелярскими скрепками, хотя и об этом тоже. Но главное — я постараюсь обсудить основные разделы и результаты сегодняшнего AI Safety:
— основные определения (там много интересного, определять такие вещи трудно);
— goodharting (термин от "Goodhart's Law", покрывающий specification gaming, reward hacking и тому подобные вещи);
— интерпретируемость (в основном mechanistic interpretability по Крису Ола);
— то, что я назвал "sparks of misalignment": интересные примеры поведения LLM и других AI-агентов, в том числе очень свежие.
В начале года, кстати, вышел большой отчёт о рисках и состоянии AI safety, первым автором в котором был не кто-нибудь, а Йошуа Бенджи; мысли оттуда мы тоже обсудим.
Регистрируйтесь и приходите! Сейчас, когда все темы и основные идеи новых лекций у меня уже определились, я искренне считаю, что этот доклад будет интереснее первого.
https://www.youtube.com/watch?v=fCOr8qX0sG0&ab_channel=ComputerScienceSpace
А почему у меня нет на это сейчас нескольких часов? Потому что я готовлюсь к лекциям в воскресенье! В отличие от первой части, стандартного доклада "State of AI", который у меня просто обновляется последними новостями (и всё равно такое обновление занимает день-два перед каждой итерацией), подробные лекции об AI Safety мне приходится делать почти с нуля. Сейчас у меня около двухсот слайдов, и конца пока не видно.)
Поэтому в анонсе доклада я не мог пообещать ничего, кроме общих слов — а теперь уже могу! Мы поговорим не только о том, как AGI выбирается из ящика, заменяет всех программистов и покрывает мир канцелярскими скрепками, хотя и об этом тоже. Но главное — я постараюсь обсудить основные разделы и результаты сегодняшнего AI Safety:
— основные определения (там много интересного, определять такие вещи трудно);
— goodharting (термин от "Goodhart's Law", покрывающий specification gaming, reward hacking и тому подобные вещи);
— интерпретируемость (в основном mechanistic interpretability по Крису Ола);
— то, что я назвал "sparks of misalignment": интересные примеры поведения LLM и других AI-агентов, в том числе очень свежие.
В начале года, кстати, вышел большой отчёт о рисках и состоянии AI safety, первым автором в котором был не кто-нибудь, а Йошуа Бенджи; мысли оттуда мы тоже обсудим.
Регистрируйтесь и приходите! Сейчас, когда все темы и основные идеи новых лекций у меня уже определились, я искренне считаю, что этот доклад будет интереснее первого.
https://www.youtube.com/watch?v=fCOr8qX0sG0&ab_channel=ComputerScienceSpace
YouTube
State of AI: Откуда мы пришли, кто мы и куда мы идём? | Сергей Николенко
– Сергей Николенко, https://t.iss.one/sinecor
– Страница мероприятия: https://csspace.io/open-lecture/2025-stateAI
– Telegram: https://t.iss.one/csspace_io
00:23 Революции AI
13:00 ML, DL, трансформеры…
01:11:34 Масштабирование и прогресс
01:41:18 Примеры возможностей…
– Страница мероприятия: https://csspace.io/open-lecture/2025-stateAI
– Telegram: https://t.iss.one/csspace_io
00:23 Революции AI
13:00 ML, DL, трансформеры…
01:11:34 Масштабирование и прогресс
01:41:18 Примеры возможностей…
❤25❤🔥9🔥9👍5🤯1🥴1
Лекция сегодня, кажется, получилась хорошая, но запись будет потом, а пока вот новый пост в блоге Synthesis AI:
The Creativity Scale: Can AI Do Science?
Относительно короткий в этот раз — написал про две новости, которые обсуждал в том числе в предыдущей лекции, о том, как AI прямо сейчас может помогать в научных исследованиях. По сути я уже тут писал об одной из этих новостей, повторять не буду. Зато в посте сделал картинку со "шкалой креативности", которая ничего не формализует, конечно, но мне кажется понятной и довольно удобной.
Отдельно отмечу, что когда я спросил ChatGPT o1 pro, что она думает о том, где что находится на этой шкале, она в целом со мной согласилась, и себя поставила на шестёрочку, но вот системы со scaffolding'ом для науки уже оценила выше среднего аспиранта.) Это, конечно, ничего не доказывает и даже не подтверждает (o1 pro, естественно, считает такие системы "hypothetical or emerging"), просто забавно.
The Creativity Scale: Can AI Do Science?
Относительно короткий в этот раз — написал про две новости, которые обсуждал в том числе в предыдущей лекции, о том, как AI прямо сейчас может помогать в научных исследованиях. По сути я уже тут писал об одной из этих новостей, повторять не буду. Зато в посте сделал картинку со "шкалой креативности", которая ничего не формализует, конечно, но мне кажется понятной и довольно удобной.
Отдельно отмечу, что когда я спросил ChatGPT o1 pro, что она думает о том, где что находится на этой шкале, она в целом со мной согласилась, и себя поставила на шестёрочку, но вот системы со scaffolding'ом для науки уже оценила выше среднего аспиранта.) Это, конечно, ничего не доказывает и даже не подтверждает (o1 pro, естественно, считает такие системы "hypothetical or emerging"), просто забавно.
❤20❤🔥8👍4😐1
Сегодняшние лекции начались с MCMC-сэмплирования (Markov chain Monte Carlo); это один из главных инструментов приближённого вывода в сложных вероятностных моделях, очень красивая идея, которая известна как алгоритм Метрополиса-Гастингса. В детали вдаваться не буду, но любопытно, что придумали его физики ещё в 1953 году, в статье "Equation of State Calculations by Fast Computing Machines"; первым автором был действительно Николас Метрополис, а вот последним — Эдвард Теллер, тот самый, участник Манхэттенского проекта и отец водородной бомбы. Так что Метрополису (и позже обобщившему алгоритм Гастингсу) сильно повезло, что это не алгоритм "Теллера и каких-то ещё непонятных чуваков".
А во второй части показывал свой любимый пример из этой части курса: SIR-модели в эпидемиологии. Я сам узнал об этих моделях как раз когда ковид шагал по планете, и до сих пор в восторге от того, как там всё вместе сходится: глобальная EM-схема для обучения, стохастический алгоритм Витерби в скрытых марковских моделях для E-шага этой схемы, сэмплирование по Гиббсу для M-шага, а потом ещё как вишенка на торте при обучении появляется мини-EM в точности как в моём рейтинге спортивного ЧГК. И это я ещё рассказываю модель в упрощённом виде, с дискретными переходами, а так там по умолчанию всё в непрерывном времени происходит.
Полный восторг, в общем. Правда, к концу лекции компьютер мой не выдержал неизвестно чего, и в записи появились статтеры и целые небольшие участки в 5fps. Но вроде ничего страшного.
https://youtu.be/xOuUiPkXmw8
А во второй части показывал свой любимый пример из этой части курса: SIR-модели в эпидемиологии. Я сам узнал об этих моделях как раз когда ковид шагал по планете, и до сих пор в восторге от того, как там всё вместе сходится: глобальная EM-схема для обучения, стохастический алгоритм Витерби в скрытых марковских моделях для E-шага этой схемы, сэмплирование по Гиббсу для M-шага, а потом ещё как вишенка на торте при обучении появляется мини-EM в точности как в моём рейтинге спортивного ЧГК. И это я ещё рассказываю модель в упрощённом виде, с дискретными переходами, а так там по умолчанию всё в непрерывном времени происходит.
Полный восторг, в общем. Правда, к концу лекции компьютер мой не выдержал неизвестно чего, и в записи появились статтеры и целые небольшие участки в 5fps. Но вроде ничего страшного.
https://youtu.be/xOuUiPkXmw8
YouTube
СПбГУ -- 2025.03.25 -- MCMC сэмплирование, развёрнутый пример SIR моделей
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
❤🔥17🔥13👍2
В последние год-два я рисовал картинки для лекций, постов и (obligatory self-promotion) книги "Машинное обучение: основы" локальными моделями, сначала разными версиями Stable Diffusion, а потом (и до сих пор) следующей итерацией диффузионных моделей — FLUX.1-dev; это очень крутая модель, лучше варианта из тех, что можно себе на десктоп поставить, я не знаю.
Пользовался именно локальными, потому что от порождающих моделей сложно с первого раза добиться того, что требуется, и я всегда генерировал десятки картинок и выбирал из них лучшие, а это не очень сходится ни с usage limits, которые обычно всё-таки есть, ни вообще с концепцией рисовать картинки в чате с моделью.
Но вот вчера OpenAI выкатил интерактивное рисование картинок в GPT-4o, и это для меня может быть game changer. Это то самое редактирование изображений промптами, которое, кажется, действительно хорошо работает и может менять стиль и добавлять детали в готовую картинку — а для иллюстраций ведь именно это и требуется!
Кстати, любопытно, что это авторегрессионное рисование, вот что пишут в system card (правда, деталей сверх этой одной фразы вроде нет нигде):
Попробовал пока один пример, и хотя перерисовать фото с нестандартной композицией GPT-4o всё-таки не справился, если согласиться на более стандартную, всё получается замечательно. ChatGPT по-прежнему не позволяет расшаривать чаты с картинками, так что прилагаю сами картинки, а ниже запросы, которые к ним привели. Как видите, гуру промптинга быть совершенно не требуется (а для Stable Diffusion и FLUX всё-таки надо было что-то понимать). Нумерую запросы по порядку картинок в посте.
Пользовался именно локальными, потому что от порождающих моделей сложно с первого раза добиться того, что требуется, и я всегда генерировал десятки картинок и выбирал из них лучшие, а это не очень сходится ни с usage limits, которые обычно всё-таки есть, ни вообще с концепцией рисовать картинки в чате с моделью.
Но вот вчера OpenAI выкатил интерактивное рисование картинок в GPT-4o, и это для меня может быть game changer. Это то самое редактирование изображений промптами, которое, кажется, действительно хорошо работает и может менять стиль и добавлять детали в готовую картинку — а для иллюстраций ведь именно это и требуется!
Кстати, любопытно, что это авторегрессионное рисование, вот что пишут в system card (правда, деталей сверх этой одной фразы вроде нет нигде):
Unlike DALL·E, which operates as a diffusion model, 4o image generation is an autoregressive model natively embedded within ChatGPT.
Попробовал пока один пример, и хотя перерисовать фото с нестандартной композицией GPT-4o всё-таки не справился, если согласиться на более стандартную, всё получается замечательно. ChatGPT по-прежнему не позволяет расшаривать чаты с картинками, так что прилагаю сами картинки, а ниже запросы, которые к ним привели. Как видите, гуру промптинга быть совершенно не требуется (а для Stable Diffusion и FLUX всё-таки надо было что-то понимать). Нумерую запросы по порядку картинок в посте.
(1) [фото Майлза, приложил его к первому запросу]
(2) hi! can you redraw this photo in disney/pixar animation style while keeping the cat recognizable?
(3) wow, that's nice, thank you! and can you now do the same photo in a renaissance painting style?
(4) all right! and now please make the cat even fatter, Rubens style, and add a peacock feather to one of its paws while keeping the general oil painting style
(5) okay great but please return to the original composition, with the cat lying on its back upside down on a sofa; the fat and the feather are great, keep them; and also add a colorful beret on the cat's head
(6) [переприложил фото Майлза ещё раз]
nah, now the anatomy is wrong; let's start over
please redraw this photo with the same composition but as a Peter Paul Rubens painting, with the cat much fatter; also please add a peacock feather to one of the cat's paws and a colorful beret on its head
🔥33❤13👍3💔1
Выложили мой доклад про AI Safety, который был в CS Space в воскресенье. Спасибо организаторам, что не прерывали, я, конечно, многие части прошёл в ускоренном темпе, но прошёл все, а видео в итоге получилось на 4 часа 12 минут чистого времени.
https://www.youtube.com/watch?v=PkYDScQg5PU&ab_channel=ComputerScienceSpace
Цель была в том, чтобы рассказать не только о том, почему AGI имеет все шансы уничтожить человечество, но и по существу о том, как человечество пытается сделать так, чтобы эти шансы не реализовались.
По порядку в докладе:
— введение, Хинтон и Бенджи беспокоятся
— таймлайны, slow vs. fast takeoff
— mundane risks: как LLM можно использовать в неблаговидных целях
— возможные экономические трансформации
— история AI safety от Чапека и Тьюринга
— аргументы об экзистенциальном риске
— разбор стандартных возражений
— основные определения: emergence, mesa-optimization, alignment, corrigibility
— пример конкретного направления: подхалимство (sycophancy) и как его уменьшить
— интроспекция / situational awareness: понимают ли модели свою ситуацию
— goodharting (закон Гудхарта), его частные случаи и яркие примеры reward hacking
— механистическая интерпретируемость: схемы, поиск признаков автокодировщиками
— sparks of misalignment (примеры): sleeper agents, alignment faking, emergent misalignment...
— заключение: что сейчас делают государства, учёные и компании, как LLM-агенты играют в википедию
Это было нелегко, потому что это был на 80% новый доклад с новыми слайдами и новыми идеями, которые я слышал раньше, конечно, но никогда сам не рассказывал. Пара накладок действительно случилась, но в основном, кажется, справился и результатом доволен.
А если вы хотите услышать одну cool story из доклада, отправляйтесь на таймкод 3:48:20 и послушайте буквально 5-7 минут про emergent misalignment. Эта работа вышла месяц назад (Betley et al., Feb 24, 2025), и это просто офигенно; не буду спойлерить, посмотрите сами.
https://www.youtube.com/watch?v=PkYDScQg5PU&ab_channel=ComputerScienceSpace
Цель была в том, чтобы рассказать не только о том, почему AGI имеет все шансы уничтожить человечество, но и по существу о том, как человечество пытается сделать так, чтобы эти шансы не реализовались.
По порядку в докладе:
— введение, Хинтон и Бенджи беспокоятся
— таймлайны, slow vs. fast takeoff
— mundane risks: как LLM можно использовать в неблаговидных целях
— возможные экономические трансформации
— история AI safety от Чапека и Тьюринга
— аргументы об экзистенциальном риске
— разбор стандартных возражений
— основные определения: emergence, mesa-optimization, alignment, corrigibility
— пример конкретного направления: подхалимство (sycophancy) и как его уменьшить
— интроспекция / situational awareness: понимают ли модели свою ситуацию
— goodharting (закон Гудхарта), его частные случаи и яркие примеры reward hacking
— механистическая интерпретируемость: схемы, поиск признаков автокодировщиками
— sparks of misalignment (примеры): sleeper agents, alignment faking, emergent misalignment...
— заключение: что сейчас делают государства, учёные и компании, как LLM-агенты играют в википедию
Это было нелегко, потому что это был на 80% новый доклад с новыми слайдами и новыми идеями, которые я слышал раньше, конечно, но никогда сам не рассказывал. Пара накладок действительно случилась, но в основном, кажется, справился и результатом доволен.
А если вы хотите услышать одну cool story из доклада, отправляйтесь на таймкод 3:48:20 и послушайте буквально 5-7 минут про emergent misalignment. Эта работа вышла месяц назад (Betley et al., Feb 24, 2025), и это просто офигенно; не буду спойлерить, посмотрите сами.
🔥35❤9❤🔥7👍2😱1
Пятничный пост! На этот раз про новый GPT-4o, который действительно сделал большой скачок вперёд в рисовании картинок. Это особенно хорошо видно на примере текста: Flux, которым я пользовался раньше, мог написать примерно три слова (или нет), но любой длинный текст превращался в случайные буквы и закорючки. Нынешний GPT-4o пишет текст почти идеально, ошибки редки и не мешают восприятию.
Поэтому теперь GPT-4o может сделать, например, полный цикл для вот такой манги (на картинках три отдельных мини-сюжета по три страницы). GPT до сих пор не даёт расшаривать чаты с картинками, поэтому поверьте на слово, что это сделано буквально так:
— сначала один исходный промпт, в котором я попросил написать раскадровки для манги (см. ниже);
— потом отдельным чатом копирую одну из идей, даю фото персонажей (обычные живые фото) и прошу рисовать страница за страницей;
— не всегда страница манги получается хорошо с первого раза, но больше трёх раз я ни одну из этих не генерировал, в среднем по два раза, наверное.
И вот насколько уж я привык к прогрессу в AI, а всё равно вчера очень поразился, когда такие вещи реально начали работать. Полный замкнутый цикл, я ничего не правил в раскадровках, только работал скриптом для копирования промптов — и вот три мини-истории с текстом и консистентными узнаваемыми персонажами, взятыми из фотографий, которые я приложил.
По содержанию это, конечно, не xkcd и даже не SMBC (кстати, GPT-4o отказался рисовать в стиле SMBC по соображениям копирайта, но это уже другая забавная история). Добро, наивно и по нынешним временам не смешно, стиль слегка гуляет от страницы к странице — но такой comic strip был бы вполне на месте в какой-нибудь юмористической колонке научно-популярного журнала пятидесятилетней давности, если вы понимаете, о чём я. Пишу и думаю, что ведь и этот generic манга-стиль тоже из тех времён, так что не исключено, что если попросить нарисовать в более современном стиле, то и юмор станет более современным... надо будет попробовать. А отдельные картинки вообще классные, панель с "Wait... am I the superintelligence?" я непременно использую при случае.)
Ниже — исходный промпт целиком, это весь мой input, не считая просьб переделать страницу время от времени. Как видите, я ни разу не гуру промптинга, да оказалось и не надо:
Поэтому теперь GPT-4o может сделать, например, полный цикл для вот такой манги (на картинках три отдельных мини-сюжета по три страницы). GPT до сих пор не даёт расшаривать чаты с картинками, поэтому поверьте на слово, что это сделано буквально так:
— сначала один исходный промпт, в котором я попросил написать раскадровки для манги (см. ниже);
— потом отдельным чатом копирую одну из идей, даю фото персонажей (обычные живые фото) и прошу рисовать страница за страницей;
— не всегда страница манги получается хорошо с первого раза, но больше трёх раз я ни одну из этих не генерировал, в среднем по два раза, наверное.
И вот насколько уж я привык к прогрессу в AI, а всё равно вчера очень поразился, когда такие вещи реально начали работать. Полный замкнутый цикл, я ничего не правил в раскадровках, только работал скриптом для копирования промптов — и вот три мини-истории с текстом и консистентными узнаваемыми персонажами, взятыми из фотографий, которые я приложил.
По содержанию это, конечно, не xkcd и даже не SMBC (кстати, GPT-4o отказался рисовать в стиле SMBC по соображениям копирайта, но это уже другая забавная история). Добро, наивно и по нынешним временам не смешно, стиль слегка гуляет от страницы к странице — но такой comic strip был бы вполне на месте в какой-нибудь юмористической колонке научно-популярного журнала пятидесятилетней давности, если вы понимаете, о чём я. Пишу и думаю, что ведь и этот generic манга-стиль тоже из тех времён, так что не исключено, что если попросить нарисовать в более современном стиле, то и юмор станет более современным... надо будет попробовать. А отдельные картинки вообще классные, панель с "Wait... am I the superintelligence?" я непременно использую при случае.)
Ниже — исходный промпт целиком, это весь мой input, не считая просьб переделать страницу время от времени. Как видите, я ни разу не гуру промптинга, да оказалось и не надо:
hi! this is me, Sergey, and this is my cat Miles [фото приложены]
can you draw out a detailed plan for a short and funny manga about us? I want the setting to be me (Sergey) delivering a talk about AI and the dangers of superintelligence
please think of a funny and whimsical way to continue this that involves the cat Miles and maybe other characters at your convenience; maybe somebody asks a question at the talk, or goes to meet me at the afterparty, or kidnaps Miles for ransom, anything goes! please maximize the humor
do a detailed description of all panels in the manga; it shouldn't be longer than 3-5 pages
please generate 3-5 different manga ideas
🔥33❤10😍3🤯2💘2🤩1👾1