Три дня назад OpenAI выпустили документ под названием "Planning for AGI and beyond". В нем — общие принципы действий компании по мере того, как мир приближается к созданию AGI (Artificial General Intelligence).
Написали его OpenAI из идеи, что AI потенциально может принести людям много вреда, однако пытаться остановить прогресс — не вариант. Поэтому нужно понять, как продолжить этот прогресс так, чтобы не стало очень плохо.
Документ вот. Я тут выделю несколько ключевых (на мой взгляд) моментов из него:
✔️ В целом, мы хотим, чтобы AGI помогал человеку процветать во всех сферах жизни. В частности, экономически и научно.
✔️ Вместо того, чтобы сделать супер-крутой большой AI и сразу кинуть его в мир, мы будем придерживаться постепенного, медленного внедрения все более сложных и "умных" моделей. Идея такая: плавное увеличение способностей AI не повергнет мир в шок, и даст людям время приспособиться, адаптировать экономику и выработать нужные регламенты (а-ля законы) по взаимодействию с AI.
✔️ Более того, OpenAI предлагает всем крупным организациям договориться следовать правилу выше (выкатывать сильный AI постепенно). Также предлагает организовать независимые аудиты больших систем до их релиза в массы и ограничить количество вычислительных ресурсов, которые могут использоваться для тренировки моделей. В целом, OpenAI предлагает организациям сотрудничать в повышении безопасности AI вместо того, чтобы участвовать в гонках вида "кто первый выкатит модель покруче и побольше"
И вот еще интересная приписка к абзацу с этими мыслями: "Finally, we think it’s important that major world governments have insight about training runs above a certain scale". Вот тут хочется подробнее услышать о том, что OpenAI имеет в виду. На первый взгляд мне не кажется это предложение таким уж прям хорошим.
✔️ В то же время мы хотим, чтобы AI был максимально открыт для всех, и открыт для всех одинаково: "мы считаем, что будущее человечества должны определять сами люди, поэтому верим, что очень важно делиться информацией о прогрессе AI со всеми". Как достичь такого равенства, пока не очень понятно, поэтому OpenAI пишут следующее: "we hope for a global conversation about ... how to fairly distribute the benefits they [AI models] generate, and how to fairly share access".
✔️ Будем работать над созданием более согласованных и управляемых моделей. Тут речь, насколько я понимаю, про bias и нежелательное поведение моделей (вроде вот такого). У OpenAI идея тут такая: выпустить в массы версию модели, которая будет довольно ограничена, но при этом разрешить пользователям настраивать модельку под себя. Честно, не очень понимаю, как это поможет сделать модельк в целом менее biased (пользователи чего только там "под себя" не настроят). Разве что снимет с компании ответственность за подобное поведение модельки.
В целом, имхо, документ ведет в правильном направлении. Но у меня возник небольшой диссонанс между "мы не будем сразу показывать крутые модельки публике, а будем о них говорить государствам" и "люди должны знать о прогрессе AI".
Будем ждать подробных разъяснений от OpenAI по всем пунктам, короче.
_______
Источник | #dl_stories
🔥 Бот для скачивания видео и музыки
💎 Клевые аксессуары из бисера
🤖 Бесплатно ChatGPT с AnnAi
⛵️MidJourney в Telegram
Написали его OpenAI из идеи, что AI потенциально может принести людям много вреда, однако пытаться остановить прогресс — не вариант. Поэтому нужно понять, как продолжить этот прогресс так, чтобы не стало очень плохо.
Документ вот. Я тут выделю несколько ключевых (на мой взгляд) моментов из него:
✔️ В целом, мы хотим, чтобы AGI помогал человеку процветать во всех сферах жизни. В частности, экономически и научно.
✔️ Вместо того, чтобы сделать супер-крутой большой AI и сразу кинуть его в мир, мы будем придерживаться постепенного, медленного внедрения все более сложных и "умных" моделей. Идея такая: плавное увеличение способностей AI не повергнет мир в шок, и даст людям время приспособиться, адаптировать экономику и выработать нужные регламенты (а-ля законы) по взаимодействию с AI.
✔️ Более того, OpenAI предлагает всем крупным организациям договориться следовать правилу выше (выкатывать сильный AI постепенно). Также предлагает организовать независимые аудиты больших систем до их релиза в массы и ограничить количество вычислительных ресурсов, которые могут использоваться для тренировки моделей. В целом, OpenAI предлагает организациям сотрудничать в повышении безопасности AI вместо того, чтобы участвовать в гонках вида "кто первый выкатит модель покруче и побольше"
И вот еще интересная приписка к абзацу с этими мыслями: "Finally, we think it’s important that major world governments have insight about training runs above a certain scale". Вот тут хочется подробнее услышать о том, что OpenAI имеет в виду. На первый взгляд мне не кажется это предложение таким уж прям хорошим.
✔️ В то же время мы хотим, чтобы AI был максимально открыт для всех, и открыт для всех одинаково: "мы считаем, что будущее человечества должны определять сами люди, поэтому верим, что очень важно делиться информацией о прогрессе AI со всеми". Как достичь такого равенства, пока не очень понятно, поэтому OpenAI пишут следующее: "we hope for a global conversation about ... how to fairly distribute the benefits they [AI models] generate, and how to fairly share access".
✔️ Будем работать над созданием более согласованных и управляемых моделей. Тут речь, насколько я понимаю, про bias и нежелательное поведение моделей (вроде вот такого). У OpenAI идея тут такая: выпустить в массы версию модели, которая будет довольно ограничена, но при этом разрешить пользователям настраивать модельку под себя. Честно, не очень понимаю, как это поможет сделать модельк в целом менее biased (пользователи чего только там "под себя" не настроят). Разве что снимет с компании ответственность за подобное поведение модельки.
В целом, имхо, документ ведет в правильном направлении. Но у меня возник небольшой диссонанс между "мы не будем сразу показывать крутые модельки публике, а будем о них говорить государствам" и "люди должны знать о прогрессе AI".
Будем ждать подробных разъяснений от OpenAI по всем пунктам, короче.
_______
Источник | #dl_stories
🔥 Бот для скачивания видео и музыки
💎 Клевые аксессуары из бисера
🤖 Бесплатно ChatGPT с AnnAi
⛵️MidJourney в Telegram
Openai
Planning for AGI and beyond
Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.
В продолжение к посту выше: эта история мне напомнила еще один недавний случай, где метрика сыграла большую роль. Не так давно в Твиттере/Реддите стали появляться сообщения, что ChatGPT что-то "сильно отупела". Конкретно, в задачах, где нужно генерировать код, стала выдавать невалидный код. Который тупо не запускается. Потом еще ребята из Стенфорда выпустили статью, где основательно сравнили перформанс ChatGPT и GPT-4 в марте и июне 2023 года. Эти сравнения были очень выразительными: в марте где-то 50% кода, выданного ChatGPT, было корректным, а в июне этот показатель стал 10%. Вот твит с парой таких картинок.
Это навело какую-то шумиху, я даже в нескольких чатах видела обсуждение (ну и правда, было интересно, что такое случилось). Ну а что же там произошло на самом деле: оказывается, снова дело было в метрике. В том, как авторы статьи измеряли "корректность" кода, выданного ChatGPT. Измерялась она, похоже, так: берем код, который выдает модель, запускаем. Запустилось — хорошо, не запустилось — плохо. И с мартовской версией ChatGPT большинство кода работало, с июньской версией перестало. В чем же дело?
А дело в том, что OpenAI поменяла вид, в котором ChatGPT выдает код. Теперь весь код в выводе обрамляется кавычками, и рядом еще ставится приписка, какой язык программирования используется. И именно это нововведение сломало прямой запуск кода в выводе ChatGPT. Т.е. модель продолжила выдавать правильный код, но запуск этого кода стал ломаться из-за добавленных кавычек.
Вот такая история. Подробнее про нее и другие аспекты этой статьи можно почитать в Сиолошной. Это еще один повод, чтобы чуть исследовать удивительные открытия, перед тем как писать "this is huge" (сори, у меня немного аллергия на посты, которые начинаются с таких фраз)
_______
Источник | #dl_stories
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot
Это навело какую-то шумиху, я даже в нескольких чатах видела обсуждение (ну и правда, было интересно, что такое случилось). Ну а что же там произошло на самом деле: оказывается, снова дело было в метрике. В том, как авторы статьи измеряли "корректность" кода, выданного ChatGPT. Измерялась она, похоже, так: берем код, который выдает модель, запускаем. Запустилось — хорошо, не запустилось — плохо. И с мартовской версией ChatGPT большинство кода работало, с июньской версией перестало. В чем же дело?
А дело в том, что OpenAI поменяла вид, в котором ChatGPT выдает код. Теперь весь код в выводе обрамляется кавычками, и рядом еще ставится приписка, какой язык программирования используется. И именно это нововведение сломало прямой запуск кода в выводе ChatGPT. Т.е. модель продолжила выдавать правильный код, но запуск этого кода стал ломаться из-за добавленных кавычек.
Вот такая история. Подробнее про нее и другие аспекты этой статьи можно почитать в Сиолошной. Это еще один повод, чтобы чуть исследовать удивительные открытия, перед тем как писать "this is huge" (сори, у меня немного аллергия на посты, которые начинаются с таких фраз)
_______
Источник | #dl_stories
@F_S_C_P
Узнай судьбу картами Таро:
✨Anna Taro bot
Reddit
From the ChatGPT community on Reddit
Explore this post and more from the ChatGPT community