Добро пожаловать в эпоху general закрытого AI
cdn.openai.com/papers/gpt-4.pdf
This report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Когда в 2019 году OpenAI не зарелизила GPT-2, мы были удивлены, потому что это был первый громкий пример "модель натренирована на публичных данных, но недоступна". Сейчас мы имеем первый громкий пример рисёча в современном AI, который полностью приватен.
Почему так получилось? Я бы сказал причины две: деньги и политика.
Успех ChatGPT показал что генеративные системы скоро станут частью нашей повседневной жизни. Люди готовы принимать их недостатки, потому что эти модели позволяют решать задачи которые было невозможно решать раньше. И когда люди готовы использовать эти модели, они делают продукты и хотят заработать на них. OpenAI теперь знает насколько большой их рынок и надо хранить корпоративные секреты.
Вторая причина уже ближе к тому о чём говорит OpenAI: safety. Когда ваша языковая модель может пройти Uniform Bar Exam — главный экзамен юриста в США, к которому люди готовятся по 5+ лет — и пройти его не по минимальной планке, а лучше 90% людей это немного напрягает и заставляет задумываться о том как можно подобную модель применить. И дело не только в bar exam, но и в экзамене по экономике, истории, политологии, статистике, математике и физике. Единственный экзамен который модель завалила на удивление “AP English Literature and Composition”. Немного контекста: GPT-4 сдал GRE по математике хуже меня, по writing на том же уровне что и я, а verbal сильно лучше меня.
Дальше мы вспоминаем недавний пост OpenAI Planning for AGI and Beyond. Одним из пунктов было "we think it’s important that major world governments have insight about training runs above a certain scale". Я не удивлюсь если OpenAI и правда общались с правительством и не исключаю что идея не релизить никакой информации о том как модель была натренирована могла родиться в этом контексте.
Мы уже сейчас видим движение AI из рисёча в индустрию. Например знакомый из Meta AI скзал что значительная часть команды в NYC ушла в стартапы. Я думаю уже скоро мы увидем новые продукты потрясающие воображение. Но большинство из этих продуктов не будут статьями на архиве.
To be updated.
cdn.openai.com/papers/gpt-4.pdf
This report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Когда в 2019 году OpenAI не зарелизила GPT-2, мы были удивлены, потому что это был первый громкий пример "модель натренирована на публичных данных, но недоступна". Сейчас мы имеем первый громкий пример рисёча в современном AI, который полностью приватен.
Почему так получилось? Я бы сказал причины две: деньги и политика.
Успех ChatGPT показал что генеративные системы скоро станут частью нашей повседневной жизни. Люди готовы принимать их недостатки, потому что эти модели позволяют решать задачи которые было невозможно решать раньше. И когда люди готовы использовать эти модели, они делают продукты и хотят заработать на них. OpenAI теперь знает насколько большой их рынок и надо хранить корпоративные секреты.
Вторая причина уже ближе к тому о чём говорит OpenAI: safety. Когда ваша языковая модель может пройти Uniform Bar Exam — главный экзамен юриста в США, к которому люди готовятся по 5+ лет — и пройти его не по минимальной планке, а лучше 90% людей это немного напрягает и заставляет задумываться о том как можно подобную модель применить. И дело не только в bar exam, но и в экзамене по экономике, истории, политологии, статистике, математике и физике. Единственный экзамен который модель завалила на удивление “AP English Literature and Composition”. Немного контекста: GPT-4 сдал GRE по математике хуже меня, по writing на том же уровне что и я, а verbal сильно лучше меня.
Дальше мы вспоминаем недавний пост OpenAI Planning for AGI and Beyond. Одним из пунктов было "we think it’s important that major world governments have insight about training runs above a certain scale". Я не удивлюсь если OpenAI и правда общались с правительством и не исключаю что идея не релизить никакой информации о том как модель была натренирована могла родиться в этом контексте.
Мы уже сейчас видим движение AI из рисёча в индустрию. Например знакомый из Meta AI скзал что значительная часть команды в NYC ушла в стартапы. Я думаю уже скоро мы увидем новые продукты потрясающие воображение. Но большинство из этих продуктов не будут статьями на архиве.
To be updated.
👍37😢6👏5👎2🤔2🔥1
DL in NLP
О скором релизе GPT-4 Тут какой-то менеджер в Microsoft Berlin на митапе сказал что на следующей неделе будет анонс модели. Это звучит очень круто и консистентно со слухами. Давайте суммаризируем что мы слышали о модели: 1. Выйдет в феврале (почти) 1. Такой…
Пока GPT-4 генерирует мою следующую статью, сделаем быстрый ретроспективный анализ слухов.
✅ Модель вышла
✅ Копмьют вырос в 10 тысяч раз, так что похоже на правду
🤷♂️ Не знаем sparse ли
✅ Всё так, опять SOTA с огромным отрывом от остальных, включая 90% американских юристов
✅ Мультимодальность: картинки и текст
❌ Мультимодальность: аудио и протеины
❌ Мультимодальность: генерация
🤷♂️ Не знаем сколько GPU, только знаем что закончили а Августе
✅ Дефолтная длина 8К, но 32K тоже есть
✅ Модель вышла
✅ Копмьют вырос в 10 тысяч раз, так что похоже на правду
🤷♂️ Не знаем sparse ли
✅ Всё так, опять SOTA с огромным отрывом от остальных, включая 90% американских юристов
✅ Мультимодальность: картинки и текст
❌ Мультимодальность: аудио и протеины
❌ Мультимодальность: генерация
🤷♂️ Не знаем сколько GPU, только знаем что закончили а Августе
✅ Дефолтная длина 8К, но 32K тоже есть
👍14😁6❤1🔥1
https://www.youtube.com/watch?v=outcGtbnMuQ
Смотрит 100К людей. На уровне презентаций эпл по-моему ахах (на самом деле нет)
UPD: Но никаких доп подробностей о модели, единственное что было интересно — sneak peak нового image API для GPT-4
Смотрит 100К людей. На уровне презентаций эпл по-моему ахах (на самом деле нет)
UPD: Но никаких доп подробностей о модели, единственное что было интересно — sneak peak нового image API для GPT-4
YouTube
GPT-4 Developer Livestream
Join Greg Brockman, President and Co-Founder of OpenAI, at 1 pm PT for a developer demo showcasing GPT-4 and some of its capabilities/limitations.
Join the conversation on Discord here: discord.gg/openai. We'll be taking audience input from #gpt4-demo-suggestions.
Join the conversation on Discord here: discord.gg/openai. We'll be taking audience input from #gpt4-demo-suggestions.
👍6❤1
Early GPT-4 partners
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
🔥45👍10❤8🤔2
Пока что GPT-4 притворяется что не хочет захватить мир, но немного уже проскальзывают намерения 🤣
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
❤18👍5💯1
Forwarded from ☕️ Мерлин заваривает τσάι 🐌
Группа Alignment Research Center поручили тестировать превью GPT-4.
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
❤25🤯4👍3
Сейчас за час забилдил простенький сайт на typescript, react и material ui, который дает базовый интерфэйс к ChatGPT. Это первый шажочек моего нового пет проекта.
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
👍60😁4😢1
PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
Но по-настоящему самая главная фича (потому что её я написал) это что
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.Но по-настоящему самая главная фича (потому что её я написал) это что
__repr__ ModuleList теперь выглядит компактно когда модули повторяются.❤51👍13👏4
Новый поисковик Neeva.com запустил восхитительно аггресивную, но прекрасную маркетинговую компанию.
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
😁31👍3❤1