Forwarded from ☕️ Мерлин заваривает τσάι 🐌
Группа Alignment Research Center поручили тестировать превью GPT-4.
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
❤25🤯4👍3
Сейчас за час забилдил простенький сайт на typescript, react и material ui, который дает базовый интерфэйс к ChatGPT. Это первый шажочек моего нового пет проекта.
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
👍60😁4😢1
PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
Но по-настоящему самая главная фича (потому что её я написал) это что
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича:
torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.Но по-настоящему самая главная фича (потому что её я написал) это что
__repr__ ModuleList теперь выглядит компактно когда модули повторяются.❤51👍13👏4
Новый поисковик Neeva.com запустил восхитительно аггресивную, но прекрасную маркетинговую компанию.
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
😁31👍3❤1
🙏19😁2
Новая подборка новостей из мира NLP
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
👍19💅4🤝3🔥2
На случай если вы живёте/учитесь в США, а конкретно недалеко от Бостона, мы в UMass Lowell проводим второй New England NLP Meetup.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
👍25🤡6
GitHub Copilot X: The AI-powered developer experience
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
The GitHub Blog
GitHub Copilot X: The AI-powered developer experience
GitHub Copilot is evolving to bring chat and voice interfaces, support pull requests, answer questions, and adopt OpenAI's GPT-4.
👍27❤1
Forwarded from HN Best Comments
Re: GitHub Copilot X: The AI-powered developer experie...
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
👍7❤1
Тут Microsoft Research говорит что GPT4 - это AGI
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
🤔32👍7😱7🤡5❤4🔥4❤🔥1