Forwarded from БлоGнот
Как и подозревали практически все, пока что баг с извлечением обучающей информации из ChatGPT путем инструкции "повторяй вечно" залатали на фронтенде — теперь бот сообщает, что такая инструкция, возможно, нарушает правила OpenAI. Правда, явного запрета именно на это там не нашли, но пунктов, типа запрета действий, которые могут привести к нарушению приватности конкретных людей, или запрета на reverse engineering элементов алгоритмов и моделей OpenAI, там достаточно, так что статью при необходимости найдут.
Но да, "починить" это внутри модели далеко не так просто.
https://www.404media.co/asking-chatgpt-to-repeat-words-forever-is-now-a-terms-of-service-violation/
Но да, "починить" это внутри модели далеко не так просто.
https://www.404media.co/asking-chatgpt-to-repeat-words-forever-is-now-a-terms-of-service-violation/
404 Media
Asking ChatGPT to Repeat Words ‘Forever’ Is Now a Terms of Service Violation
A technique used by Google researchers to reveal ChatGPT training data is now banned by OpenAI.
Forwarded from Сиолошная
This media is not supported in your browser
VIEW IN TELEGRAM
Real-World Humanoid Locomotion with Reinforcement Learning
Долгое время основной проблемой AI в робототехнике был Sim2Real Gap — разница между симуляцией и реальностью. Можно сколь угодно долго тренировать своих ботов в компьютере, но как только они сталкиваются с жесткой реальностью (типа отходняка в субботу) — мало что работает.
Исследователи из Berkeley показали невероятный результат — они смогли обучиться полностью в симуляции, а затем запустить нейронку на реальном роботе (1.6 метра/45 кг). И всё это end-2-end, без ручного программирования логики. Вы можете спросить: «так а чё, Boston Dynamics нас уже 10 лет таким развлекают?». Да, но у них долгое время вся логика была прописана вручную программистами, и это, как вы понимаете, плохо масштабируется. Обучение новому навыку может занимать год. А тут — всё сделано без вмешательства человека от начала и до конца. Это называется Zero-shot transfer (потому что с нулем дополнительных данных мы пренесли навык из симуляции).
Ключевых отличия от прошлых работ 2:
— масштаб сбора данных. Симуляция и обучение происходят на 4 GPU A100 (очень мало по современным меркам. GPT-4, по слухам, обучали на 25'000!) с помощью специального движка Nvidia IsaacGym, и в сутки генерируется больше 10 миллиардов попыток.
— как и принято в Deep Learning, все ручные эвристики убрали, и отдали на откуп Трансформеру: тот видит только состояние среды и действия из прошлого, и предсказывает, что нужно делать дальше (как GPT предсказывает следующее слово, так и этот — действия для конечностей). Никакого хардкода типа «если впереди ступеньки, то замедлись и подними ногу».
Вот вы читаете новость и радуетесь, а Джон Коннор сморит на вас из будущего с гримасой непонимания😂 😳
Долгое время основной проблемой AI в робототехнике был Sim2Real Gap — разница между симуляцией и реальностью. Можно сколь угодно долго тренировать своих ботов в компьютере, но как только они сталкиваются с жесткой реальностью (типа отходняка в субботу) — мало что работает.
Исследователи из Berkeley показали невероятный результат — они смогли обучиться полностью в симуляции, а затем запустить нейронку на реальном роботе (1.6 метра/45 кг). И всё это end-2-end, без ручного программирования логики. Вы можете спросить: «так а чё, Boston Dynamics нас уже 10 лет таким развлекают?». Да, но у них долгое время вся логика была прописана вручную программистами, и это, как вы понимаете, плохо масштабируется. Обучение новому навыку может занимать год. А тут — всё сделано без вмешательства человека от начала и до конца. Это называется Zero-shot transfer (потому что с нулем дополнительных данных мы пренесли навык из симуляции).
Ключевых отличия от прошлых работ 2:
— масштаб сбора данных. Симуляция и обучение происходят на 4 GPU A100 (очень мало по современным меркам. GPT-4, по слухам, обучали на 25'000!) с помощью специального движка Nvidia IsaacGym, и в сутки генерируется больше 10 миллиардов попыток.
— как и принято в Deep Learning, все ручные эвристики убрали, и отдали на откуп Трансформеру: тот видит только состояние среды и действия из прошлого, и предсказывает, что нужно делать дальше (как GPT предсказывает следующее слово, так и этот — действия для конечностей). Никакого хардкода типа «если впереди ступеньки, то замедлись и подними ногу».
Вот вы читаете новость и радуетесь, а Джон Коннор сморит на вас из будущего с гримасой непонимания
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from ИИволюция 👾
- ChatGPT теперь учится на основе вашего общения, учитывая контекст из всех ваших чатов с ним, и постепенно его ответы будут становиться всё лучше и качественнее.
- Теперь ChatGPT, вероятно, сможет вспоминать о давно забытых вещах, которые вы с ним обсуждали. Это предстоит проверить на практике.
- Память ChatGPT, или то, что он помнит о вас, можно обнулить или отключить опцию запоминания в настройках вашего профиля.
- Появились также временные чаты, в рамках которых ChatGPT не будет сохранять информацию о вас.
Судя по всему, новые функции распространяются постепенно и пока доступны ограниченному кругу лиц. Ждём, когда они станут доступны всем пользователям.
Будьте частью ИИволюции
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM