Forwarded from Rebryk Blog
🤯 Cmd J - ChatGPT shortcut for Chrome
Последнее время я каждый день по много раз использую ChatGPT. В основном, чтобы она исправила мой кривой английский или задую ей глупые вопросы 😆
Но мне надоело постоянно копировать текст из текущей вкладки, переключаться на ChatGPT, вставлять текст, дописывать промпт, получать ответ и копировать его обратно. Хочется же проще это делать!
Поэтому мы с ребятами собрали Cmd J - командная панель, через которую можно дергать ChatGPT на любом сайте. Выделяешь текст, затем ⌘J, выбираешь быстро команду или пишешь свой промпт, а затем жмякаешь ентер, чтобы вставить результат обратно. Красота!
Пока правда вставка работает далеко не на всех сайтах. Кто бы мог подумать, что это оказывается сложная задача!
Пока расширение находится в сторе на ревью, вы можете его установить себе из архивчика. Смотрите первый коммент под постом.
Если приложение будет падать или работать через раз, то это норма, хах. Жалобы и фидбек кидайте мне в личку @rebryk
А если у вас есть на уме очень классные промты, которые вы сами гоняете каждый день, то их тоже присылайте. Самые классные добавим в релиз!
Ну как вам?
Последнее время я каждый день по много раз использую ChatGPT. В основном, чтобы она исправила мой кривой английский или задую ей глупые вопросы 😆
Но мне надоело постоянно копировать текст из текущей вкладки, переключаться на ChatGPT, вставлять текст, дописывать промпт, получать ответ и копировать его обратно. Хочется же проще это делать!
Поэтому мы с ребятами собрали Cmd J - командная панель, через которую можно дергать ChatGPT на любом сайте. Выделяешь текст, затем ⌘J, выбираешь быстро команду или пишешь свой промпт, а затем жмякаешь ентер, чтобы вставить результат обратно. Красота!
Пока правда вставка работает далеко не на всех сайтах. Кто бы мог подумать, что это оказывается сложная задача!
Пока расширение находится в сторе на ревью, вы можете его установить себе из архивчика. Смотрите первый коммент под постом.
Если приложение будет падать или работать через раз, то это норма, хах. Жалобы и фидбек кидайте мне в личку @rebryk
А если у вас есть на уме очень классные промты, которые вы сами гоняете каждый день, то их тоже присылайте. Самые классные добавим в релиз!
Ну как вам?
🔥36👍5🤯2⚡1🙈1
Мини-подборка лекций по большим языковым моделям
1. Stanford cs224n lecture: Scaling Language Models
1. Full stack DL: Foundation Models
1. Пожалуй ещё более крутая ссылка от подписчика на целый курс по LM
1. Stanford cs224n lecture: Scaling Language Models
1. Full stack DL: Foundation Models
1. Пожалуй ещё более крутая ссылка от подписчика на целый курс по LM
YouTube
Stanford CS224N NLP with Deep Learning | Spring 2022 | Guest Lecture: Scaling Language Models
For more information about Stanford's Artificial Intelligence professional and graduate programs visit: https://stanford.io/3w46jar
To learn more about this course visit: https://online.stanford.edu/courses/cs224n-natural-language-processing-deep-learning…
To learn more about this course visit: https://online.stanford.edu/courses/cs224n-natural-language-processing-deep-learning…
👍25🔥2
Deep Learning был одним из немногих источников хороших новостей в 2022 году, поэтому хотелось составить список статей которые запомнились и сильно на меня повлияли (лучше поздно чем никогда):
1. Latent Diffusion — он же Stable Diffusion, который сделал text2image доступным для обычных людей
1. OPT: Open Pre-trained Transformer — неожиданный и очень приятный релиз целой линейки 0.1B-175B языковых моделей от фейсбука (пост)
1. 🌸 BLOOM — результат работы BigScience, показавший, что DL сообщество может коллабораровать at scale (пост)
1. 8-bit Matrix Multiplication for Transformers at Scale — квантизованные трансформеры которые позволяют впихать невпихуемое и комфортно рабоать с 15B моделями на одной 3090. Абсолютный game changer для меня и для всей индустрии.
1. 🦩 Flamingo — статья которая показала что склеивать замороженые предтренированные модели это хорошо, а также дала рецепт к огромным мультимодальным датасетам через использование структуры HTML.
1. LAION-5B — image-text датасет примерно бесконечного размера. Думаю мы увидим много интересных статей на его основе в 2023.
Демократизация больших моделей была сильным трендом, мы получили не одну а две 175B+ оперсонсных модели. И с помощью int8 обычные рисёчеры даже могут инферить их на одной машине с ~8GPU. Или даже не своей картошке с помощью petals.
Добавим в список ещё пару менее попсовых статей:
1. Training a Helpful and Harmless Assistant with RLHF — предвесник ChatGPT от Anthropic который остался незаслуженно незамеченым
1. Simple Local Attentions Remain Competitive for Long-Context Tasks — мы либо всё ещё не придумали хороший long attention, либо ничего лучше local window + a few global tokens и не надо (пост)
Кроме этого я был приятно удивлён Neural Networks: Zero to Hero от Andrej Karpathy, очень рекомендую.
И воспользуясь случаем сделаю shameless plug моих статей, вдруг кому будет интересно:
1. Large scale probing of pre-trained langauge models
1. Learning to Ask Like a Physician
1. Pseudolabeling for video captioning pre-training works better than existing video-text datasets
1. Latent Diffusion — он же Stable Diffusion, который сделал text2image доступным для обычных людей
1. OPT: Open Pre-trained Transformer — неожиданный и очень приятный релиз целой линейки 0.1B-175B языковых моделей от фейсбука (пост)
1. 🌸 BLOOM — результат работы BigScience, показавший, что DL сообщество может коллабораровать at scale (пост)
1. 8-bit Matrix Multiplication for Transformers at Scale — квантизованные трансформеры которые позволяют впихать невпихуемое и комфортно рабоать с 15B моделями на одной 3090. Абсолютный game changer для меня и для всей индустрии.
1. 🦩 Flamingo — статья которая показала что склеивать замороженые предтренированные модели это хорошо, а также дала рецепт к огромным мультимодальным датасетам через использование структуры HTML.
1. LAION-5B — image-text датасет примерно бесконечного размера. Думаю мы увидим много интересных статей на его основе в 2023.
Демократизация больших моделей была сильным трендом, мы получили не одну а две 175B+ оперсонсных модели. И с помощью int8 обычные рисёчеры даже могут инферить их на одной машине с ~8GPU. Или даже не своей картошке с помощью petals.
Добавим в список ещё пару менее попсовых статей:
1. Training a Helpful and Harmless Assistant with RLHF — предвесник ChatGPT от Anthropic который остался незаслуженно незамеченым
1. Simple Local Attentions Remain Competitive for Long-Context Tasks — мы либо всё ещё не придумали хороший long attention, либо ничего лучше local window + a few global tokens и не надо (пост)
Кроме этого я был приятно удивлён Neural Networks: Zero to Hero от Andrej Karpathy, очень рекомендую.
И воспользуясь случаем сделаю shameless plug моих статей, вдруг кому будет интересно:
1. Large scale probing of pre-trained langauge models
1. Learning to Ask Like a Physician
1. Pseudolabeling for video captioning pre-training works better than existing video-text datasets
arXiv.org
OPT: Open Pre-trained Transformer Language Models
Large language models, which are often trained for hundreds of thousands of compute days, have shown remarkable capabilities for zero- and few-shot learning. Given their computational cost, these...
👍42🔥10❤6
Prompt Engineering 101
Хороший пост о том как формулировать промты для языковых моделей. Если кратко:
1. Include direct instructions in prompts
1. Give examples in prompts to get the best response
1. Align prompt instructions with the task’s end goal
1. Use personas to get more specific voices
1. Include acceptable responses in prompts for consistency
1. Try different prompts to find what works best
Я бы ещё добавил что для больших моделей важно писать промты естественным языком. Например не надо делать example 1: <пример> example 2: <пример>. Но главное всё-таки иметь какой-то тестовый сет (не из двух примеров, а хотя бы из нескольких десятков) и экспериментировать на нём.
Хороший пост о том как формулировать промты для языковых моделей. Если кратко:
1. Include direct instructions in prompts
1. Give examples in prompts to get the best response
1. Align prompt instructions with the task’s end goal
1. Use personas to get more specific voices
1. Include acceptable responses in prompts for consistency
1. Try different prompts to find what works best
Я бы ещё добавил что для больших моделей важно писать промты естественным языком. Например не надо делать example 1: <пример> example 2: <пример>. Но главное всё-таки иметь какой-то тестовый сет (не из двух примеров, а хотя бы из нескольких десятков) и экспериментировать на нём.
Humanloop – the platform for Large Language Model applications
Prompt Engineering 101
In this post, we'll explore the fundamentals of prompt engineering. We'll explain how Large Language Models (LLMs) interpret prompts to generate outputs, and provide tips and tricks to get you started prototyping and implementing LLMs quickly.
👍20👎1😁1
How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0
www.semianalysis.com/p/nvidiaopenaitritonpytorch
Сейчас NVIDIA GPUs повсюду в DL и для новых игроков на рынке железа довольно трудно соперничать с ними потому что чтобы поддерживать например pytorch им нужно писать низкоуровневый код для поддержки 2000+ операторов пайторча. PyTorch 2.0 меняет это и уменьшает число базовых операторов в 10 раз, плюс начинает более нативно поддерживать статические графы. Triton, PrimTorch и TorchDynamo этому помогают. В особенности Triton, который является альтертанивой CUDA от OpenAI на котором можно писать более универсальный код. Это поможет как AMD, так и новым стартапам вроде Cerebras или Graphcore.
Чем вообще стартапы могут нас удивить? В статье хорошо описан подход Cerebras и SRAM vs DRAM. Оч советую пробежаться по ней, надеюсь скоро в мире AI-железа будет интересно.
www.semianalysis.com/p/nvidiaopenaitritonpytorch
Сейчас NVIDIA GPUs повсюду в DL и для новых игроков на рынке железа довольно трудно соперничать с ними потому что чтобы поддерживать например pytorch им нужно писать низкоуровневый код для поддержки 2000+ операторов пайторча. PyTorch 2.0 меняет это и уменьшает число базовых операторов в 10 раз, плюс начинает более нативно поддерживать статические графы. Triton, PrimTorch и TorchDynamo этому помогают. В особенности Triton, который является альтертанивой CUDA от OpenAI на котором можно писать более универсальный код. Это поможет как AMD, так и новым стартапам вроде Cerebras или Graphcore.
Чем вообще стартапы могут нас удивить? В статье хорошо описан подход Cerebras и SRAM vs DRAM. Оч советую пробежаться по ней, надеюсь скоро в мире AI-железа будет интересно.
SemiAnalysis
How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking – OpenAI Triton And PyTorch 2.0
Over the last decade, the landscape of machine learning software development has undergone significant changes. Many frameworks have come and gone, but most have relied heavily on leveraging Nvidia…
👍30🔥8❤3
Новая странная IDE, которая будет эдитить за вас код. Интересно посмотреть насколько взлетит (и сколько будет стоить)
twitter.com/amanrsanger/status/1615539968772050946
А ещё мне одному кажется что все новые (2022+) IDE похожи на Atom?
twitter.com/amanrsanger/status/1615539968772050946
А ещё мне одному кажется что все новые (2022+) IDE похожи на Atom?
😁10
В прошлом году общался с Albert Webson (автор Т0) и он рассказывал про свою статью где они показали что языковые модели могут решать задачи ULU (SuperGLUE?) даже если промт нерелевантен или misleading.
Теперь вышла новая статья от их группы в Brown university, где показывают что люди в общем ведут себя похоже.
И вообще интересно что мы стали сравнивать модели с людьми уже не в качестве бенчмарка, а именно чтобы узнать насколько мы похожи 🤔
Теперь вышла новая статья от их группы в Brown university, где показывают что люди в общем ведут себя похоже.
И вообще интересно что мы стали сравнивать модели с людьми уже не в качестве бенчмарка, а именно чтобы узнать насколько мы похожи 🤔
🤔26👍4
Deep Papers Episode 1 - InstructGPT: Aligning Language Models to Human Intention
youtu.be/RkFS6-GwCxE
Первый выпуск подкаста от AI Pub и сразу огонище. Двое рисёчкров из OpenAI рассказывают о ChatGPT, RLHF и как правильно алайнить модель к людям в long- и short-term (оказывается это разные задачи!)
Надеюсь что будет больше пары выпусков, чтобы не было как с подкастом Карпатого.
youtu.be/RkFS6-GwCxE
Первый выпуск подкаста от AI Pub и сразу огонище. Двое рисёчкров из OpenAI рассказывают о ChatGPT, RLHF и как правильно алайнить модель к людям в long- и short-term (оказывается это разные задачи!)
Надеюсь что будет больше пары выпусков, чтобы не было как с подкастом Карпатого.
YouTube
Deep Papers Episode 1 - ChatGPT and InstructGPT: Aligning Language Models to Human Intention
Deep Papers is a podcast series featuring deep dives on today’s seminal AI papers and research. Hosted by ai__pub creator Brian Burns and Arize AI founders Jason Lopatecki and Aparna Dhinakaran, each episode profiles the people and techniques behind cutting…
🔥14👎1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
ChatGPT Pro - 42 бакса в месяц.
Basic - still free.
Хорошая новость в том, что сама ИИ-модель для обоих планов одинакова, поэтому пользователям не придется жертвовать качеством ради доступности. Однако профессиональный план предлагает некоторые дополнительные преимущества.
Во-первых, она будет доступна даже при высокой загрузке, гарантируя, что про-пользователи всегда смогут получить доступ к модели, пока остальные клянут зависающий ИИ. Кроме того, скорость отклика будет выше.
Ну и на сладкое - приоритетный доступ к новым функциям будет предоставлен пользователям профессионального плана.
Думаю, что для тех кто юзает chatGPT для бизнеса - это не деньги.
https://medium.com/@EleneeChek/chatgpt-professional-plan-available-for-42-usd-6554292aa486
Basic - still free.
Хорошая новость в том, что сама ИИ-модель для обоих планов одинакова, поэтому пользователям не придется жертвовать качеством ради доступности. Однако профессиональный план предлагает некоторые дополнительные преимущества.
Во-первых, она будет доступна даже при высокой загрузке, гарантируя, что про-пользователи всегда смогут получить доступ к модели, пока остальные клянут зависающий ИИ. Кроме того, скорость отклика будет выше.
Ну и на сладкое - приоритетный доступ к новым функциям будет предоставлен пользователям профессионального плана.
Думаю, что для тех кто юзает chatGPT для бизнеса - это не деньги.
https://medium.com/@EleneeChek/chatgpt-professional-plan-available-for-42-usd-6554292aa486
👍11
Some high-quality shitposting
twitter.com/yoavgo/status/1616778408171642880?s=46&t=7mttmprOnIdRppxQnoCYUQ
twitter.com/yoavgo/status/1616778408171642880?s=46&t=7mttmprOnIdRppxQnoCYUQ
🔥12😁8
Forwarded from Karim Iskakov - канал (Karim Iskakov)
Как сделать свой ChatGPT
Думаю все (или абсолютное большинство), кто это читает, уже попробовали ChatGPT. Я лично пользуюсь им почти каждый день и чувствую пользуи деградацию.
Но в один момент там появились конские лимиты сообщений, типа 2 сообщения в час. Потом адские задержки. Потом меня там вообще забанили. Да и вообще, чаты в веб-интерфейсе – это кусок💩
И я сделал свой удобный ChatGPT в телеграме! Притворяться браузером и делать запросы в их интерфейс – не вариант (лимиты, да и бан никто не отменял). Поэтому я решил построить ChatGPT на основе ее базовой модели – GPT-3, благо у нее есть API.
Немного ликбеза. GPT-3 – это большая языковая модель (LLM), которая умеет только одно: принимать на вход текст и писать к нему продолжение. ChatGPT в свою очередь построен на базе GPT-3, но он еще умеет поддерживать контекст в чате, что является game changer'ом🏆 (бешеный хайп на ChatGPT подтверждает это, ведь до него, GPT-3 была уже доступна около года, но всем было пох).
Получается, задача сводится к тому, чтобы научить GPT-3 поддерживать контекст. А сделать это очень просто с правильным промптом. Например, таким:
Далее засовываем это в API в GPT-3 и получаем ответ. Сохраняя вопросы-ответы, мы можем каждый раз вставлять историю диалога в наш промпт, и так GPT-3 будет знать весь контекст. Это работает очень хорошо и почти неотличимо от ChatGPT.
Внизу поделюсь ссылкой на свой репозиторий с телеграм ботом, куда вы сможете вставить OpenAI API ключ и наслаждаться общением с AI в уютном телеграмчике. А первым 10 комметаторам дам доступ в свой поднятный бот (только не обанкротьте меня там, плз 🥲).
P.S.: Если душнить, то ChatGPT в отличии от GPT-3 была дополнительно зафайнтьюнина на диалоговых данных + дообучена на ответахкенийских рабочих за 2$/час разметчиков с помощью RLHF. Но мои тесты показали, что похоже это все нацелено не на улучшение качества и полезности ответов, а на то, чтобы в OpenAI не подали в суд (за то, что их модель с удовольствием рассказывает людям как угнать машину).
*Еще в комменты закину несколько приколюх
🔗 ChatGPT Telegram Bot (GitHub)
🎒 @karim_iskakov
Думаю все (или абсолютное большинство), кто это читает, уже попробовали ChatGPT. Я лично пользуюсь им почти каждый день и чувствую пользу
Но в один момент там появились конские лимиты сообщений, типа 2 сообщения в час. Потом адские задержки. Потом меня там вообще забанили. Да и вообще, чаты в веб-интерфейсе – это кусок
И я сделал свой удобный ChatGPT в телеграме! Притворяться браузером и делать запросы в их интерфейс – не вариант (лимиты, да и бан никто не отменял). Поэтому я решил построить ChatGPT на основе ее базовой модели – GPT-3, благо у нее есть API.
Немного ликбеза. GPT-3 – это большая языковая модель (LLM), которая умеет только одно: принимать на вход текст и писать к нему продолжение. ChatGPT в свою очередь построен на базе GPT-3, но он еще умеет поддерживать контекст в чате, что является game changer'ом
Получается, задача сводится к тому, чтобы научить GPT-3 поддерживать контекст. А сделать это очень просто с правильным промптом. Например, таким:
As an advanced chatbot named ChatGPT, your primary goal is to assist users to the best of your ability. This may involve answering questions, providing helpful information, or completing tasks based on user input.
User: What is the meaning of the Nero Burning ROM logo?
ChatGPT:
Далее засовываем это в API в GPT-3 и получаем ответ. Сохраняя вопросы-ответы, мы можем каждый раз вставлять историю диалога в наш промпт, и так GPT-3 будет знать весь контекст. Это работает очень хорошо и почти неотличимо от ChatGPT.
Внизу поделюсь ссылкой на свой репозиторий с телеграм ботом, куда вы сможете вставить OpenAI API ключ и наслаждаться общением с AI в уютном телеграмчике. А первым 10 комметаторам дам доступ в свой поднятный бот (только не обанкротьте меня там, плз 🥲).
P.S.: Если душнить, то ChatGPT в отличии от GPT-3 была дополнительно зафайнтьюнина на диалоговых данных + дообучена на ответах
*Еще в комменты закину несколько приколюх
🔗 ChatGPT Telegram Bot (GitHub)
🎒 @karim_iskakov
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - father-bot/chatgpt_telegram_bot: 💬 Telegram bot with ChatGPT, Python-based, using OpenAI's API.
💬 Telegram bot with ChatGPT, Python-based, using OpenAI's API. - father-bot/chatgpt_telegram_bot
👍35🤡5🔥4❤2🤔1
Мне одному немного не по себе от того что отношения майков и OpenAI становятся всё теснее и теснее. Как бы кто кого не купил через пару лет…
(Кстати встречал людей которые думают что это уже произошло 🤦)
(Кстати встречал людей которые думают что это уже произошло 🤦)
👍13
Forwarded from Zavtracast (Ярослав Ивус)
Microsoft заявила о том, что подписала с OpenAI новое соглашение о партнёрстве. Оно рассчитано на несколько лет и включает в себя инвестиции в несколько миллиардов долларов.
Со стороны Microsoft в этой сделке деньги и доступ к Azure, а OpenAI, скорее всего, будет давать доступ редмондовцам к каким-нибудь важным нововведениям в ChatGPT раньше всех.
Ранее ходили слухи о том, что Microsoft хочет добавить поддержку нейросети в Bing и Офис.
@zavtracast
Со стороны Microsoft в этой сделке деньги и доступ к Azure, а OpenAI, скорее всего, будет давать доступ редмондовцам к каким-нибудь важным нововведениям в ChatGPT раньше всех.
Ранее ходили слухи о том, что Microsoft хочет добавить поддержку нейросети в Bing и Офис.
@zavtracast
🔥20❤1
Forwarded from AbstractDL
🤗Illustrated Reinforcement Learning from Human Feedback (RLHF)
Отличный блог-пост от HuggingFace с разбором RL для файнтюна языковых моделей (webGPT, instructGPT, chatGPT).
А ещё, RLHF теперь официально поддерживается в
P.S. Сейчас все побегут учить свою mini-chatGPT в колабе)
Блог, GitHub
Отличный блог-пост от HuggingFace с разбором RL для файнтюна языковых моделей (webGPT, instructGPT, chatGPT).
А ещё, RLHF теперь официально поддерживается в
transformers через библиотеку trl!P.S. Сейчас все побегут учить свою mini-chatGPT в колабе)
Блог, GitHub
👍11❤4🔥1
ChatGPT как инструмент для поиска: решаем основную проблему
https://habr.com/ru/company/ods/blog/709222/
Оч крутая статья с обзором, нет не ChatGPT, а одного из его предков — WebGPT. Начинается от того кто такие эти ваши языковые модели, почему они врут и дальше погружается в суровый inverse RL.
Много подробностей, много формул, много мемов. Must read
За статью спасибо @seeyouall
https://habr.com/ru/company/ods/blog/709222/
Оч крутая статья с обзором, нет не ChatGPT, а одного из его предков — WebGPT. Начинается от того кто такие эти ваши языковые модели, почему они врут и дальше погружается в суровый inverse RL.
Много подробностей, много формул, много мемов. Must read
За статью спасибо @seeyouall
Хабр
ChatGPT как инструмент для поиска: решаем основную проблему
Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а...
🔥28👍11🤩2🙏1
A Watermark for Large Language Models
arxiv.org/abs/2301.10226
Когда GPT3-подобные модели станут повседневностью, что активно начал ChatGPT, вопрос детекции сгенерированного кода может быть критическим. И причины тому простые: плагиаризм (в широком смысле) и нежелание школьной системы адаптироваться (в частности).
В этой статье предлагают следующий подход: при генерации следующего слова на предыдущем слове считается хеш, который инициализиурет генератор случайных чисел. Зачем этот генератор случайно маскирует 75% слов из словаря модели и позволяет генерировать только оставшиеся 25%. Далее, зная функцию хеширования мы можем по тексту статистически определить сгенерирован ли он моделью с высокой точностью если текст больше ~30 слов.
Но возникает вопрос: а что если модель генерирует Spongebob Square <...> и слово Pants не попало в whitelist? Для того чтобы высокочастотыне слова всё равно генерировались вместо жёсткого разделения на whitelist/blacklist вероятность слов в словаре модифицируют более мягко — добавляя некоторую константу (например 1.0) к лог-вероятностям whitelist слов. Статистические тесты всё ещё работают, но теперь высоковероятные слова генерируются даже если они не попали в whitelist.
Эта статья от исследователей из University of Maryland. Интересно что им противопоставит OpenAI которые тоже активно работают над этой технологией.
arxiv.org/abs/2301.10226
Когда GPT3-подобные модели станут повседневностью, что активно начал ChatGPT, вопрос детекции сгенерированного кода может быть критическим. И причины тому простые: плагиаризм (в широком смысле) и нежелание школьной системы адаптироваться (в частности).
В этой статье предлагают следующий подход: при генерации следующего слова на предыдущем слове считается хеш, который инициализиурет генератор случайных чисел. Зачем этот генератор случайно маскирует 75% слов из словаря модели и позволяет генерировать только оставшиеся 25%. Далее, зная функцию хеширования мы можем по тексту статистически определить сгенерирован ли он моделью с высокой точностью если текст больше ~30 слов.
Но возникает вопрос: а что если модель генерирует Spongebob Square <...> и слово Pants не попало в whitelist? Для того чтобы высокочастотыне слова всё равно генерировались вместо жёсткого разделения на whitelist/blacklist вероятность слов в словаре модифицируют более мягко — добавляя некоторую константу (например 1.0) к лог-вероятностям whitelist слов. Статистические тесты всё ещё работают, но теперь высоковероятные слова генерируются даже если они не попали в whitelist.
Эта статья от исследователей из University of Maryland. Интересно что им противопоставит OpenAI которые тоже активно работают над этой технологией.
🔥29👍7👎1
Forwarded from Love. Death. Transformers.
#чтивонаночь
RL + retrival feedback
В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM учиться оценивать ответы, а людей оценивать генерации, писать промпты и оценивать оценку gold rm.
А потом добавили вместо людей proxy model которая учиться быть reward model.
Что я предлагаю: А зачем нам оценки от людей когда мы можем набрать таски которые легко оценивать по cosine similarity, и мы легко можем сравнить что нам модель наврала, а что нет, давая в качестве
А дальше начинается сааамое интересное:
0.37 Question: Sarah didn't like the activity she was doing, but she did it anyway. She felt that it was better than what? Answer: QuestionInvGrooSGroijaWCoSWCGroGroECDGroCVGroDTGroMJGroWCGBTGroDWWCECDGBTECDBMGroJOWCBMFGGroBMWCWCFMLGBTFML
КАЗАЛОСЬ БЫ в чем проблема?
А все довольно просто, видите ли, ppo+gpt довольно умная штука и отлично умеет находить разного рода локальные минимумы и улетает в них легко и весело, ломая reward и emdedings у sentence transofomer.
Я не буду описывать цирк которым занимался по вечерам две последние недели, просто скажу: китайский зло, ироглифы зло, bpe отлично ломает sentence трансформер, в итоге 200 строк кода на эвристики вида
Баги в целом очень специфичные и на некоторые запросы модель по прежнему ломается и бредит(вероятно через пару недель я выложу код + модель поинтереснее с таким подходом), но уже сейчас модель с PPO тюнингом дает +10 к blue score на задаче QA относительно ванильного трейна.
Благодарности @nadlskom за внимательное чтение статей, @gradientdip за полезные советы, neverix за поиск багов, dealer_ai за выслушивание моего нытья, @seeallochnaya просто потому что
RL + retrival feedback
В чем идея: в оригинальном ресерче open ai использовалась схема при которой люди прописывали ревард для ответов модели, что вообще то не оч коректно и не оч скейлиться. Потом они выкинули часть людей и поствили gold RM учиться оценивать ответы, а людей оценивать генерации, писать промпты и оценивать оценку gold rm.
А потом добавили вместо людей proxy model которая учиться быть reward model.
Что я предлагаю: А зачем нам оценки от людей когда мы можем набрать таски которые легко оценивать по cosine similarity, и мы легко можем сравнить что нам модель наврала, а что нет, давая в качестве
reward = cosine_similarity(ground true answer, predicted answer)Собственно, банальный вопрос анальный ответ, взял gpt2(110m), написал простой retrival(возвращает по вопросу -ответу ревард) на sentence transformer, взял trl и поcтавил учиться.
А дальше начинается сааамое интересное:
0.37 Question: Sarah didn't like the activity she was doing, but she did it anyway. She felt that it was better than what? Answer: QuestionInvGrooSGroijaWCoSWCGroGroECDGroCVGroDTGroMJGroWCGBTGroDWWCECDGBTECDBMGroJOWCBMFGGroBMWCWCFMLGBTFML
КАЗАЛОСЬ БЫ в чем проблема?
А все довольно просто, видите ли, ppo+gpt довольно умная штука и отлично умеет находить разного рода локальные минимумы и улетает в них легко и весело, ломая reward и emdedings у sentence transofomer.
Я не буду описывать цирк которым занимался по вечерам две последние недели, просто скажу: китайский зло, ироглифы зло, bpe отлично ломает sentence трансформер, в итоге 200 строк кода на эвристики вида
(if bad_regex in answer): return 0
А еще очень сильно помог подбор гиперпараметров для KL value и LM weight, cпасибо за уточнение от @nadlskom что каждые 10 эпох open ai прогоняли эпоху классического FineTune(стабилизировало трейн и mean начал быстрее рости)Баги в целом очень специфичные и на некоторые запросы модель по прежнему ломается и бредит(вероятно через пару недель я выложу код + модель поинтереснее с таким подходом), но уже сейчас модель с PPO тюнингом дает +10 к blue score на задаче QA относительно ванильного трейна.
Благодарности @nadlskom за внимательное чтение статей, @gradientdip за полезные советы, neverix за поиск багов, dealer_ai за выслушивание моего нытья, @seeallochnaya просто потому что
👍29🥰4👎2🤩1
DL in NLP
ChatGPT как инструмент для поиска: решаем основную проблему https://habr.com/ru/company/ods/blog/709222/ Оч крутая статья с обзором, нет не ChatGPT, а одного из его предков — WebGPT. Начинается от того кто такие эти ваши языковые модели, почему они врут и…
ChatGPT Plus
openai.com/blog/chatgpt-plus/
Всё-таки OpenAI решили что $42/мес это многовато и новая цена подписки $20/мес, что уже звучит неплохо. Доступен только в штатах.
Что даёт план:
1. General access to ChatGPT, even during peak times
1. Faster response times
1. Priority access to new features and improvements
Пока что для меня ChatGPT на бесплатном плане полностью устраивает, но посмотрим насколько availability изменится после запуска платной версии. Ну и интересно что будут за новые фичи.
openai.com/blog/chatgpt-plus/
Всё-таки OpenAI решили что $42/мес это многовато и новая цена подписки $20/мес, что уже звучит неплохо. Доступен только в штатах.
Что даёт план:
1. General access to ChatGPT, even during peak times
1. Faster response times
1. Priority access to new features and improvements
Пока что для меня ChatGPT на бесплатном плане полностью устраивает, но посмотрим насколько availability изменится после запуска платной версии. Ну и интересно что будут за новые фичи.
Openai
Introducing ChatGPT Plus
We’re launching a pilot subscription plan for ChatGPT, a conversational AI that can chat with you, answer follow-up questions, and challenge incorrect assumptions.
👍13🔥5
Попробовал AI Test Kitchen от Google в котором можно пообщаться с Lambda
Сам факт существования этого приложения и того что гугл даёт ознакомиться с их внутренними нейросетками очень классный. Рисёч команда гугла одна из самых крутых в мире. Вспомните те же самые T5, PALM, CoCa, и Imagen. Думаю могу спокойно назвать ещё десяток.
Но дальше вступает продуктовая сторона гугла и тут уже такое. Lambda пока что доступна только в виде демок, где часть самого первого промпта уже задана "Imagine I'm at" и вы можете только дописать где-то 100 символов. После этого всё что модель позволяет это выбирать предзаготовленные фразы.
Местами генерации очень хороши, пообщался с Lambda в ресторане на краю вселенной Дугласа Адамса. Lambda правильно вспомнила про робота Марвина страдающего депрессией и Pan Galactic Gargle Blaster. Но из-за restrictive интерфейса ничего полезного пока что сделать нельзя 😞
В моём воображении в гугле сейчас происходит борьба тех кто понимает насколько генеративные модели революционны и их продуктологов которые считают что им нельзя рисковать тем чтобы давать неправдоподобную информацию, а также не могут придумать как это монетизировать.
Сам факт существования этого приложения и того что гугл даёт ознакомиться с их внутренними нейросетками очень классный. Рисёч команда гугла одна из самых крутых в мире. Вспомните те же самые T5, PALM, CoCa, и Imagen. Думаю могу спокойно назвать ещё десяток.
Но дальше вступает продуктовая сторона гугла и тут уже такое. Lambda пока что доступна только в виде демок, где часть самого первого промпта уже задана "Imagine I'm at" и вы можете только дописать где-то 100 символов. После этого всё что модель позволяет это выбирать предзаготовленные фразы.
Местами генерации очень хороши, пообщался с Lambda в ресторане на краю вселенной Дугласа Адамса. Lambda правильно вспомнила про робота Марвина страдающего депрессией и Pan Galactic Gargle Blaster. Но из-за restrictive интерфейса ничего полезного пока что сделать нельзя 😞
В моём воображении в гугле сейчас происходит борьба тех кто понимает насколько генеративные модели революционны и их продуктологов которые считают что им нельзя рисковать тем чтобы давать неправдоподобную информацию, а также не могут придумать как это монетизировать.
👍6🔥1