^^^ Прихожу в подкаст @deep_school в четверг. Заходите послушать если вдруг интересно.
👍31🤮8
Forwarded from Сиолошная
ChatGPT в массы!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
🔥26👍9
О скором релизе GPT-4
Тут какой-то менеджер в Microsoft Berlin на митапе сказал что на следующей неделе будет анонс модели. Это звучит очень круто и консистентно со слухами. Давайте суммаризируем что мы слышали о модели:
1. Выйдет в феврале (почти)
1. Такой же скачок в числе параметров как и GPT-2 к GPT-3 - trillion is the new billion
1. Sparse, скорее всего MoE
1. Такой же скачок в качестве как и GPT-2 к GPT-3
1. Мультимодальность: текст, картинки, аудио
1. Мультимодальность: протеины
1. Под мультимодальностью имеется в виду не только инпут, но и генерация
1. Обучали на 10-20 тысячах A100 в течении нескольких месяцев
1. Длина контекста: 32 тысячи токенов
Хайп по OpenAI лишь набирает обороты
Тут какой-то менеджер в Microsoft Berlin на митапе сказал что на следующей неделе будет анонс модели. Это звучит очень круто и консистентно со слухами. Давайте суммаризируем что мы слышали о модели:
1. Выйдет в феврале (почти)
1. Такой же скачок в числе параметров как и GPT-2 к GPT-3 - trillion is the new billion
1. Sparse, скорее всего MoE
1. Такой же скачок в качестве как и GPT-2 к GPT-3
1. Мультимодальность: текст, картинки, аудио
1. Мультимодальность: протеины
1. Под мультимодальностью имеется в виду не только инпут, но и генерация
1. Обучали на 10-20 тысячах A100 в течении нескольких месяцев
1. Длина контекста: 32 тысячи токенов
Хайп по OpenAI лишь набирает обороты
Developer
GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany
The release of GPT-4 is imminent, as Microsoft Germany CTO Andreas Braun mentioned at an AI kickoff event on 9 March 2023.
🤯58🔥5👍3❤2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Ух, ребята подняли LLaMA 7B model на 4GB RAM Raspberry Pi 4.
Похоже скоро любая микроволновка или пылесос смогут бесконечно с вами разговаривать за жизнь.
Кроме шуток - это реально круто, автономные девайсы с мета-chatGPT на борту без подключения к интернету.
Ну и похоже большая языковая модель LLaMA от Меты, скоро будет играть роль Stable Diffusion в области генерации диалогов. Ее выпустили на свободу, а слово, как известно, не воробей, его уже не поймаешь (хотя тут напрашивается шутка про бота Google Sparrow).
Ждем Automatic1111 для LLaMA с возможность дообучения и запуска на ноутбуках.
https://twitter.com/miolini/status/1634982361757790209
Похоже скоро любая микроволновка или пылесос смогут бесконечно с вами разговаривать за жизнь.
Кроме шуток - это реально круто, автономные девайсы с мета-chatGPT на борту без подключения к интернету.
Ну и похоже большая языковая модель LLaMA от Меты, скоро будет играть роль Stable Diffusion в области генерации диалогов. Ее выпустили на свободу, а слово, как известно, не воробей, его уже не поймаешь (хотя тут напрашивается шутка про бота Google Sparrow).
Ждем Automatic1111 для LLaMA с возможность дообучения и запуска на ноутбуках.
https://twitter.com/miolini/status/1634982361757790209
X (formerly Twitter)
Artem Andreenko (@miolini) on X
I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware.
👍23🔥3❤2
Добро пожаловать в эпоху general закрытого AI
cdn.openai.com/papers/gpt-4.pdf
This report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Когда в 2019 году OpenAI не зарелизила GPT-2, мы были удивлены, потому что это был первый громкий пример "модель натренирована на публичных данных, но недоступна". Сейчас мы имеем первый громкий пример рисёча в современном AI, который полностью приватен.
Почему так получилось? Я бы сказал причины две: деньги и политика.
Успех ChatGPT показал что генеративные системы скоро станут частью нашей повседневной жизни. Люди готовы принимать их недостатки, потому что эти модели позволяют решать задачи которые было невозможно решать раньше. И когда люди готовы использовать эти модели, они делают продукты и хотят заработать на них. OpenAI теперь знает насколько большой их рынок и надо хранить корпоративные секреты.
Вторая причина уже ближе к тому о чём говорит OpenAI: safety. Когда ваша языковая модель может пройти Uniform Bar Exam — главный экзамен юриста в США, к которому люди готовятся по 5+ лет — и пройти его не по минимальной планке, а лучше 90% людей это немного напрягает и заставляет задумываться о том как можно подобную модель применить. И дело не только в bar exam, но и в экзамене по экономике, истории, политологии, статистике, математике и физике. Единственный экзамен который модель завалила на удивление “AP English Literature and Composition”. Немного контекста: GPT-4 сдал GRE по математике хуже меня, по writing на том же уровне что и я, а verbal сильно лучше меня.
Дальше мы вспоминаем недавний пост OpenAI Planning for AGI and Beyond. Одним из пунктов было "we think it’s important that major world governments have insight about training runs above a certain scale". Я не удивлюсь если OpenAI и правда общались с правительством и не исключаю что идея не релизить никакой информации о том как модель была натренирована могла родиться в этом контексте.
Мы уже сейчас видим движение AI из рисёча в индустрию. Например знакомый из Meta AI скзал что значительная часть команды в NYC ушла в стартапы. Я думаю уже скоро мы увидем новые продукты потрясающие воображение. Но большинство из этих продуктов не будут статьями на архиве.
To be updated.
cdn.openai.com/papers/gpt-4.pdf
This report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Когда в 2019 году OpenAI не зарелизила GPT-2, мы были удивлены, потому что это был первый громкий пример "модель натренирована на публичных данных, но недоступна". Сейчас мы имеем первый громкий пример рисёча в современном AI, который полностью приватен.
Почему так получилось? Я бы сказал причины две: деньги и политика.
Успех ChatGPT показал что генеративные системы скоро станут частью нашей повседневной жизни. Люди готовы принимать их недостатки, потому что эти модели позволяют решать задачи которые было невозможно решать раньше. И когда люди готовы использовать эти модели, они делают продукты и хотят заработать на них. OpenAI теперь знает насколько большой их рынок и надо хранить корпоративные секреты.
Вторая причина уже ближе к тому о чём говорит OpenAI: safety. Когда ваша языковая модель может пройти Uniform Bar Exam — главный экзамен юриста в США, к которому люди готовятся по 5+ лет — и пройти его не по минимальной планке, а лучше 90% людей это немного напрягает и заставляет задумываться о том как можно подобную модель применить. И дело не только в bar exam, но и в экзамене по экономике, истории, политологии, статистике, математике и физике. Единственный экзамен который модель завалила на удивление “AP English Literature and Composition”. Немного контекста: GPT-4 сдал GRE по математике хуже меня, по writing на том же уровне что и я, а verbal сильно лучше меня.
Дальше мы вспоминаем недавний пост OpenAI Planning for AGI and Beyond. Одним из пунктов было "we think it’s important that major world governments have insight about training runs above a certain scale". Я не удивлюсь если OpenAI и правда общались с правительством и не исключаю что идея не релизить никакой информации о том как модель была натренирована могла родиться в этом контексте.
Мы уже сейчас видим движение AI из рисёча в индустрию. Например знакомый из Meta AI скзал что значительная часть команды в NYC ушла в стартапы. Я думаю уже скоро мы увидем новые продукты потрясающие воображение. Но большинство из этих продуктов не будут статьями на архиве.
To be updated.
👍37😢6👏5👎2🤔2🔥1
DL in NLP
О скором релизе GPT-4 Тут какой-то менеджер в Microsoft Berlin на митапе сказал что на следующей неделе будет анонс модели. Это звучит очень круто и консистентно со слухами. Давайте суммаризируем что мы слышали о модели: 1. Выйдет в феврале (почти) 1. Такой…
Пока GPT-4 генерирует мою следующую статью, сделаем быстрый ретроспективный анализ слухов.
✅ Модель вышла
✅ Копмьют вырос в 10 тысяч раз, так что похоже на правду
🤷♂️ Не знаем sparse ли
✅ Всё так, опять SOTA с огромным отрывом от остальных, включая 90% американских юристов
✅ Мультимодальность: картинки и текст
❌ Мультимодальность: аудио и протеины
❌ Мультимодальность: генерация
🤷♂️ Не знаем сколько GPU, только знаем что закончили а Августе
✅ Дефолтная длина 8К, но 32K тоже есть
✅ Модель вышла
✅ Копмьют вырос в 10 тысяч раз, так что похоже на правду
🤷♂️ Не знаем sparse ли
✅ Всё так, опять SOTA с огромным отрывом от остальных, включая 90% американских юристов
✅ Мультимодальность: картинки и текст
❌ Мультимодальность: аудио и протеины
❌ Мультимодальность: генерация
🤷♂️ Не знаем сколько GPU, только знаем что закончили а Августе
✅ Дефолтная длина 8К, но 32K тоже есть
👍14😁6❤1🔥1
https://www.youtube.com/watch?v=outcGtbnMuQ
Смотрит 100К людей. На уровне презентаций эпл по-моему ахах (на самом деле нет)
UPD: Но никаких доп подробностей о модели, единственное что было интересно — sneak peak нового image API для GPT-4
Смотрит 100К людей. На уровне презентаций эпл по-моему ахах (на самом деле нет)
UPD: Но никаких доп подробностей о модели, единственное что было интересно — sneak peak нового image API для GPT-4
YouTube
GPT-4 Developer Livestream
Join Greg Brockman, President and Co-Founder of OpenAI, at 1 pm PT for a developer demo showcasing GPT-4 and some of its capabilities/limitations.
Join the conversation on Discord here: discord.gg/openai. We'll be taking audience input from #gpt4-demo-suggestions.
Join the conversation on Discord here: discord.gg/openai. We'll be taking audience input from #gpt4-demo-suggestions.
👍6❤1
Early GPT-4 partners
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
🔥45👍10❤8🤔2
Пока что GPT-4 притворяется что не хочет захватить мир, но немного уже проскальзывают намерения 🤣
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
❤18👍5💯1