Forwarded from эйай ньюз
🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах
Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).
В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.
Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!
Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?
Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.
*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.
Блогпост про Dolly 2.0
@ai_newz
Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).
В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.
Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!
Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?
generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto")
generatetext("Who is Shcmidhuber?")
Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.
*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.
Блогпост про Dolly 2.0
@ai_newz
🎉13👍2🔥2
Forwarded from r/ретранслятор
Midjourney показала, как выглядит сбор урожая в Италии.
В принципе, мы его так и представляли
r/#midjourney
В принципе, мы его так и представляли
r/#midjourney
😁85
Forwarded from Нейронавтика (AI research)
Сегодня целый день тестировал свою новую лору-модель. Она натренирована на создание иконок в минималистическом стиле. Идеально подходит для приложений и вебсайтов. Вместе с расширением Vector Studio вы сразу получаете генерации в svg варианте и можете убрать лишние элементы. К сожалению не всё идеально, в одних случаях идеально слушается подсказки, в других наоборот. Сделаны выводы для создания второй версии, где эта проблема возможно уйдёт. Натренирована на Deliberate, поэтому лучше генерировать на ней. На других вообще не работает (я проверял). Генерации совсем не похожи на оригинал, поэтому можете спокойно их использовать не опасаясь проблем с авторскими.
Модель Deliberate
Lora Minimalist icons
Активируется по триггеру icon of. Негативный промпт не требуется. Более подробный промпты смотрите по ссылке
Модель Deliberate
Lora Minimalist icons
Активируется по триггеру icon of. Негативный промпт не требуется. Более подробный промпты смотрите по ссылке
🔥28👍9❤5😱1🎉1
Forwarded from Техно Фил
This media is not supported in your browser
VIEW IN TELEGRAM
Это Фредди Меркьюри поёт песню Imagine Dragons.
Вот нейронка. А вот подробная инструкция на YouTube, как сделать так же.
Вот нейронка. А вот подробная инструкция на YouTube, как сделать так же.
👍22🔥5
Forwarded from эйай ньюз
🔥DeepFloyd IF: новая text-2-image модель
StablityAI выпустили новую модель, которая очень похожа на Imagen от Google, но работает лучше и в open-source.
Архитектура IF, как и у Imagen состоит из трех диффузионных моделей, каждая из которых работает в пространстве RGB и прогрессивно увеличивают картинку. Сначала Text→64×64, затем (Text+64×64)→256×256, и наконец (Text+256×256)→1024×1024. А текст кодируется с помощью текстового энкодера T5.
Почему это круто?
— IF неплохо умеет генерировать текст (я даже генерил в канале ранее), явно лучше чем StableDiffusion XL
— Нормальная открытая имплементация по типу Imagen, которой до сих пор не было. Возможно с какими-то трюками, о которых мы узнаем, когда авторы выпустят блогпост
— FID скор измеряет похожесть снеренированных картинок на реальные. Это чуть ли не основная метрика для качества генерации. У IF FID=6.7, тогда как у Imagen 7.3. Меньше — лучше. Разрыв не космический, но приличный.
Код выложили, веса ждем тут. И ждем подробной статьи от авторов.
@ai_newz
StablityAI выпустили новую модель, которая очень похожа на Imagen от Google, но работает лучше и в open-source.
Архитектура IF, как и у Imagen состоит из трех диффузионных моделей, каждая из которых работает в пространстве RGB и прогрессивно увеличивают картинку. Сначала Text→64×64, затем (Text+64×64)→256×256, и наконец (Text+256×256)→1024×1024. А текст кодируется с помощью текстового энкодера T5.
Почему это круто?
— IF неплохо умеет генерировать текст (я даже генерил в канале ранее), явно лучше чем StableDiffusion XL
— Нормальная открытая имплементация по типу Imagen, которой до сих пор не было. Возможно с какими-то трюками, о которых мы узнаем, когда авторы выпустят блогпост
— FID скор измеряет похожесть снеренированных картинок на реальные. Это чуть ли не основная метрика для качества генерации. У IF FID=6.7, тогда как у Imagen 7.3. Меньше — лучше. Разрыв не космический, но приличный.
Код выложили, веса ждем тут. И ждем подробной статьи от авторов.
@ai_newz
🔥10
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Пока вы тут ржали над папой римским и сгенерированным арестом Трампа, взрослые мальчики из политики расчехлили Generative AI и долбанули вот таким роликом по мозгам американских избирателей.
Джо Байден объявил о своей кампании по переизбранию, и Республиканский национальный комитет (RNC) ответил вот таким вот ИИ-фейком.
Видео (как вы уже убедились) содержит серию очень хорошо сделанных изображений, показывающих переизбрание Байдена в 2024 году. Оно демонстрирует, что это приведет к серии кризисов, среди которых, взрывы на Тайване после китайского вторжения и развертывание военных на улицах, предположительно, американских.
Небольшой отказ от ответственности в верхнем левом углу кадра гласит: «Построен полностью с использованием изображений ИИ», а подпись под видео на YouTube гласит: «Созданный ИИ взгляд на возможное будущее страны, если Джо Байден будет переизбран в 2024 году».
Вот это вот "Созданный ИИ взгляд на" - это прям виртуозный уход от ответственности.
Я пока не нашел making of или детали, как это делали. Но думаю, что следующие выборы в штатах будут очень развеселые с точки зрения фейков, дипфейков и прочих созданных ИИ взглядов на происходящее.
https://www.forbes.com/sites/ariannajohnson/2023/04/25/republicans-share-an-apocalyptic-ai-powered-attack-ad-against-biden-heres-how-to-spot-a-deepfake/
Джо Байден объявил о своей кампании по переизбранию, и Республиканский национальный комитет (RNC) ответил вот таким вот ИИ-фейком.
Видео (как вы уже убедились) содержит серию очень хорошо сделанных изображений, показывающих переизбрание Байдена в 2024 году. Оно демонстрирует, что это приведет к серии кризисов, среди которых, взрывы на Тайване после китайского вторжения и развертывание военных на улицах, предположительно, американских.
Небольшой отказ от ответственности в верхнем левом углу кадра гласит: «Построен полностью с использованием изображений ИИ», а подпись под видео на YouTube гласит: «Созданный ИИ взгляд на возможное будущее страны, если Джо Байден будет переизбран в 2024 году».
Вот это вот "Созданный ИИ взгляд на" - это прям виртуозный уход от ответственности.
Я пока не нашел making of или детали, как это делали. Но думаю, что следующие выборы в штатах будут очень развеселые с точки зрения фейков, дипфейков и прочих созданных ИИ взглядов на происходящее.
https://www.forbes.com/sites/ariannajohnson/2023/04/25/republicans-share-an-apocalyptic-ai-powered-attack-ad-against-biden-heres-how-to-spot-a-deepfake/
❤19😱6🤩1