💡DemoFusion: High-resolution generation

DemoFusion: Паплайн для генерации с высоким разрешением с использованием только SDXL!

Код доступен в 🧨diffusers в качестве пайплайна!

#DemoFusion

🖥 Попробовать: https://github.com/huggingface/diffusers/blob/main/examples/community/pipeline_demofusion_sdxl.py

🥩 Страница проекта: https://ruoyidu.github.io/demofusion/demofusion.html

@ai_machinelearning_big_data

🥇 TokenCompose, a text-to-image latent diffusion model trained with fine-grained grounding objectives

TokenCompose, модель латентной диффузии текста в изображение, которая достигает высокого фотореализма.

🖥 Code: https://github.com/mlpc-ucsd/TokenCompose

🏆 Website: https://mlpc-ucsd.github.io/TokenCompose/

📚 Paper: https://huggingface.co/papers/2312.03626

@ai_machinelearning_big_data

🚀 Optimized inference with NVIDIA and Hugging Face

Optimum-NVIDIA теперь доступен на Hugging Face!

28-кратное ускорение вычислений и 1 200 токенов в секунду на платформе NVIDIA с помощью всего 1 строки кода.

Optimum-NVIDIA обеспечивает лучшую производительность вычислений на платформе NVIDIA.

#LLM E https://huggingface.co/blog/optimum-nvidia

🖥 Github

@ai_machinelearning_big_data

⚡️8 free courses to master large language models:

8 бесплатных топ курсов по большим языковым моделям:

1. Университет LLM

Курс дает представление о том, как работают LLM, их практическом применении, и направляет учащихся на использование LLM для создания и развертывания приложений.
https://docs.cohere.com/docs/llmu

2. huggingface NLP course

Этот курс дает исчерпывающие знания о тарнсформерах Hugging Face, датасетах, токенизаторах и инструменте Accelerate в области обработки естественного языка (NLP).
https://huggingface.co/learn/nlp-course/chapter1/1

3. DeepLearningAI

Коллекция бесплатных курсов, созданных в сотрудничестве со многими компаниями, такими как LangChain, OpenAI, Google, Weights & Biases, Microsoft и другими.
https://www.deeplearning.ai/short-courses/

4. Weights_biases course

Этот курс показывает, как создавать приложения на базе LLM, используя API, Langchain и W&B Prompts. Он рассказывает про разработку, экспериментирование и оценку приложений, ориентированных на LLM.
https://www.wandb.courses/courses/building-llm-powered-apps

5. Introduction to LLMs course by google cloud

Курс вводного уровня, в котором рассказывается о том, что такое LLM, о случаях их использования и о том, как повысить производительность LLM с помощью промпт-тюнинга.
https://www.cloudskillsboost.google/course_templates/539

6. Databricks курсы

Программа включает в себя два курса: "LLMs: Application through Production" и "LLMs: Foundation Models from the Ground Up".
https://www.databricks.com/blog/enroll-our-new-expert-led-large-language-models-llms-courses-edx

7. Курс "LangChain & Vector Databases in Production" от activeloopai, towards_AI и Intel

Серия из трех курсов познакомит слушателей со знаниями и навыками для обучения, тонкой настройки и интеграции LLM в продакшен.
https://learn.activeloop.ai/courses/langchain

8 ) LLM Bootcamp

Охватывает такие темы, как Prompt Engineering, LLMOps, UX для языковых пользовательских интерфейсов, дополненные языковые модели, быстрая разработка LLM-приложений, будущие тенденции в LLM, фундаментальные концепции и прохождение askFSDL.
https://fullstackdeeplearning.com/llm-bootcamp/

@ai_machinelearning_big_data

🖥 Self-conditioned Image Generation via Generating Representations

A new benchmark in class-unconditional image generation.

RCG - новый простой, но эффективный фреймворк для генерации изображений, который устанавливает новую планку для unconditional генераций (без учета класса генерации объекта).

RCG не зависит от аннотаций человека. Вместо этого он опирается на самоконтролируемое распределение, которое сопоставляется с распределением изображений с помощью предварительно обученного кодировщика.

Во время генерации RCG делает выборку из такого распределения представлений с помощью модели диффузии представлений (RDM) и использует генератор пикселей для создания пикселей изображения на основе выбранного представления.

Такая конструкцияприводит к созданию высококачественных изображений. Протестированная на ImageNet 256
256, RCG достигает Frechet Inception Distance (FID) 3,31 и Inception Score (IS) 253,4.

Эти результаты не только значительно превосхоядт современное состояние генерации изображений без учета классов, но и конкурируют с ведущими методами генерации изображений с учетом классов, преодолевая давний разрыв в производительности между этими двумя задачами.

🖥 Github: https://github.com/LTH14/rcg

📚 Paper: https://arxiv.org/abs/2312.03701

🌟 Dataset: https://paperswithcode.com/dataset/imagenet

@ai_machinelearning_big_data

📚 LlaVa Demo with LlamaIndex

In this example, we illustrate how we use LlaVa for belowing tasks:
▪Retrieval Augmented Image Captioning
▪Pydantic Structured Output
▪Multi-Modal Retrieval-Augmented Generation (RAG) using Llava-13b

Совершенно новая книга рецептов 🧑‍🍳, в которой рассказывается о трех способах создания приложений LLM путем интеграции мультимодальных моделей (LLaVa) в остальной рабочий процесс:

1️⃣ Retrieval Augmented Image Captioning: Генерация подписей к изображению с помощью LLaVa, а затем дополнение ответа из вашей базы знаний.
2️⃣ Извлечение структурированных данных из изображений: Получив входную инструкцию и изображение, извлекаем из него структурированный объект Pydantic.
3️⃣ Multi-modal RAG: задаем вопросы по изображениям и тексту из собственной базы знаний.

🖥 Github: https://github.com/run-llama/llama_index/blob/main/docs/examples/multi_modal/llava_demo.ipynb

🔍 Colab: https://colab.research.google.com/github/run-llama/llama_index/blob/main/docs/examples/multi_modal/llava_demo.ipynb

🪩 Paper: https://arxiv.org/abs/2304.08485

💻 Website: https://llava-vl.github.io/

🔥 YouTube: https://youtube.com/watch?v=k7i2BpeLUss

@ai_machinelearning_big_data

🌍 BioCLIP: A Vision Foundation Model for the Tree of Life

Фундаментальная модель, которая обобщает древо жизни (более 2 миллионов видов фауны и флоры), превосходя OpenAI CLIP на 18% в классификации zero-shot и поддерживает открытую классификацию почти по всему живому на земле.

Что внутри?
> Данные: TreeOfLife-10M - самый большой и разнообразный набор данных изображений организмов на сегодняшний день. Он содержит 10,4 млн изображений для более чем 450 таксонов. тем, взятых из iNaturalist, BIOSCAN и Encyclopedia of Life.
> Моделирование: Авторы применили мультимодальную модель контрастного обучения CLIP для иерархической классификации изображений.

Основные результаты
> Классификация животных/растений/грибов, включая редкие виды, с нулевым/малым числом снимков, превосходящая CLIP на 16-18 % в абсолютном выражении.
> Визуализация T-sne показывает, что кодировщик зрения BioCLIP уловил тонкую иерархическую структуру древа жизни.
> BioCLIP - это своего рода универсальный классификатор для древа жизни. Просто дайте ему изображение любого организма, и он, скорее всего, найдет правильный вид.

- paper: https://arxiv.org/abs/2311.18803
- project: https://imageomics.github.io/bioclip/
- demo: https://huggingface.co/spaces/imageomics/bioclip-demo
- model: https://huggingface.co/imageomics/bioclip

@ai_machinelearning_big_data

🏆 DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors

DynamiCrafter новая, мощная модель, которая может анимировать неподвижные изображения с открытым доменом на основе промптов.

🌐page: https://doubiiu.github.io/projects/DynamiCrafter
📄paper: https://arxiv.org/abs/2310.12190
🧬code: https://github.com/Doubiiu/DynamiCrafter
🕸replicate: https://replicate.com/camenduru/dynami-crafter

@ai_machinelearning_big_data

⚡️ LLM360 - framework for open-source LLMs to foster transparency, trust, and collaborative research


Новый LLM360 фреймворк, который расширяет границы открытых LLM!

Совершенно новые предварительно обученные LLM со обучающим полным кодом, данными и 360 контрольными точками модели.

🖥 Code: https://short.llm360.ai/amber-code

⚡️ Model: https://short.llm360.ai/amber-model

🖌Metrics: https://short.llm360.ai/amber-metrics

📚Data: https://short.llm360.ai/amber-data

@ai_machinelearning_big_data

📈 PromptBench: A Unified Library for Evaluating and Understanding Large Language Models.

PromptBench - это основанный на Pytorch пакет Python для оценки больших языковых моделей (LLM). Он предоставляет удобные API для исследователей, чтобы проводить оценку LLM.

🖥 Code: https://github.com/microsoft/promptbench

🌟 Docs: https://promptbench.readthedocs.io/en/latest/

📚 Paper: https://arxiv.org/abs/2312.07910v1

⚡️ Dataset: https://paperswithcode.com/dataset/mmlu

@ai_machinelearning_big_data

🎨The Art of Prompt Engineering with Stable Diffusion Models!

Искусство разработки подсказок с помощью моделей стабильной диффузии!

От создания убедительных промптов до доработки результатов - это руководство обязательно к прочтению для всех, кто изучает потенциал искусственного интеллекта в создании изображений.

🔗Guide: https://wandb.ai/geekyrakshit/diffusers-prompt-engineering/reports/A-Guide-to-Prompt-Engineering-for-Diffusion-Models--Vmlldzo1NzY4NzQ3

@ai_machinelearning_big_data