⚡️ A new model has been released in Llama3-Speech, that can natively understand audio and text input.
This multimodal checkpoint with improved speech understanding, listens to human speech and responds in text
Llama3s v0.2 consistently performs across multiple Speech Understanding benchmarks.
They adapted llama3.1 using early-fusion with semantic tokens.
It uses whispervq to get semantic tokens. encoder is frozen during training, only llama3 base is trained.
So the devs used a synthetically generated speech dataset. This speech data is then semantically encoded with WhisperVQ from WhisperSpeech.
This dataset was then interleaved to have 70% speech instruction prompts and 30% speech transcription prompts.
You can try the demo and ask questions in English and keep them under 10 seconds long. This is due to our model's limitation in being trained on audio prompts with fewer than 500 tokens, which the developers plan to address in a future update.
https://huggingface.co/homebrewltd/llama3.1-s-instruct-v0.2
homebrew.ltd/blog/llama3-just-got-ears
@opendatascience
#llama
This multimodal checkpoint with improved speech understanding, listens to human speech and responds in text
Llama3s v0.2 consistently performs across multiple Speech Understanding benchmarks.
They adapted llama3.1 using early-fusion with semantic tokens.
It uses whispervq to get semantic tokens. encoder is frozen during training, only llama3 base is trained.
So the devs used a synthetically generated speech dataset. This speech data is then semantically encoded with WhisperVQ from WhisperSpeech.
This dataset was then interleaved to have 70% speech instruction prompts and 30% speech transcription prompts.
You can try the demo and ask questions in English and keep them under 10 seconds long. This is due to our model's limitation in being trained on audio prompts with fewer than 500 tokens, which the developers plan to address in a future update.
https://huggingface.co/homebrewltd/llama3.1-s-instruct-v0.2
homebrew.ltd/blog/llama3-just-got-ears
@opendatascience
#llama
huggingface.co
Menlo/llama3-s-instruct-v0.2 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥12👍6❤1
Forwarded from AbstractDL
To Code, or Not To Code? Насколько важны данные с кодом в претрейне LLM? (by Cohere)
Да, код нужен, и очень сильно. На самом деле уже довольно давно был консенсус на этот счёт, но подробно влияние кода не изучали.
Теперь можно ставить точку в этом вопросе — в Cohere проделали очень подробный ablation study: данные с кодом улучшают не только кодинг и ризонинг, но и даже world knowledge! То есть после их добавления в претрейн модели лучше запоминают текстовые знания.
Статья
Да, код нужен, и очень сильно. На самом деле уже довольно давно был консенсус на этот счёт, но подробно влияние кода не изучали.
Теперь можно ставить точку в этом вопросе — в Cohere проделали очень подробный ablation study: данные с кодом улучшают не только кодинг и ризонинг, но и даже world knowledge! То есть после их добавления в претрейн модели лучше запоминают текстовые знания.
Статья
👍13❤5🔥2
Qwen2 joins the multimodal race!
2-VL is a new multimodal LLM and comes in two sizes: 2B for on-device usage and 7B under Apache 2.0!
Qwen2 7B VL shows matching performance to GPT-4o mini across different benchmarks!
🧮 Comes in 2 sizes, 2B (2.2B) and 7B (8.3B) using a Vision Encoder
🎥 Can understand videos over 20 minutes for video-based question-answering
🖼️ Qwen2 7B VL around GPT-4o mini performance on VLM Benchmarks
🌍 Multilingual, including most European languages, Japanese, Korean, Arabic, and Vietnamese
📝 Improved OCR and handwritten text extraction
🤗 Available on
@huggingface
🔓 Released under Apache 2.0
🔄 Dynamic image resolutions and M-ROPE (Multimodal Rotary Position Embedding)
Blog: https://qwenlm.github.io/blog/qwen2-vl/
Models: https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d
@opendatascience
2-VL is a new multimodal LLM and comes in two sizes: 2B for on-device usage and 7B under Apache 2.0!
Qwen2 7B VL shows matching performance to GPT-4o mini across different benchmarks!
🧮 Comes in 2 sizes, 2B (2.2B) and 7B (8.3B) using a Vision Encoder
🎥 Can understand videos over 20 minutes for video-based question-answering
🖼️ Qwen2 7B VL around GPT-4o mini performance on VLM Benchmarks
🌍 Multilingual, including most European languages, Japanese, Korean, Arabic, and Vietnamese
📝 Improved OCR and handwritten text extraction
🤗 Available on
@huggingface
🔓 Released under Apache 2.0
🔄 Dynamic image resolutions and M-ROPE (Multimodal Rotary Position Embedding)
Blog: https://qwenlm.github.io/blog/qwen2-vl/
Models: https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d
@opendatascience
🔥9👍6❤1
Forwarded from Yandex for Developers
The International Conference on Machine Learning — одна из крупнейших международных конференций по машинному обучению.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🤡5👍4🤷♂1🌚1
An open source UI to train your own Flux LoRA just landed on Hugging Face 🚀 Also, probably the easiest and cheapest (local training also supported).
https://huggingface.co/spaces/autotrain-projects/train-flux-lora-ease
#Flux #LoRA
@opendatascience
https://huggingface.co/spaces/autotrain-projects/train-flux-lora-ease
#Flux #LoRA
@opendatascience
❤7🔥3👍2
Forwarded from Machinelearning
Microsoft Research обновил AutoGen Studio — Low-Code инструмент для разработчиков , предназначенный для создания, отладки и оценки многоагентных рабочих процессов.
AutoGen Studio разработан для повышения доступности среды управления локальным AI, позволяя разработчикам прототипировать и внедрять многоагентные системы без необходимости обширных знаний в области ML.
AutoGen Studio это веб-интерфейс и API Python. Он гибкий в использовании и его легко можно интегрировать его в различные среды разработки. Простой и понятный дизайн позволяет быстро собирать многоагентные системы с помощью удобного интерфейса drag-n-drop.
AutoGen Studio поддерживает API всех популярных онлайн-провейдеров LLM (OpenAI, Antрropic, Gemini, Groq, Amazon Bedrock, Corehe, MistralAI, TogetherAI ) и локальные бэкэнды :
vLLM, Ollama, LM Studio.
Возможности :
Roadmap для отслеживания новых функций, решенных проблем и запросов от сообщества разработчиков можно найти в Issues репозитория AutoGen Studio на Github.
⚠️ Примечания от разработчика:
🟠 AutoGen Studio не предназначен для использования в качестве готового к продакшену приложения. Это среда прототипирования и разработки процессов и агентов.🟠 AutoGen Studio находится в стадии активной разработки с частыми итерациями коммитов. Документация проекта обновляется синхронно с кодом.🟠 Системные требования к установке: Python 3.10+ и Node.js => 14.15.0.
@ai_machinelearning_big_data
#AI #AgentsWorkflow #MLTool #Microsoft #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Introducing MLR-Copilot: autonomous machine learning research with LLM agents, which
→ generate research ideas
→ implement experiments
→ execute implementation with human feedback
📑Paper https://arxiv.org/abs/2408.14033
🔨Code https://github.com/du-nlp-lab/MLR-Copilot
🤗Demo https://huggingface.co/spaces/du-lab/MLR-Copilot
@opendatascience
→ generate research ideas
→ implement experiments
→ execute implementation with human feedback
📑Paper https://arxiv.org/abs/2408.14033
🔨Code https://github.com/du-nlp-lab/MLR-Copilot
🤗Demo https://huggingface.co/spaces/du-lab/MLR-Copilot
@opendatascience
👍9❤4🔥2
Forwarded from Рекомендательная [RecSys Channel]
Законы масштабирования в больших моделях последовательных рекомендаций
Авторы из WeChat и Tencent разбирались, работают ли законы масштабирования нейросетей для рекомендательных систем. Главный вопрос — есть ли улучшение качества рекомендаций при увеличении количества обучаемых параметров? Короткий ответ — да.
Известно, что рост количества параметров моделей иногда коррелирует с улучшением качества решаемых задач. Больше всего работ посвящено законам масштабирования в языковых моделях. В них определяется эмпирическая зависимость функции потерь на отложенной выборке от характеристик обучения. Обычно рассматривают параметры энкодеров и/или декодеров. Для NLP зависимость в логарифмических координатах получается линейной.
В работе об SR авторы масштабировали декодер трансформера и вносили изменения в стратегии обучения, чтобы получить закон масштабирования для рекомендательных систем:
— Для слоёв в начале последовательности декодер-блоков применяли больший dropout-rate, а для слоёв на вершине — меньший, что позволило избежать оверфита.
— Сначала обучались с Adam до полной сходимости, а потом брали чекпоинты, с которых продолжали обучение при помощи SGD, потому что несмотря на лучшую сходимость, итоговый минимум у Adam получался хуже.
Историю взаимодействий форматировали как хронологическую последовательность ID айтемов. То есть задача решалась так же, как в случае с языковыми моделями. Исследователи не брали другую информацию (например, текст айтема), так как хотели изучить работу закона с т. з. поведения пользователя. Модели увеличивали до 0,8B параметров, сравнивая эффекты в разных диапазонах размеров.
Оказалось, закон масштабирования работает для SR-моделей даже в сценариях с ограниченным количеством данных. Авторы показали преимущество больших моделей и на сложных задачах рекомендаций: cold start, long tail, определяли траектории пользователей и смотрели, что происходит при мультидоменном трансфере — во всех случаях масштабирование улучшало результаты.
@RecSysChannel
Разбор подготовил❣ Артем Матвеев
Авторы из WeChat и Tencent разбирались, работают ли законы масштабирования нейросетей для рекомендательных систем. Главный вопрос — есть ли улучшение качества рекомендаций при увеличении количества обучаемых параметров? Короткий ответ — да.
Известно, что рост количества параметров моделей иногда коррелирует с улучшением качества решаемых задач. Больше всего работ посвящено законам масштабирования в языковых моделях. В них определяется эмпирическая зависимость функции потерь на отложенной выборке от характеристик обучения. Обычно рассматривают параметры энкодеров и/или декодеров. Для NLP зависимость в логарифмических координатах получается линейной.
В работе об SR авторы масштабировали декодер трансформера и вносили изменения в стратегии обучения, чтобы получить закон масштабирования для рекомендательных систем:
— Для слоёв в начале последовательности декодер-блоков применяли больший dropout-rate, а для слоёв на вершине — меньший, что позволило избежать оверфита.
— Сначала обучались с Adam до полной сходимости, а потом брали чекпоинты, с которых продолжали обучение при помощи SGD, потому что несмотря на лучшую сходимость, итоговый минимум у Adam получался хуже.
Историю взаимодействий форматировали как хронологическую последовательность ID айтемов. То есть задача решалась так же, как в случае с языковыми моделями. Исследователи не брали другую информацию (например, текст айтема), так как хотели изучить работу закона с т. з. поведения пользователя. Модели увеличивали до 0,8B параметров, сравнивая эффекты в разных диапазонах размеров.
Оказалось, закон масштабирования работает для SR-моделей даже в сценариях с ограниченным количеством данных. Авторы показали преимущество больших моделей и на сложных задачах рекомендаций: cold start, long tail, определяли траектории пользователей и смотрели, что происходит при мультидоменном трансфере — во всех случаях масштабирование улучшало результаты.
@RecSysChannel
Разбор подготовил
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥2❤1
76-page survey paper on Prompting Techniques ✨
Explores structured understanding and taxonomy of 58 text-only prompting techniques, and 40 techniques for other modalities.
📌 The paper focuses on discrete prefix prompts rather than cloze prompts, because prefix prompts are widely used with modern LLM architectures like decoder-only models. It excludes soft prompts and techniques using gradient-based updates.
📌 The paper identifies 58 text-based prompting techniques broken into 6 major categories:
1) In-Context Learning (ICL) - learning from exemplars/instructions in the prompt
2) Zero-Shot - prompting without exemplars
3) Thought Generation - prompting the LLM to articulate reasoning
4) Decomposition - breaking down complex problems
5) Ensembling - using multiple prompts and aggregating outputs
6) Self-Criticism - having the LLM critique its own outputs
📌 For ICL, it discusses key design decisions like exemplar quantity, ordering, label quality, format, and similarity that critically influence output quality. It also covers ICL techniques like K-Nearest Neighbor exemplar selection.
📌 Extends the taxonomy to multilingual prompts, discussing techniques like translate-first prompting and cross-lingual ICL. It also covers multimodal prompts spanning image, audio, video, segmentation, and 3D modalities.
📌 More complex techniques like agents that access external tools, code generation, and retrieval augmented generation are also taxonomized. Evaluation techniques using LLMs are discussed.
📌 Prompting issues like security (prompt hacking), overconfidence, biases, and ambiguity are highlighted. Two case studies - benchmarking techniques on MMLU and an entrapment detection prompt engineering exercise - are presented.
https://arxiv.org/abs/2406.06608
@opendatascience
Explores structured understanding and taxonomy of 58 text-only prompting techniques, and 40 techniques for other modalities.
📌 The paper focuses on discrete prefix prompts rather than cloze prompts, because prefix prompts are widely used with modern LLM architectures like decoder-only models. It excludes soft prompts and techniques using gradient-based updates.
📌 The paper identifies 58 text-based prompting techniques broken into 6 major categories:
1) In-Context Learning (ICL) - learning from exemplars/instructions in the prompt
2) Zero-Shot - prompting without exemplars
3) Thought Generation - prompting the LLM to articulate reasoning
4) Decomposition - breaking down complex problems
5) Ensembling - using multiple prompts and aggregating outputs
6) Self-Criticism - having the LLM critique its own outputs
📌 For ICL, it discusses key design decisions like exemplar quantity, ordering, label quality, format, and similarity that critically influence output quality. It also covers ICL techniques like K-Nearest Neighbor exemplar selection.
📌 Extends the taxonomy to multilingual prompts, discussing techniques like translate-first prompting and cross-lingual ICL. It also covers multimodal prompts spanning image, audio, video, segmentation, and 3D modalities.
📌 More complex techniques like agents that access external tools, code generation, and retrieval augmented generation are also taxonomized. Evaluation techniques using LLMs are discussed.
📌 Prompting issues like security (prompt hacking), overconfidence, biases, and ambiguity are highlighted. Two case studies - benchmarking techniques on MMLU and an entrapment detection prompt engineering exercise - are presented.
https://arxiv.org/abs/2406.06608
@opendatascience
👍15🔥3❤2
This open-source RAG tool for chatting with your documents is Trending at Number-1 in Github from the past few days
🔍 Open-source RAG UI for document QA
🛠️ Supports local LLMs and API providers
📊 Hybrid RAG pipeline with full-text & vector retrieval
🖼️ Multi-modal QA with figures & tables support
📄 Advanced citations with in-browser PDF preview
🧠 Complex reasoning with question decomposition
⚙️ Configurable settings UI
🔧 Extensible Gradio-based architecture
Key features:
🌐 Host your own RAG web UI with multi-user login
🤖 Organize LLM & embedding models (local & API)
🔎 Hybrid retrieval + re-ranking for quality
📚 Multi-modal parsing and QA across documents
💡 Detailed citations with relevance scores
🧩 Question decomposition for complex queries
🎛️ Adjustable retrieval & generation settings
🔌 Customizable UI and indexing strategies
#rag #ml
▪ Github
@opendatascience
🔍 Open-source RAG UI for document QA
🛠️ Supports local LLMs and API providers
📊 Hybrid RAG pipeline with full-text & vector retrieval
🖼️ Multi-modal QA with figures & tables support
📄 Advanced citations with in-browser PDF preview
🧠 Complex reasoning with question decomposition
⚙️ Configurable settings UI
🔧 Extensible Gradio-based architecture
Key features:
🌐 Host your own RAG web UI with multi-user login
🤖 Organize LLM & embedding models (local & API)
🔎 Hybrid retrieval + re-ranking for quality
📚 Multi-modal parsing and QA across documents
💡 Detailed citations with relevance scores
🧩 Question decomposition for complex queries
🎛️ Adjustable retrieval & generation settings
🔌 Customizable UI and indexing strategies
#rag #ml
▪ Github
@opendatascience
👍20❤8🔥4