🌟 Динамическое 4-битное квантование VLM с повышенной точностью от Unsolth .

Unsloth представил практический метод динамического 4-битного квантования VLM, который решает проблему снижения точности популярных алгоритмов квантования AWQ, Bitsandbytes, GPTQ и HQQ.

В эксперименте использовался Bitsandbytes в качестве основы для всех линейных слоев, но квантование определенных параметров было динамически отключено. Этот подход позволил добиться значительного повышения точности при использовании всего на 10% больше VRAM по сравнению с стандартным 4-битным квантованием Bitsandbytes.

В результате, этот метод позволяет сохранить точность модели, близкую к 16-битной точности, при значительном сокращении размера модели.

Тестирование на VL-моделях Llama 3.2 Vision, Qwen2 Vision и Pixtral, показали значительные преимущества по сравнению со стандартным 4-битным квантованием. Например, квантование Qwen2 Vision 2B до 4 бит приводило к полной поломке модели, в то время как метод динамического квантования позволял восстановить точность при увеличении использования памяти всего на 450 МБ.

Аналогичным образом, получилось восстановить точность Llama 3.2 Vision 11B и Pixtral 12B, которые также деградировали на стандартном 4-битном квантовании.

▶️В открытый доступ на HF опубликованы модели, участвующие в исследовании:

🟢Llama-3.2-11B-Vision-Instruct-unsloth-bnb-4bit (7.23 GB)

🟢Llama-3.2-11B-Vision-unsloth-bnb-4bit (7.23 GB)

🟠Qwen2-VL-2B-Instruct-unsloth-bnb-4bit (1.81 GB)

🟠Qwen2-VL-7B-Instruct-unsloth-bnb-4bit (6.3 GB)

🟠QwQ-32B-Preview-unsloth-bnb-4bit

🟢Pixtral-12B-2409-unsloth-bnb-4bit (8.42GB)


⚠️ К каждой модели в Model Card можно найти блокнот для запуска в Google Collab и созданные сообществом GGUF-версии.


📌Лицензирование моделей:

🟠Семейство Llama: Llama 3.2 Community License Agreement
🟢Семейство Qwen: Apache 2.0 License.
🟢Pixtral: Apache 2.0 License.


🟡Статья
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #VLM #Unsolth #Quantization

⚡️ Google запустил бесплатный пятидневный курс по нейросетям (генеративному ИИ).

Курс включает подкасты, текстовые материалы и практические задания, которые помогут разобраться в следующих темах:

— Основах LLM: от трансформеров до методов тонкой настройки;
— Внедрении и использовании векторных хранилищ/баз данных;
— Создании и работе с ИИ-агентами;
— Специализации LLM для конкретных областей знаний, таких как медицина;
— MLOps для генеративного ИИ.

🔗 Курс

@machinelearning_interview

🌟 AQLM․rs: сокращаем расходы на нейросети

Исследователь Яндекса разработал сервис для запуска языковых моделей с 8 млрд параметров на пользовательских девайсах.

Автор написал инференс модели Llama 3.1 8B, работающий в браузере на WebAssembly без использования GPU. Для этого он применил технологию сжатия нейросетей AQLM, которую разработала команда Yandex Research вместе с университетами ISTA и KAUST.

Для примера, скорость ответов нейросети на MacBook Pro M1 составила 1,5 токена в секунду или 3–4 символа.

🟡Статья
🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM

🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!

🔐 Лицензия: MIT

🖥 Github

@machinelearning_interview

✔️ Проект vLLM присоединился к экосистеме PyTorch.

vLLM, движок для запуска LLM, стал частью экосистемы PyTorch. vLLM обеспечивает высокую пропускную способность и эффективное использование памяти при работе с моделями, содержащими сотни миллиардов параметров. vLLM поддерживает аппаратные платформы NVIDIA, AMD, Google Cloud TPU, Intel и AWS. Установить vLLM теперь можно простой командой: pip install vllm.
pytorch.org

✔️ OpenAI запускает Canvas для совместной работы с ChatGPT.

Canvas предоставляет возможность совместного редактирования текстов и кода в режиме реального времени. Новая функция позволяет пользователям добавлять текст, вносить изменения и давать обратную связь ChatGPT. Интеграция с Python позволяет запускать код непосредственно в Canvas и визуализировать результаты, включая графику. OpenAI также объявила о поддержке Canvas в пользовательских GPT, что позволит расширить их функциональность и адаптировать к конкретным задачам.
openai.com

✔️ MIT разработал инструмент для отслеживания источников информации, используемых ИИ.

Исследователи из МIT создали ContextCite – инструмент, который отслеживает источники информации, применяемые ИИ при создании текста. ContextCite позволяет пользователям проверять достоверность информации, предоставляемой ИИ, выделяя фрагменты текста, на которых основан ответ.

В случае ошибки ContextCite помогает определить источник недостоверных данных и понять логику работы ИИ. Инструмент также способен выявлять «атаки отравления», когда злоумышленники пытаются исказить информацию, вводя ложные данные в источники, используемые ИИ.
news.mit.edu

✔️ DIMON: Нейросетевой оператор для решения дифференциальных уравнений в частных производных на различных геометрических областях.

Ученые из Университета Джонса Хопкинса разработали новый метод машинного обучения DIMON (Diffeomorphic Mapping Operator Learning), который способен эффективно обучаться и решать дифференциальные уравнения в частных производных (PDE) значительно быстрее, чем суперкомпьютеры.

DIMON основан на использовании диффеоморфизмов для преобразования функций, заданных на различных областях, в единую эталонную область. Это позволяет обучить нейросетевой оператор, способный аппроксимировать решение PDE на любой области из семейства диффеоморфных областей. DIMON успешно протестирован на решении уравнения Лапласа и моделировании динамики реакции-диффузии. Он был использован для прогнозирования распространения электрического сигнала в левом желудочке сердца на основе данных 1006 пациентов. DIMON продемонстрировал высокую точность, сократив время прогнозирования с нескольких часов до менее чем одной секунды.
nature.com

✔️ Reddit запускает инструмент поиска с ИИ.

Инструмент автоматически генерирует ответы на запросы пользователей и предоставляет ссылки на релевантные источники информации. Ключевой особенностью Reddit Answers является использование данных, собранных непосредственно с платформы Reddit, что позволяет находить нужную информацию без обращения к внешним поисковым системам.

В настоящее время доступ к Reddit Answers ограничен: им могут воспользоваться только пользователи из США через веб-интерфейс или приложение iOS и только на английском языке. В планах - расширить доступность сервиса для других языков и регионов. На данный момент Reddit Answers находится на стадии тестирования.
redditinc.com

✔️ Swift Ventures создает новый индекс для оценки инвестиций в ИИ.

Индекс использует систему оценки, основанную на анализе инвестиций в исследования ИИ, количество специалистов по ИИ в штате и доходы от операций, связанных с ИИ. Этот подход позволяет определить, какие компании действительно инвестируют в ИИ, а не просто используют модный термин.

Анализ отслеживаемых 90 компаний показал, что только небольшая часть компаний, упомянувших ИИ в своих отчетах, вкладывает значительные средства в развитие этой технологии.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml

📌Онлайн курс "Преобразование Фурье и его приложения"

Преобразование Фурье – это математический метод, который широко применяется в науке и технике для анализа сигналов. Этот метод основан на представлении сигнала в виде суммы синусоидальных и косинусоидальных функций разных частот.

Анализ Фурье оказал значительное влияние на развитие математики, стимулируя развитие теории обобщенных функций. Применение преобразования Фурье основано на принципе линейности, который позволяет анализировать сложные сигналы путем разложения их на более простые составляющие.

Курс «EE 261 Преобразование Фурье и его приложения», предлагаемый онлайн-платформой Stanford Engineering Everywhere Университета Стэнфорда, посвящен изучению преобразования Фурье и его практическому применению.

Цель курса – научить студентов применять преобразование Фурье для решения практических задач в различных областях науки и техники. В рамках курса рассматриваются темы:

🟢Ряды Фурье;
🟢Основные свойства преобразования Фурье;
🟢Свертка;
🟢Обобщенные функции;
🟢Дискретизация;
🟢Линейные системы;
🟢Дискретное преобразование Фурье;
🟢Алгоритм быстрого преобразования Фурье;
🟢Двумерное преобразование Фурье.

Курс состоит из 30 лекций, дополнительных материалов к ним и предназначен для студентов с разным уровнем подготовки, для тех, кто впервые знакомится с преобразованием Фурье, так и для тех, кто уже изучал его в других курсах.

@ai_machinelearning_big_data

#AI #ML #FourierTransform #Stanford #Course

🔥 Полезный сайт, на котором собрано более двухсот различных материалов по машинному обучению!

🔗 Ссылка: *клик*

@machinelearning_interview

🖥 Воскресное чтиво: Краткая история Intel

Intel, intel, intel… Это не просто текст на упаковке процессора – это целая эпоха в мире вычислительной техники. Intel, зародившийся в 1968 году, смог прийти от производителя полупроводников в бигтех компанию, основу современного IT-мира. В истории этой компании бывали взлеты и падения, плохие и хорошие времена, но одно можно сказать точно – без intel мы бы не смогли представить современный мир.

Но читая последние новости, можно с уверенностью заявить – у Intel сейчас тяжелые времена. Финансовая катастрофа на одном фронте, “горячие” новинки с другого (топовые процессоры Intel i7 и i9 могут очень сильно перегреваться, а также некоторые имеют проблемы с микрокодом). Целый комплекс проблем, акции упали до рекордно низкого показателя – около 20-24 долларов за штуку. Также компания столкнулась с убытком в размере 1.61 миллиардов долларов.

В этой статье я рассмотрю историю Intel, с небольших микропроцессоров, до целых линеек, таких как Pentium, Celeron, Dual Core, Xeon (храни его Си Цзиньпинь) и современные i-Core процессоры. А также затронем современные проблемы Intel и может ли она отдать позиции AMD. А также кратко рассмотрим как работает процессор, историю зарождения компьютеров и их архитектуру. Будет интересно.

Все мы знаем Intel. Для одних многомиллиардная корпорация зла, для других компания, производящая лучшие в мире процессоры, третьи считают что AMD лучше, четвертые называют процессором весь блок компьютера. Эта компания буквально пропитана атмосферой кремниевой долины (причем даже буквально). Но intel далеко не с самого начала паяла процессоры, все начиналось намного прозаичнее. Но об этом мы поговорим немного позже.

📌 Читать статью

@machinelearning_interview