Zamba2-Instruct - семейство инструктивных моделей на архитектуре Mamba2+Transformers для NLP-задач.
В семействе 2 модели:
Высокая производительность семейства по сравнению с релевантными Transformers-only моделями достигается за счет конкатенации эмбедингов модели с входными данными для блока внимания и использование LoRA projection matrices к общему MLP-слою.
Модели файнтюнились (SFT+DPO) на instruct-ориентированных наборах данных (ultrachat_200k, Infinity-Instruct, ultrafeedback_binarized, orca_dpo_pairs и OpenHermesPreferences).
Тесты Zamba2-Instruct продемонстрировали внушительную скорость генерации текста и эффективное использование памяти, обходя MT-bench более крупные по количеству параметров модели/ (Zamba2-Instruct-2.7B превзошла Mistral-7B-Instruct-v0.1, а Zamba2-Instruct-1.2B - Gemma2-2B-Instruct)
⚠️ Для запуска на СPU укажите
use_mamba_kernels=False
при загрузке модели с помощью AutoModelForCausalLM.from_pretrained
.# Clone repo
git clone https://github.com/Zyphra/transformers_zamba2.git
cd transformers_zamba2
# Install the repository & accelerate:
pip install -e .
pip install accelerate
# Inference:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-2.7B-instruct")
model = AutoModelForCausalLM.from_pretrained("Zyphra/Zamba2-2.7B-instruct", device_map="cuda", torch_dtype=torch.bfloat16)
user_turn_1 = "user_prompt1."
assistant_turn_1 = "assistant_prompt."
user_turn_2 = "user_prompt2."
sample = [{'role': 'user', 'content': user_turn_1}, {'role': 'assistant', 'content': assistant_turn_1}, {'role': 'user', 'content': user_turn_2}]
chat_sample = tokenizer.apply_chat_template(sample, tokenize=False)
input_ids = tokenizer(chat_sample, return_tensors='pt', add_special_tokens=False).to("cuda")
outputs = model.generate(**input_ids, max_new_tokens=150, return_dict_in_generate=False, output_scores=False, use_cache=True, num_beams=1, do_sample=False)
print((tokenizer.decode(outputs[0])))
@data_analysis_ml
#AI #ML #SLM #Zamba2 #Instruct
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤3🔥2
🎓 Deep Gen-AI
✅ Полный курс от Стэнфорда, посвященный алгоритмам и методам обучения Генеративных моделей, включая вариационные автоэнкодеры, генерирующие состязательные сети, авторегрессионные модели и многое другое.
📌 Курс
@data_analysis_ml
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16❤8👍5
Forwarded from Machinelearning
BrainChip анонсировала Akida Pico — нейроморфный процессор с энергопотреблением всего 1 мВт, предназначенный для устройств с ограниченным питанием: смартфоны, носимая электроника и умные устройства.
Akida Pico имитирует работу мозга, обмениваясь электрическими импульсами (спайками) вместо традиционных логических цепей. Чип включает нейронный процессор, блоки обработки событий, SRAM для хранения весов модели, блоки прямого доступа к памяти и дополнительные периферийные устройства. В некоторых случаях он может работать автономно.
BrainChip разработала архитектуры моделей ИИ, оптимизированные для минимального энергопотребления, снижая потребление энергии в пять раз по сравнению с традиционными моделями на обычных микропроцессорах. Akida Pico может использоваться для голосовой активации, шумоподавления в наушниках, AR-очках и слуховых аппаратах.
spectrum.ieee.org
Gemini Live запускает поддержку генеративного ИИ-помощника на более чем 40 языках. Инструмент позволит общаться на двух языках на одном устройстве, и в разработке находится дальнейшее расширение одновременно поддерживаемых языков.
Многоязычная поддержка также будет работать с интеграцией Gemini для других приложений и сервисов Google: Google Календарь, Задачи, Keep и Утилиты.
Установить предпочитаемые языки в приложении Android: «Настройки» > «Google Ассистент» > «Языки» и выберите первый предпочитаемый язык. Для второго языка есть опция «Добавить язык».
О планах по выпуску Gemini Live для iPhone не сообщалось.
engadget.com
В MIT CSAIL разработали метод Message-Passing Monte Carlo (MPMC), основанный на GNN, которые позволяют точкам самооптимизироваться и достигать лучшей равномерности для решения сложных многомерных задач. GNN преобразуют случайные выборки, минимизируя L2-расхождение, что позволяет MPMC создавать наборы точек, подходящие для конкретных приложений.
В вычислительных финансах MPMC может улучшить результаты в задачах ценообразования опционов и оценки рисков, а в робототехнике - помочь в планировании пути и движении для оптимальной навигации роботов.
news.mit.edu
CharacterAi решила отказаться от разработки больших языковых моделей и сосредоточиться на улучшении потребительской платформы. Это решение было принято после сделки с Google, в рамках которой интернет-гигант приобрел единовременную лицензию на технологию CharacterAi.
Рост затрат на обучение моделей усложнил конкуренцию с Google, Microsoft, OpenAI и Amazon. Компания решила сконцентрироваться на создании масштабируемой платформы чат-ботов, аудитория которой, по оценкам, насчитывает более 20 миллионов активных пользователей в месяц.
Несмотря на уход основателей и сокращение амбиций в области разработки моделей, компания с оптимизмом смотрит в будущее благодаря финансированию от Google.
btimesonline.com
BM Research и NASA совместно разработали Prithvi WxC – модель глубокого обучения для прогнозирования погоды и моделирования климата с 2,3 млрд. параметров и 160 переменными из набора данных MERRA-2.
Модель использует трансформерную архитектуру для обработки долгосрочных зависимостей, комбинацию локальных и глобальных механизмов внимания для обработки больших объемов данных и эффективного захвата пространственно-временных закономерностей.
Prithvi WxC обучается с помощью комбинированной функции цели, которая объединяет задачи маскированной реконструкции и прогнозирования, что повышает ее универсальность в различных приложениях, включая прогнозирование с авторегрессионным развертыванием и оценку экстремальных погодных явлений.
Arxiv | Модель на HF | Проект на Github
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤4🔥1
🚀🔥 LLaVA-Critic - первая крупномасштабная мультимодальная модель с открытым исходным кодом, предназначенная для оценки эффективности модели в различных мультимодальных задачах!
Так же представлен LLaVA-Critic-113k, высококачественный набор данных, который позволяет получать количественные оценки работы Llm.
Подробнее:
- 📰Статья: https://arxiv.org/abs/2410.02712
- 🪐Страница проекта: https://llava-vl.github.io/blog/2024-10-03-llava-critic/
- 📦Набор данных: https://huggingface.co/datasets/lmms-lab/llava-critic-113k
- 🤗Модели: https://huggingface.co/collections/lmms-lab/llava-critic-66fe3ef8c6e586d8435b4af8
@data_analysis_ml
Так же представлен LLaVA-Critic-113k, высококачественный набор данных, который позволяет получать количественные оценки работы Llm.
Подробнее:
- 📰Статья: https://arxiv.org/abs/2410.02712
- 🪐Страница проекта: https://llava-vl.github.io/blog/2024-10-03-llava-critic/
- 📦Набор данных: https://huggingface.co/datasets/lmms-lab/llava-critic-113k
- 🤗Модели: https://huggingface.co/collections/lmms-lab/llava-critic-66fe3ef8c6e586d8435b4af8
@data_analysis_ml
👍12❤4🔥2
https://www.youtube.com/watch?v=3mcs_MDiLwY
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Fireducks: Ускорь Pandas в 20 раз, изменив всего одну строчку кода!!!
💡 Pandas часто бывает медленным из-за ограничений, таких как одноядерные вычисления и громоздкие DataFrame-ы. Но есть простое решение: FireDucks — библиотека с таким же API, как у Pandas, которая решает эти проблемы и значительно ускоряет обработку данных.…
🔥21👍3❤2
🚀 Nvidia представляет EdgeRunner!
Этот метод позволяет создавать высококачественные 3D-сетки с количеством граней до 4000 при разрешении 512 на основе облаков точек.
https://research.nvidia.com/labs/dir/edgerunner/
@data_analysis_ml
Этот метод позволяет создавать высококачественные 3D-сетки с количеством граней до 4000 при разрешении 512 на основе облаков точек.
https://research.nvidia.com/labs/dir/edgerunner/
@data_analysis_ml
👍8❤3🔥1🤣1
♠️ Бесплатный курс от MIT: Теория и Аналитика покера
В этом курсе от MIT подробно рассматривается теория покера, математика покера и применение покерной аналитики в управлении инвестициями и трейдинге.
▪️Материалы Курса
@data_analysis_ml
В этом курсе от MIT подробно рассматривается теория покера, математика покера и применение покерной аналитики в управлении инвестициями и трейдинге.
▪️Материалы Курса
@data_analysis_ml
❤20👍11🔥6❤🔥2
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤8🔥1
👉Пост
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49❤8🔥4😱3😁1😢1🥴1🏆1
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤5🥰2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Также на площадке присутствуют еженедельные мл конкурсы среди самых популярных и полезных моделей
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍6🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
> Pyramid Flow: эффективный для обучения метод авторегрессивной генерации видео.
> Обучается на наборах данных с открытым исходным кодом
> Генерирует высококачественные 10-секундные видеоролики
> Разрешение видео: 768p
> Частота кадров: 24 кадр/с
> Поддерживает генерацию изображений в видео
> Доступна на HF 🤗
https://huggingface.co/rain1011/pyramid-flow-sd3
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5🔥2
Библиотека, которая предназначена для ускорения работы методов NumPy вплоть до 25 раз, особенно при работе с массивами, содержащими значения NaN.
Эта библиотека оптимизирует выполнение таких операций, как поиск минимума, максимума, медианы и других агрегативных функций.
Используя специальные алгоритмы и методы обработки пропущенных данных, Bottleneck значительно увеличивает производительность работы с большими объемами данных, делая ее более эффективной по сравнению со стандартными методами NumPy.
Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22🤔9🔥4🥰2
Forwarded from Machinelearning
NumPy-QuadDType (
numpy_quaddtype
) — это реализация пользовательского типа данных (dtype
) для NumPy, которая обеспечивает настоящую арифметику с плавающей точкой четверной точности на разных платформах. Проект направлен на решение давних проблем с
np.longdouble
, предлагая согласованный, высокоточный тип с плавающей точкой независимо от базовой архитектуры системы, а также обеспечивая обратную совместимость long double
.Ядро numpy_quaddtype построено вокруг на двух ключевых компонентов:
QuadPrecision
, представляющий отдельные скаляры четверной точности;QuadPrecDType
, позволяющий использовать эти скаляры четверной точности в массивах и операциях NumPy.Отличительная черта numpy_quaddtype - его подход с двойным бэкэндом:
Sleef_quad
из библиотеки SLEEF, предоставляя настоящую 128-битную учетверенную точность.long double
, который может обеспечивать точность до 80 бит в некоторых системах, обеспечивая совместимость с np.longdouble
.Гибкость архитектуры
numpy_quaddtype
наследуется от компонентов ее ядра: QuadPrecisionObject
, хамелеоноподобная структура, которая может переключаться между формами:typedef union {
Sleef_quad sleef_value;
long double longdouble_value;
} quad_value;
typedef struct {
PyObject_HEAD
quad_value value;
QuadBackendType backend;
} QuadPrecisionObject;
QuadPrecDTypeObject
, который действует как мост, позволяя высокоточным числам гармонично работать в массивах и операциях NumPy:typedef struct {
PyArray_Descr base;
QuadBackendType backend;
} QuadPrecDTypeObject;
Он позволяет переключаться между бекэндами Sleef_quad (для SLEEF) и long double во время выполнения:
>>> import numpy as np
>>> import numpy_quaddtype as npq
# Using SLEEF backend (default)
>>> x = npq.QuadPrecision(3.5)
>>> x = npq.QuadPrecision(3.5, backend='sleef')
>>> repr(x)
QuadPrecision('3.5e+000', backend='sleef')
# Using longdouble backend
>>> y = npq.QuadPrecision(2.5, backend='longdouble')
>>> repr(y)
QuadPrecision('2.5e+000', backend='longdouble')
# Creating a NumPy array with QuadPrecision dtype
>>> z = np.array([x, x], dtype=npq.QuadPrecDType()) # SLEEF
>>> print(z)
[QuadPrecision('3.5e+000', backend='sleef')
QuadPrecision('3.5e+000', backend='sleef')]
>>> z = np.array([y, y], dtype=npq.QuadPrecDType("longdouble")) # longdouble
>>> print(z)
[QuadPrecision('2.5e+000', backend='longdouble')
QuadPrecision('2.5e+000', backend='longdouble')]
В тестах
numpy_quaddtype
с бэкендом SLEEF показал точность в 34 десятичных знаков. ULP (единица в младшем разряде) для основных арифметических операций ≤ 0,5000000001
, а для трансцендентных функций ≤ 1,0. C бэкендом Long Double показал точность, зависящую от платформы: 18-19 десятичных знаков в Linux и 15-17 в Windows.
В настоящее время ведётся подготовка к выпуску
numpy_quaddtype
в виде пакета Python, доступного через PyPI и conda. Также планируется направить предложение NEP для интеграции numpy_quaddtype
в экосистему NumPy и рассмотреть TLFloat
как потенциальную замену SLEEF в будущих версиях.numpy_quaddtype
на примере визуализации множества Мандельброта при экстремальном увеличении и моделирование квантового гармонического осциллятора для двухатомных молекул.@ai_machinelearning_big_data
#AI #ML #DS #Python #NumPy
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍6❤3
Полезный контент по машинному обучению с Practical ML Conf 2024. Рекомендуем обратить внимание на доклад Саввы Степурина. Он был посвящен тому, как предлагать пользователям незнакомый контент. Савва подробно рассказал о переходе от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, представил особые подходы в отборе кандидатов и моделей ранжирования, а также показал результаты внедрения этих подходов.
Также советуем вам ознакомиться с другими интересными темами:
⚙️ Как научить языковые модели работать с кодом. Руководитель лаборатории машинного обучения в Yandex Platform Engineering подробно рассказал об этом процессе и объяснил, почему исследователи решили прогнозировать стейтменты и как это повлияло на качество онлайн-метриков.
⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом докладе раскрывается процесс внедрения длительного контекста в низкоресурсную модель реального времени и упоминаются особенности использования диффузионных моделей.
Помимо этого, были представлены интересные доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM и, конечно же, о рекомендательных системах. Все видео можно посмотреть здесь.
Также советуем вам ознакомиться с другими интересными темами:
⚙️ Как научить языковые модели работать с кодом. Руководитель лаборатории машинного обучения в Yandex Platform Engineering подробно рассказал об этом процессе и объяснил, почему исследователи решили прогнозировать стейтменты и как это повлияло на качество онлайн-метриков.
⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом докладе раскрывается процесс внедрения длительного контекста в низкоресурсную модель реального времени и упоминаются особенности использования диффузионных моделей.
Помимо этого, были представлены интересные доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM и, конечно же, о рекомендательных системах. Все видео можно посмотреть здесь.
❤5👍1🔥1
Media is too big
VIEW IN TELEGRAM
🎓 DepthCrafter – это проект, который создает карты глубины для видео с открытым миром.
Основным преимуществом данного инструмента является высокая детализация без необходимости использования данных о позах камеры или оптического потока.
Проект направлен на упрощение обработки видео, предоставляя как высококачественные, так и ускоренные режимы обработки, требующие видеокарт с объемом памяти от 9 до 26 ГБ.
Ссылка на GitHub проекта: https://github.com/Tencent/DepthCrafter
@data_analysis_ml
Основным преимуществом данного инструмента является высокая детализация без необходимости использования данных о позах камеры или оптического потока.
Проект направлен на упрощение обработки видео, предоставляя как высококачественные, так и ускоренные режимы обработки, требующие видеокарт с объемом памяти от 9 до 26 ГБ.
Ссылка на GitHub проекта: https://github.com/Tencent/DepthCrafter
@data_analysis_ml
❤8👍2🔥2