NVIDIA опубликовала на HuggingFace 4 версии Llama-3.1-Nemotron-70B:
Модель получила улучшение в задачах ответа на вопросы и выполнение пользовательских инструкций. Обучение проводилось с использованием RLHF (REINFORCE) на основе Llama-3.1-Nemotron-70B-Reward и датасета HelpSteer2-Preference.
Nemotron-70B-Instruct достигла высоких результатов в тестах Arena Hard (85.0), AlpacaEval 2 LC (57.6) и GPT-4-Turbo MT-Bench (8.98), и обошла GPT-4o и Claude 3.5 Sonnet.
Версия с поддержкой Transformers, полученная путем конвертации, без какого-либо обучения.
Квантованные версии Llama-3.1-Nemotron-70B-Instruct-HF в формате GGUF с разрядностями от 1-bit (16.75 Gb) до 8-bit (74.98 Gb).
Модель с функционалом чата, рассуждений и специальными навыками для оценки качества ответов других LLM. Она использует английский язык и способна оценивать ответы длиной до 4096 токенов, присваивая им баллы, отражающие их качество.
Основана на Llama-3.1-70B-Instruct Base и использует комбинацию методов Bradley Terry и SteerLM Regression Reward Modelling.
Nemotron-70B-Reward занимает первое место в RewardBench.
Версия с поддержкой Transformers, полученная путем конвертации, без какого-либо обучения.
Квантованная версия Llama-3.1-Nemotron-70B-Reward-HF в формате MLX (40 Gb).
Вместе с моделями опубликован датасет HelpSteer2 - набор данных на английском языке, предназначенный для обучения reward-моделей, которые используются для повышения полезности, фактической точности и связности ответов других LLM.
HelpSteer2 содержит 21 362 строки, каждая из которых включает в себя запрос, ответ и пять аннотированных человеком атрибутов ответа: полезность, правильность, связность, сложность и многословность.
⚠️ Представленные модели требуют систему с как минимум 4 GPU NVIDIA (40 Gb) или 2 GPU (80 Gb) и 150 Gb свободного места на диске.
⚠️ Для локального развертывания Llama-3.1-Nemotron-70B без поддержки Transformers рекомендуется использовать NVIDIA NeMo Framework и TRT-LLM.
@ai_machinelearning_big_data
#AI #ML #LLM #Nemotron #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16👍10🔥6
Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.
На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой
ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.ollama run hf.co/{username}/{repository}ollama run hf.co/{username}/{repository}:{quantization}По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.
Он создается на основе встроенных метаданных
tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template. Шаблон должен быть шаблоном
Go, а не шаблоном Jinja. Например:{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как
hf.co, так и huggingface.co.@ai_machinelearning_big_data
#AI #ML #LLM #Ollama #Huggingface
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤33👍21🔥11👏5✍1😁1
Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.
Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.
Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.
Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.
Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.
Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.
⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.
⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM
@ai_machinelearning_big_data
#AI #ML #LLM #Ministraux #MistralAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27❤12🔥6🥰1
Alibaba выпустила обновленную версию инструмента перевода на базе ИИ, который, по ее словам, превосходит продукты Google, DeepL и ChatGPT. Продукт поддерживает 15 языков, включая русский, и основан на собственной LLM Qwen.
Новый инструмент использует контекстуальные подсказки, культурные и отраслевые термины, что, по мнению Alibaba, поможет увеличить продажи их клиентов, которые используют их он-лайн маркетплейсы.
Alibaba планирует активно продвигать инструмент в Европе, Америке и на развивающихся рынках.
cnbc.com
Ai-Da станет первым роботом-гуманоидом, чья работа будет выставлена на аукцион крупного аукционного дома Sotheby's. Созданная командой под руководством Эйдена Меллера, Ai-Da представляет собой ультрареалистичного робота-женщину, использующего ИИ для рисования, живописи и скульптуры.
Картина Алана Тьюринга, как ожидается, будет продана за £100 000 - £150 000 на октябрьских торгах цифрового искусства Sotheby’s. Портрет под названием «AI God» имеет высоту 2,3 метра и был создан Ai-Da с использованием алгоритмов ИИ.
Предстоящие торги Sotheby’s пройдут с 31 октября по 7 ноября и будут посвящены пересечению искусства и технологий, представляя спектр цифровых форм искусства, отражающих различные движения в современном цифровом художественном ландшафте.
mirror.co.uk
Министерство обороны США увеличило расходы на проекты в области ИИ на 20% по сравнению с 2021 и 2022 годами. С момента запуска ChatGPT, ведомство заключило контракты на сумму 670 млн. долларов с 323 компаниями для разработки алгоритмов и инструментов ИИ.
Министерство внутренней безопасности США также увеличило расходы на ИИ, выделив 22 миллиона долларов 20 компаниям в 2022 и 2023 годах.
Среди подрядчиков - крупные компании (Palantir), так и молодые стартапы (Scale AI). В общей сложности, у Пентагона 83 активных контракта на разработку ИИ, превышающих 1 млрд. долларов.
fortune.com
Lenovo представила Hybrid AI Advantage – новую платформу, объединяющую возможности частных и публичных облачных сервисов с решениями для индивидуальных пользователей и предприятий. В нее вошли:
Lenovo AI Library – библиотека готовых шаблонов ИИ для различных отраслей и бизнес-функций.
Lenovo AI Now – локальный ИИ-агент, превращающий ПК в персональных помощника.
Lenovo Learning Zone – платформа для персонализированного обучения.
В дополнение к этому Lenovo анонсировала новое поколение систем жидкостного охлаждения Neptune для серверов, обеспечивающих до 40% экономии энергии в ЦОД.
news.lenovo.com
Стартап Xscape Photonics привлек $44 млн в рамках раунда финансирования серии A на разработку программируемых лазеров на основе кремниевой фотоники для ЦОДов.
Лазеры Xscape используют различные цвета света для передачи нескольких потоков данных по одному каналу без помех, повышая пропускную способность соединений между графическими процессорами, ИИ-чипами и памятью.
В отличие от традиционных металлических соединений, кремниевая фотоника потребляет меньше энергии, выделяет меньше тепла и обеспечивает более высокую пропускную способность.
Xscape уже сотрудничает с 10 клиентами и получила инвестиции от Cisco и Nvidia. Компания планирует использовать полученные средства для расширения своей команды и увеличения производства лазеров.
techcrunch.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤9🔥4✍1😁1👌1
SegVLAD - метод для решения задач визуального распознавания мест (VPR) в условиях значительных изменений ракурса. SegVLAD использует сегментацию изображений, разделяя их на значимые объекты ("вещи"). Вместо того, чтобы кодировать все изображение целиком, как это делают традиционные методы VPR, SegVLAD кодирует и ищет соответствия на уровне отдельных сегментов.
Основа архитектуры SegVLAD - набор перекрывающихся подграфов сегментов SuperSegments. Подграфы создаются путем расширения окрестности каждого сегмента, учитывая информацию о соседних сегментах, полученную с помощью триангуляции Делоне.
Для каждого SuperSegment вычисляется дескриптор с использованием метода VLAD (Vector of Locally Aggregated Descriptors).
VLAD агрегирует локальные дескрипторы пикселей, полученные с помощью предварительно обученного DINOv2, который способен извлекать высокоуровневые признаки, инвариантные к различным условиям съемки.
SegVLAD обучался на наборах данных, включающих как уличные, так и внутренние среды: Pitts30k, AmsterTime, Mapillary Street Level Sequences (MSLS), SF-XL, Revisted Oxford5K, Revisited Paris6k, Baidu Mall, 17Places, InsideOut и VPAir.
Тесты SegVLAD показали, что метод превосходит современные VPR, особенно на датасетах с большими изменениями точки обзора. SegVLAD является универсальным и может быть использован с различными методами сегментации изображений и кодировщиками признаков.
Проект программной реализации метода SegVLAD - Revisit Anything.
⚠️ Перед запуском подготовьте данные датасета согласно структуре и укажите путь к данным в
place_rec_global_config.py/# Шаг1 - выбор метода (DINO/SAM):
python place_rec_SAM_DINO.py --dataset <> --method DINO/SAM
# Шаг2 - генерация VLAD cluster center (опционально):
python vlad_c_centers_pt_gen.py --dataset <>
# Шаг 3 - извлечение PCA:
place_rec_global_any_dataset_pca_extraction.py --dataset <> --experiment <> --vocab-vlad <domain/map>
# Шаг 4 - запуск SegVLAD:
place_rec_main.py --dataset <> --experiment <> --vocab-vlad <domain/map> --save_results <True/False>
@ai_machinelearning_big_data
#AI #ML #SAM #DINO #VPR #SegVLAD
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16👍12🔥6🌚1
Помимо своей большой языковой модели T-lite, Т-Банк открыл доступ к библиотеке Turbo Alignment, которая позволяет даже небольшим командам без значительных ресурсов и глубокой экспертизы в LLM создавать LLM-based продукты.
@ai_machinelearning_big_data
#LLM #news #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤11🔥10
Mini-Omni2 одна из первых MMLM с открытым исходным кодом, которая наиболее близко воспроизводит функциональность GPT-4o.
Mini-Omni2 может понимать визуальные, аудио и текстовые модальности на входе и генерировать речевые ответы, интерактивно взаимодействуя с пользователями.
Модель основана на архитектуре Qwen2 и использует предварительно обученные кодировщики CLIP и Whisper для обработки визуальных и аудио данных.
Mini-Omni2 отличается от других моделей тем, что не требует отдельных моделей ASR или TTS. В Mini-Omni2 применяется алгоритм
Text-Instruct Delay Parallel Decoding, который позволяет генерировать текстовые и аудио токены параллельно, используя синтез речи из текста для вывода аудио в режиме реального времени.⚠️ Mini-Omni2 обучена только на английском языке. Однако, поскольку в качестве аудиокодера используется whisper, модель может понимать и другие языки, которые поддерживает whisper, но инференс будет только на английском.
# Create conda env
conda create -n omni python=3.10
conda activate omni
# Clone repo & install requirements
git clone https://github.com/gpt-omni/mini-omni2.git
cd mini-omni2
pip install -r requirements.txt
# Start server first
sudo apt-get install ffmpeg
conda activate omni
cd mini-omni2
python3 server.py --ip '0.0.0.0' --port 60808
# Run streamlit UI
pip install PyAudio==0.2.14
API_URL=https://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py
@ai_machinelearning_big_data
#AI #ML #MLLM #MiniOmni2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤11🔥6❤🔥1👏1
Выпуск PyTorch® 2.5 представляет новый бэкэнд CuDNN для SDPA, обеспечивающий ускорение до 75% на GPU NVIDIA H100 и новее. Оно активировано по умолчанию.
Сокращено время холодного запуска
torch.compile благодаря региональной компиляции, которая позволяет собирать nn.Module без перекомпиляции. Бэкэнд TorchInductor CPP получил поддержку FP16, обертку CPP, режим AOT-Inductor и режим максимальной автонастройки.
В режиме максимальной автонастройки для GEMM-операций используется шаблон C++ в качестве альтернативы ATen с библиотеками oneDNN и MKL.
Поддержка Intel GPU расширена и теперь включает Intel® Data Center GPU Max Series и Intel® Client GPU.
Релиз включает 4095 коммитов от 504 участников.
pytorch.org
Обновленная политика включает Стандарты уровня безопасности ИИ - набор мер безопасности, строгость которых возрастает по мере роста возможностей модели. Пороговые значения возможностей - это конкретные способности ИИ, достижение которых требует усиленных мер безопасности.
В новой версии определены два ключевых порога: автономные исследования в области ИИ и разработка оружия массового поражения. Для эффективного внедрения политики Anthropic разработала оценку возможностей, оценку мер безопасности, процессы документирования и принятия решений и меры для внутреннего управления и получения внешних заключений.
anthropic.com
Perplexity запускает поиск по внутренней базе знаний и рабочие пространства.
Perplexity представляет две новые функции: поиск по внутренней базе знаний, который позволяет пользователям Pro и Enterprise Pro искать как в Интернет-контенте, так и в своих собственных внутренних базах знаний, и Perplexity Spaces - хабы для совместной работы на базе ИИ, которые можно настраивать под конкретные задачи.
Perplexity Spaces позволяют приглашать коллег, подключать внутренние файлы и настраивать ИИ-помощника. Функция поиска по внутренней базе знаний уже доступна клиентам Enterprise Pro.
perplexity.ai
OpenAI представила предварительную версию приложения ChatGPT для Windows, предназначенного для пользователей ChatGPT Plus, Team, Enterprise и Edu.
Это ранняя версия "полноценного приложения", которое выйдет позже в этом году. Пользователи могут загружать файлы и фотографии, резюмировать документы и создавать изображения с помощью DALL-E 3. Есть ограничения: отсутствие поддержки голоса, включая расширенный голосовой режим, и некоторые интеграции с GPT Store.
Приложение предоставляет доступ ко всем моделям OpenAI, включая o1-preview.
techcrunch.com
Boston Dynamics и Toyota Research Institute (TRI) объединят усилия, чтобы ускорить разработку роботов-гуманоидов общего назначения. Исследовательское партнерство будет использовать большие поведенческие модели TRI и робота Atlas от Boston Dynamics.
TRI - мировой лидер в быстром развитии больших поведенческих моделей (LBM) для робототехники. Партнерство, базирующееся в Бостоне, будет совместно возглавляться Скоттом Кейндерсмой, старшим директором по исследованиям в области робототехники в Boston Dynamics, и Рассом Тедрейком, вице-президентом по исследованиям в области робототехники в TRI.
pressroom.toyota.com
AMD и NVIDIA, два главных производителя чипов, объединили свои усилия в сфере ИИ. Несмотря на конкуренцию, они пришли к совместному заключению, что их технологии дополняют друг друга. Процессоры AMD EPYC отлично работают в паре с NVIDIA GPU, увеличивая производительность при работе с большими моделями машинного обучения.
В результате сотрудничества, процессоры AMD EPYC будут интегрированы в системы NVIDIA HGX и MGX, чтобы оптимизировать производительность ИИ и ЦОДов.
analyticsindiamag.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35❤10🔥7🤨2