Nexusflow представила семейство Athene-V2 из двух специализированных моделей: Athene-V2-Chat-72B, оптимизированную для чат-диалогов, и Athene-V2-Agent-72B, предназначенную для работы в качестве агента.
Обе модели построены на базе Qwen 2.5-72B-Instruct. Ключевая особенность Athene-V2 - концепция "границы Парето" в постобработке LLM.
По мере обучения модели с помощью RLHF на качественных данных достигается оптимальный баланс между метриками производительности, формируя "границу Парето". Дальнейшее улучшение отдельных характеристик становится возможным только за счет снижения других показателей.
Athene-V2-Chat-72B демонстрирует конкурентоспособные результаты по сравнению с GPT-4o в бенчмарках, превосходя его в задачах чата (Arena-Hard), завершения кода (bigcode-bench-hard) и математических задачах (MATH).
Athene-V2-Agent-72B превосходит GPT-4o в бенчмарках Nexus-V2, ориентированных на сложные сценарии вызова функций в корпоративной среде.
Athene-V2-Chat-72B использует шаблон чата Qwen2.5-72B-Instruct. Пример инференса с помощью библиотеки Transformers.
Athene-V2-Agent-72B можно использовать в любой совместимой с OpenAI API среде с помощью docker-образа VLLM. Примеры запуска погодного и RAG-агента.
⚠️ Athene-V2-Agent использует уникальный стиль промптов, который включен в docker-образ, поскольку исполняемые вызовы извлекаются из сгенерированного планирования модели.
Использование шаблона чата HuggingFace приведет к неоптимальным результатам в случае использования Athene-V2-Agent .
@ai_machinelearning_big_data
#AI #ML #LLM #AtheneV2 #Nexusflow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍9❤5
LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM.
Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели.
В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов.
Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах.
Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели.
Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA.
⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время.
@ai_machinelearning_big_data
#AI #ML #LLM #3DGen #LlamaMesh #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22❤7👍7😁2🥰1
NYT утверждает, что OpenAI предложила протокол проверки, ограничивающий количество запросов, которые их эксперт может сделать через API, суммой в 15 000 долларов. По словам NYT, для получения необходимых доказательств нарушения авторских прав, им потребуется кредитов на сумму 800 тыс. долларов, что, как утверждается, значительно превышает фактические затраты OpenAI.
OpenAI защищает установленный лимит, утверждая, что он необходим для снижения нагрузки на компанию. Исход этого судебного спора может иметь последствия для будущих дел, связанных с проверкой моделей ИИ.
arstechnica.com
Фильм "О герое" режиссера Петра Виневича, сценарий которого написан искусственным интеллектом, обученным на работах Вернера Херцога, открывает Международный фестиваль документального кино в Амстердаме (IDFA).
В фильме снимаются Вики Крипс и Стивен Фрай, а Вернер Херцог выступает в роли рассказчика. Фильм исследует роль технологий в кинопроизводстве и ставит вопросы об оригинальности, аутентичности и душе в эпоху ИИ. Виневич создал фильм, используя программное обеспечение Kaspar, которое обучалось на обширной фильмографии и текстах Херцога.
Процесс написания сценария был долгим и сложным: сначала ИИ генерировал поток текста, который затем редактировался Виневичем и сценаристкой Анной Джул.
hollywoodreporter.com
В следующем году Hyundai выпустит свой первый электромобиль с ИИ, разработанный специально для китайского рынка. Новая модель будет оснащена системой DriveGPT от китайского стартапа Haomo, которая вдохновлена ChatGPT от OpenAI.
Система способна к самообучению в режиме реального времени, оптимизируя процесс принятия решений на основе анализа данных о дорожном движении. Уровень автономного вождения новой модели будет находиться между 2 и 2.5, что сравнимо с автопилотом Tesla.
Hyundai надеется, что новый электромобиль поможет увеличить продажи на китайском рынке электромобилей, где BYD лидирует с долей рынка 32,9%.
electrek.co
В пользовательском тесте, проведенном Toms hardware M4 Max транскрибировал 3-х часовой аудиофайл с помощью Whisper V3 Turbo всего за 2 минуты 29 секунд, потребляя 25 Вт, в то время как RTX A5000 затратил на ту же задачу 4 минуты 33 секунды, потребляя 190 Вт.
Преимущество M4 Max объясняется наличием четырех аппаратных кодеров, включая два специализированных для ProRes, что позволяет ему эффективно обрабатывать видео и аудио. В тесте использовалась сбалансированная настройка M4 Max, а при увеличении скорости вентиляторов время транскрипции сократилось еще на 10 секунд.
tomshardware.com
Последняя версия Gemini попала на вершину рейтинга Chatbot Arena, обогнав последнюю версию GPT-4o от OpenAI. Новая модель от Google DeepMind называется Gemini-Exp-1114. она сравнялась с последней версией GPT-4o, превзойдя возможности модели o1-preview reasoning от OpenAI.
Gemini-Exp-1114 пока недоступна в приложении или на веб-сайте Gemini. Получить к ней доступ можно только зарегистрировав бесплатную учетную запись Google AI Studio.
tomsguide.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤8🔥4
Репозиторий на Github c микрореализацией фундаментальных языков программирования, по мотивам серии статей "Tiny Great Languages"
Все написано на Python, код намеренно краток, чтобы не превышать ~50 строк кода для каждого языка.
Используется только стандартная библиотека Python, да и то в очень скромных пределах (
sys, иногда re, редко itertool и т.д.).asm.py - ассемблер. Компилирует "Python-ассемблер" в байткод и выполняет его;basic.py - бейсик. Подмножество TinyBASIC, но с настоящим редактором строк BASIC!lisp.py - Lisp 1.5. Классика, автор - Джон Маккарти, достаточен, чтобы интерпретировать самого себя (мета-циклический интерпретатор);apl.py - интерпретатор k/simple, написанный Артуром Уитни, представляет собой диалект языка программирования K (array processing language), который является вариантом APL.mouse.py - язык конкатенативного программирования MOUSE, опубликованный в журнале BYTE в 1979 году.pl0.py - переводчик с языка PL/0, автор Никлаус Вирт.tcl.py - крошечный интерпретатор командного языка (TCL).#Python #TinyLanguage
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24👍10🔥9🌚1🗿1
Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.
Метод CDE предлагает добавить к функции встраивания зависимость не только от запроса или документа, но и от всех других документов в наборе данных. Чтобы создать такую функцию с осведомленностью о своем окружении, предлагаются две взаимодополняющих техники:
Тестирование CDE показало, что обе техники улучшают производительность в задачах поиска вне предметной области, а контекстуальная архитектура эффективнее традиционных эмбедингов в специализированных областях: финансах, юриспруденции и медицине.
Для практических экспериментов предлагается блокнот ipynb (или его версия для Google Collab) в котором используется эмбединг-модель cde-small-v1 с 281 млн. параметров, получившая средний балл 65.00 в бенчмарке MTEB leaderboard в категории моделей до 400 млн. параметров. Этот блокнот научит создавать свои собственные эмбединги в контексте вашего набора данных или просто использовать модель как есть.
@ai_machinelearning_big_data
#AI #ML #Embeddings #Retrieval #CDE
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤9🥰3
OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.
Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.
В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.
OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.
OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
messages=[
{ 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)
result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)
@ai_machinelearning_big_data
#AI #ML #LLM #OpenCoder #Datasets
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍40❤12🔥10
Оценки LLM в контексте ответов на вопросы врачей, основанных на выписных эпикризах пациентов.
Бенчмарк сравнения эффективности языковых моделей с XGBoost, Logistic Regression, Decision Tree, Random Forest, AdaBoost, SVM, Naive Bayes, MLP, Transformer и RNN.
Датасет, содержащий дополнительные элементы информации, знаний для обеспечения устойчивости к ошибкам.
Набор данных и методика для оценки галлюцинаций в длинных текстах, генерируемых LLM, с особым акцентом на медицинскую область.
Интегрирация LLM с символическим ИИ, чтобы повысить прозрачность и достоверность их работы.
Система на основе SLM и методики ризонинга, разработанная для улучшения диагностики острых заболеваний с использованием мультимодальных электронных медицинских карт.
Платформа на основе агентов LLM, которая автоматически анализирует выписки из больницы и записи офисных визитов.
Методика автоматического реферирования, основанная на LLM open-calm-7b с использованием Native Bayes Context Extend (NBCE) и модифицированного механизма декодирования.
Классификации кодов Международной классификации болезней (МКБ) на основе медицинских текстов.
Метод контекстного обучения, который позволяет LLM лучше соответствовать стилю и тону реальных данных, используя небольшое количество деперсонализированных сообщений пациентов.
Система сбора данных, которая фиксирует медицинскую информацию с помощью голосовых записей, сделанных через мобильное приложение.
Генерация синтетических диагностических отчетов, чтобы решить проблему недостатка текстовых данных в нейровизуальных датасетах для диагностики болезни Альцгеймера.
Исследуется эффективности DAPT для создания специализированных медицинских LLM и VLM, пригодных для решения задач (визуального) вопрос-ответа в медицине. Спойлер:
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤9🔥3🤔1