Оценки LLM в контексте ответов на вопросы врачей, основанных на выписных эпикризах пациентов.
Бенчмарк сравнения эффективности языковых моделей с XGBoost, Logistic Regression, Decision Tree, Random Forest, AdaBoost, SVM, Naive Bayes, MLP, Transformer и RNN.
Датасет, содержащий дополнительные элементы информации, знаний для обеспечения устойчивости к ошибкам.
Набор данных и методика для оценки галлюцинаций в длинных текстах, генерируемых LLM, с особым акцентом на медицинскую область.
Интегрирация LLM с символическим ИИ, чтобы повысить прозрачность и достоверность их работы.
Система на основе SLM и методики ризонинга, разработанная для улучшения диагностики острых заболеваний с использованием мультимодальных электронных медицинских карт.
Платформа на основе агентов LLM, которая автоматически анализирует выписки из больницы и записи офисных визитов.
Методика автоматического реферирования, основанная на LLM open-calm-7b с использованием Native Bayes Context Extend (NBCE) и модифицированного механизма декодирования.
Классификации кодов Международной классификации болезней (МКБ) на основе медицинских текстов.
Метод контекстного обучения, который позволяет LLM лучше соответствовать стилю и тону реальных данных, используя небольшое количество деперсонализированных сообщений пациентов.
Система сбора данных, которая фиксирует медицинскую информацию с помощью голосовых записей, сделанных через мобильное приложение.
Генерация синтетических диагностических отчетов, чтобы решить проблему недостатка текстовых данных в нейровизуальных датасетах для диагностики болезни Альцгеймера.
Исследуется эффективности DAPT для создания специализированных медицинских LLM и VLM, пригодных для решения задач (визуального) вопрос-ответа в медицине. Спойлер:
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤9🔥3🤔1
RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями.
RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений.
Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space.
from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation
model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()
# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
transforms.Resize(image_size),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')
# Prediction
with torch.no_grad():
preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)
image.save("no_bg_image.png")
@ai_machinelearning_big_data
#AI #ML #BiRefNet #RMBG #BRIAAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥10❤3🥰2🗿1
🌟Начался новый сезон PROD – первой в России олимпиады по промышленной разработке для школьников.
О начале второго сезона олимпиады объявил Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ.
В рамках PROD школьники смогут больше узнать о работе фронтенд-, бэкенд- и мобильных разработчиков, а также изучат создание программных систем, автоматизацию бизнес-процессов и разработку приложений для оптимизации бизнеса.
Участникам предложат решить реальные бизнес-кейсы ИТ-компаний.
На олимпиаду приглашаются школьники с 8 по 11 класс, которые знают информатику на базовом уровне и владеют аналитическим мышлением. Маскотом олимпиады стала амфибия аксолотль. Он символизирует умение справляться со сложными задачами в молодом возрасте.
Онлайн пройдут все части PROD кроме последней, на которую финалистов пригласят в Москву.
▶️Победителям PROD предоставят льготные условия для поступления в Центральный университет и НИУ ВШЭ, а также возможность пройти упрощенный процесс отбора на стажировку в Т-Банк. Регистрация на PROD продлится до 3 декабря.
🟡Страница проекта
@ai_machinelearning_big_data
#news #ai #ml
О начале второго сезона олимпиады объявил Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ.
В рамках PROD школьники смогут больше узнать о работе фронтенд-, бэкенд- и мобильных разработчиков, а также изучат создание программных систем, автоматизацию бизнес-процессов и разработку приложений для оптимизации бизнеса.
Участникам предложат решить реальные бизнес-кейсы ИТ-компаний.
На олимпиаду приглашаются школьники с 8 по 11 класс, которые знают информатику на базовом уровне и владеют аналитическим мышлением. Маскотом олимпиады стала амфибия аксолотль. Он символизирует умение справляться со сложными задачами в молодом возрасте.
Онлайн пройдут все части PROD кроме последней, на которую финалистов пригласят в Москву.
▶️Победителям PROD предоставят льготные условия для поступления в Центральный университет и НИУ ВШЭ, а также возможность пройти упрощенный процесс отбора на стажировку в Т-Банк. Регистрация на PROD продлится до 3 декабря.
🟡Страница проекта
@ai_machinelearning_big_data
#news #ai #ml
👍23❤8🔥5😁3
Производительность LLM напрямую зависит от правильного выбора и пропорций наборов данных для обучения, например, юридических текстов, кода, математических формул.
Существующие методы выбора оптимального соотношения данных для обучения (data mixing) варьируются от подбора регрессионных моделей на основе результатов обучения до динамического обновления пропорций в процессе обучения.
Эмпирические исследования показывают, что ни один из существующих методов по отдельности не превосходит простую базовую стратифицированную выборку по среднему значению перплексии.
Linear Mixing Optimization (LMO) - унифицированный алгоритм, который объединяет существующие методы data mixing. В рамках LMO задача data mixing формулируется как оптимизационная задача, цель которой - минимизация средних потерь для каждой группы данных.
AIOLI - прикладной фреймворк, основанный на LMO.
AIOLI динамически оценивает параметры смешивания в процессе обучения, используя историю значений потерь и динамические пропорции смеси.
Тесты на 6 различных наборах данных SlimPajama показали, что AIOLI превосходит стратифицированную выборку, улучшая среднюю перплексию на тестовых данных на 0.28 балла.
AIOLI особенно эффективен в условиях ограниченных вычислительных ресурсов. В ситуациях, когда пропорции смеси данных определяются на основе коротких циклов обучения, AIOLI может динамически корректировать эти пропорции на протяжении всего цикла обучения.
⚠️ В репозитории AIOLI доступны примеры скриптов запуска и подробное описание ключей запуска.
# Clone repo
git clone https://github.com/HazyResearch/aioli.git
cd aioli
# Install requirements
pip install -r requirements.txt
# Run
python main.py \ # add parameters
@ai_machinelearning_big_data
#AI #ML #LLM #DataMixing #Aioli
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥7❤5🥰1
Perplexity представляет новую функцию "Buy with Pro", позволяющую пользователям с подпиской Pro покупать товары, не покидая сервис. Функция доступна для жителей США и предлагает бесплатную доставку на все покупки.
Для товаров, не поддерживающих "Buy with Pro", пользователи будут перенаправлены на сайт продавца. Perplexity не получает комиссионные от продаж, совершенных через кнопку "Buy with Pro". В компании заявляют, что функция не преследует коммерческих целей. Помимо "Buy with Pro", Perplexity внедряет новые карточки товаров с описанием, ценой и обзорами, а также функцию "Snap to Shop", позволяющую искать товары по фотографии.
theverge.com
Рост энергоемких технологий ИИ ставит под угрозу энергетическую инфраструктуру Ирландии, что может негативно сказаться на ее позиции как европейского центра технологий. Дублин - третий по величине центр гипермасштабируемых ЦОДов в мире и крупнейший в Европе. По прогнозам, потребности ИИ в электроэнергии удвоятся к 2026 году и создадут дефицит в энергетических сетях страны.
Национальный оператор электросетей EirGrid ввел фактический мораторий на новые ЦОДы в районе Дублина. Он предупредил о возможном «массовом оттоке» центров обработки данных из страны, если ситуация не улучшится. В 2023 году ЦОДы потребили 21% всей измеренной электроэнергии, впервые превысив потребление городских домов.
politico.eu
Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral.
Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения.
Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии.
mistral.ai
Blackwell от Nvidia, предназначенные для задач ИИ, столкнулись с проблемами перегрева в серверных стойках, что вызывает опасения у клиентов относительно своевременного запуска новых ЦОДов.
Как сообщает The Information, перегрев возникает при подключении чипов Blackwell в серверные стойки, рассчитанные на установку до 72 чипов. По данным источников издания, Nvidia неоднократно просила поставщиков изменить конструкцию стоек для решения проблемы перегрева.
Новые чипы вдвое больше по площади, чем предыдущее поколение, и обеспечивают 30-кратное увеличение скорости обработки задач, связанных с задачами ИИ.
seekingalpha.com
Суперкомпьютер El Capitan, созданный HPE с использованием гибридных процессоров AMD Instinct MI300A, занял 1 место в рейтинге Top500, значительно опередив конкурентов. Тестирование El Capitan в Ливерморской национальной лаборатории показало пиковую теоретическую производительность 2746,4 петафлопс и устойчивую производительность на тесте HPL 1742 петафлопс с эффективностью 63,4%.
El Capitan оснащен 43 808 устройствами AMD Instinct MI300A, содержащими 1,05 млн ядер Genoa и почти 10 млн потоковых мультипроцессоров на графических чиплетах.
В рейтинге Top500 за ноябрь 2024 года AMD лидирует по приросту вычислительной мощности, обеспечив 72,1% новых петафлопс. С учетом всех 500 систем AMD обгоняет Nvidia по совокупной пиковой производительности на ускорителях, занимая 44,9% против 40,3% у Nvidia.
nextplatform.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32❤7🔥4👏2😁1
Статья на HF из цикла Open-Source AI Cookbook c подробным пошаговым описанием и примерами кода процесса тонкой настройки VLM Qwen2-VL-7B в области ответов на вопросы по изображениям с использованием библиотеки Transformer Reinforcement Learning (TRL). В качестве целевого датасета используется ChartQA, который содержит диаграммы разных типов в паре с вопросами и ответами.
Для обучения модели демонстрируется методы Supervised Fine-Tuning (SFT) с использованием библиотеки TRL, QLoRA, которая квантует веса LoRA, обеспечивая более низкие требования к памяти и повышенную эффективность обучения.
Отдельным разделом выделен процесс подготовки данных к обучению с помощью функции
collate_fn, которая выполняет корректное извлечение и пакетную обработку данных и их форматирование для модели. Обучение модели осуществляется с помощью класса SFTTrainer.В результате модель научилась отвечать на вопросы в соответствии с используемым датасетом. Оценить готовый файнтюн можно в демо на HF Space.
Дополнительно, в качестве альтернативы тонкой настройке, рассматривается использование промтинга с добавлением системного сообщения для контекстуализации ввода для модели, чтобы улучшить точность ее ответов.
@ai_machinelearning_big_data
#AI #ML #VLM #HuggingFace #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤5🔥5🥰1😁1🙈1
На конференции Microsoft Ignite 2024 компания представила новые функции и обновления, связанные с Microsoft Copilot и Azure AI.
Среди основных анонсов - специализированные агенты в Microsoft 365 Copilot, которые будут выполнять задачи от имени пользователя, например, отвечать на вопросы о политике компании или создавать планы проектов.
Copilot Studio получит автономные возможности агентов и библиотеку агентов для создания рабочих сценариев. Разработчики смогут создавать собственных агентов с помощью Microsoft Agent SDK.
Azure AI Foundry поможет организациям проектировать, настраивать и управлять приложениями ИИ и будет интегрирован с Copilot Studio.
В Copilot Studio появятся возможности загрузки изображений, создания голосовых агентов и расширенной настройки знаний.
news.microsoft.com
Стартап, привлекший более 160 млн. долларов финансирования, сообщил, что первые клиенты уже тестируют образцы чипов, а полномасштабные поставки ожидаются в следующем году. Чип разработан для обработки большого количества запросов от пользователей в задачах текстовой генерации и генерации видео.
d-Matrix не назвала конкретных клиентов, но отметила, что SuperMicro будет продавать серверы, совместимые с чипами d-Matrix.
reuters.com
Evo – первая биологическая фундаментальная модель, обученная на ДНК, которая способна прогнозировать и создавать генетические последовательности длиной более миллиона оснований.
В отличие от других моделей, обучающихся на тексте, Evo извлекает информацию непосредственно из ДНК. Evo была представлена в препринте в этом году, но теперь она опубликован в журнале Science, где исследователи демонстрируют, как она может помочь в более глубоком понимании биологических последовательностей.
Первые эксперименты с Evo позволили спрогнозировать, как изменения в ДНК могу влиять на бактерии.
readwrite.com
Adobe подала заявку на патент, описывающий систему "предотвращения галлюцинаций для анализа естественного языка", которая предназначена для контроля и корректировки выходных данных генеративных моделей ИИ.
Система использует "модуль контроля галлюцинаций", который проверяет выходные данные модели на соответствие фактам, извлеченным из "хранимых данных ". Если обнаруживается несоответствие, система запрашивает повторную генерацию выходных данных.
Технология ориентирована на корпоративное использование, где точность и надежность ИИ-систем критически важны.
thedailyupside.com
Компания объявила о значительном обновлении облачного сервиса инференса для LLM, который теперь способен обрабатывать Llama 3.1 405B со скоростью почти 1000 токенов в секунду. Это достижение ставит производительность сверхгигантской модели наравне с ультра-маленькими моделями.
Высокая скорость обработки стала возможной благодаря специализированной архитектуре, разработанной компанией для своих мощных ИИ-чипов и программного стека для высокопроизводительных вычислений.
Cerebras утверждает, что ее сервис превосходит по скорости GPT-4o от OpenAI и Claude 3.5 Sonnet от Anthropic более чем в 10 раз. В реальных приложениях, таких как голосовой поиск, время отклика Cerebras составляет менее 10 миллисекунд. Компания планирует предоставить доступ к сервису в первом квартале 2025 года.
siliconangle.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23👏8❤6🔥4
Stanford University, Northwestern University и University of Washington, совместно с Google Deepmind, при участии социологов, разработали архитектуру, которая позволяет симулировать поведение более 1000 реальных людей с помощью LLM, обученных на транскрипции двухчасовых интервью с добровольцами-участниками.
Архитектура использует метод "экспертных размышлений", где LLM генерирует выводы о каждом участнике, принимая на себя роли различных специалистов социальных наук (психолога, экономиста, политолога, демографа).
Процесс создания агентов начинался со стратифицированного отбора 1052 участников, репрезентирующих население США по возрасту, полу, расе, региону, образованию и политическим взглядам. Масштабирование сбора данных проводилось агентом-интервьюером на основе GPT-4o, который динамически генерировал уточняющие вопросы, адаптируясь к ответам участников.
Оценка точности агентов проводилась с помощью сравнения их ответов с ответами реальных участников на вопросы из Общего социального опроса (GSS), опросника "Большая пятерка" (BFI-44), 5 экономических игр и 5 социальных экспериментов. Для учета непостоянства человеческого поведения точность агентов нормализовали с помощью сравнения с тем, насколько последовательно сами участники воспроизводили свои ответы через две недели.
Результаты оценки показали высокую точность прогнозирования агентов, обученных на интервью. Они смогли предсказать ответы на вопросы GSS с нормализованной точностью 0.85, а черты личности по BFI-44 - с нормализованной корреляцией 0.80. Использование интервью значительно повысило точность по сравнению с агентами, использующими только демографические данные или краткие описания личности.
В экспериментах агенты успешно воспроизвели 4 из 5 личностных особенностей, наблюдавшихся у реальных участников, а оценки размеров этих особенностей показали высокую корреляцию (r = 0.98).
Доступ к банку агентов двухуровневый:
@ai_machinelearning_big_data
#AI #ML #LLM #Agents #Social
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤13🔥10
Google DeepMind и Google Quantum AI разработали AlphaQubit, декодер, который устанавливает новый стандарт точности в коррекции ошибок квантовых вычислений. AlphaQubit, нейронная сеть, обученная на синтетических и реальных данных с процессора Sycamore, использует архитектуру Transformers для анализа информации об ошибках.
Тестирование показало, что AlphaQubit снижает количество ошибок на 6% по сравнению с тензорными сетями и на 30% по сравнению с корреляционным сопоставлением. Несмотря на то, что AlphaQubit демонстрирует высокую точность, остаются проблемы, связанные с достижением скорости работы в реальном времени и масштабируемости.
blog.google
NVIDIA оптимизировала модели Llama 3.2 (11 млрд и 90 млрд параметров) и SLM (1 млрд и 3 млрд параметров) за счет использования библиотеки TensorRT и TensorRT-LLM. Оптимизация с помощью TensorRT обеспечивает более высокую пропускную способность и меньшую задержку инференса. NVIDIA также разработала собственную схему квантования FP8 для повышения производительности, доступную через TensorRT Model Optimizer. SLM оптимизированы для Windows с помощью ONNX Runtime Generative API и DirectML.
Оптимизированный инференс Nvidia TensorRT Llama 3.2 доступен в сервисе NVIDIA NIM.
developer.nvidia.com
Google представила новую функцию "памяти" для Gemini, позволяющую ему учитывать предпочтения пользователя в будущих взаимодействиях. Эта функция, доступная подписчикам Google One AI Premium ($20 в месяц), позволяет пользователям сохранять информацию о своих предпочтениях, например, о нелюбимых ингредиентах в рецептах.
Gemini будет использовать эти данные для персонализации ответов и повышения эффективности помощи пользователю. Функция памяти доступна только через веб-браузер. Пользователи могут удалять сохраненные предпочтения или отключать функцию, если предпочитают, чтобы Gemini не учитывал предыдущие взаимодействия.
makeuseof.com
Компания DeepSeek выпустила R1-Lite-Preview — новую большую языковую модель, ориентированную на рассуждения. Модель, доступная только через веб-чат DeepSeek Chat и демонстрирует производительность, близкую, а в некоторых случаях и превосходящую, модель OpenAI o1-preview по результатам тестов AIME (American Invitational Mathematics Examination) и MATH.
R1-Lite-Preview использует метод «цепочки рассуждений», показывая пользователю этапы своего "мыслительного" процесса. Компания планирует в будущем выпустить R1 с открытым исходным кодом.
venturebeat.com
Suno, популярная платформа генеративной музыки, выпустила новую модель V4, которая создает более реалистичную музыку по сравнению с предыдущими версиями. Модель V4 доступна платным подписчикам и в будущем будет доступна всем пользователям. V4 демонстрирует более четкое звучание, реалистичный вокал и инструменты, более широкую стереопанораму. Модель также улучшила свои композиторские навыки, создавая более интересные и неожиданные музыкальные решения.
geeky-gadgets.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤17👍16🔥7☃1
TinyTroupe - экспериментальная библиотека Python от Microsoft, которая симулирует поведение людей с определенными личностями, интересами и целями. Эти агенты, TinyPerson, могут слушать нас и друг друга, отвечать и жить своей жизнью в симулированных средах TinyWorld.
Симуляция реалистичного имитационного поведения достигается за счет использования возможностей LLM (GPT-4) . С помощью TinyTroupe можно создать свои собственные сценарии и изучать, как личности с разными характерами будут взаимодействовать и реагировать в разных ситуациях.
Библиотека TinyTroupe помогает понять поведенческие факторы персоналий, но не пытается напрямую им помочь (в отличие от виртуальных помощников). Вместо этого она создает специальные инструменты, которые работают только в смоделированных условиях. TinyTroupe отличается от других ролевых инструментов тем, что она направлена на решение реальных бизнес-задач и повышение эффективности проектов, а не просто на игру.
Как и любая мультиагентная система, TinyTroupe предоставляет 2 ключевые абстракции:
Обе сущности настраиваются через различные параметры в config.ini, там же - тип API (Azure OpenAI Service или OpenAI API), параметры модели и уровень логирования.
TinyTroupe предлагает ряд утилит, которые облегчают создание симуляций и извлечение ценной информации из них:
TinyPersonFactory для генерации новых TinyPerson с использованием LLM;TinyTool - симулированные инструменты, которые могут использоваться TinyPerson;TinyStory для создания и управления историей, рассказываемой через симуляции;TinyPersonValidator для проверки поведения TinyPerson;ResultsExtractor и ResultsReducer для извлечения и сокращения результатов взаимодействия между агентами.Чтобы получить представление о том, на что способен TinyTroupe, в репозитории опубликовано несколько примеров его использования. Эти примеры находятся в папке examples/, и, на выбор, можно просмотреть предварительно скомпилированные Jupyter-блокноты, либо запустить их самостоятельно локально.
⚠️ TinyTroupe находится на ранней стадии разработки и API библиотеки может меняться.
⚠️ Для использования TinyTroupe нужен OpenAI API Key или Azure OpenAI Service API KEY.
# Create & activate conda env
conda create -n tinytroupe python=3.10
conda activate tinytroupe
# Clone the repository
git clone https://github.com/microsoft/tinytroupe
cd tinytroupe
# Create and run TinyPerson
from tinytroupe.examples import create_lisa_the_data_scientist
lisa = create_lisa_the_data_scientist() # instantiate a Lisa from the example builder
lisa.listen_and_act("Tell me about your life.")
@ai_machinelearning_big_data
#AI #ML #Microsoft #TinyTroupe #Рersonalities
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥14❤7❤🔥2🤔2