305K subscribers
4.01K photos
710 videos
17 files
4.59K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
⚡️ Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года

🟩 GP-GPT: LLM для сопоставления генов и фенотипов.

Результаты показывают, что GP-GPT превосходит по производительности Llama2/3 и GPT-4, в задачах, связанных с извлечением информации о генах и заболеваниях.

🟩 GMISeg: сегментация медицинских изображений без переобучения.


GMISeg (General Medical Image Segmentation) - модель для решения задач сегментации медицинских изображений без необходимости переобучения. Модель использует предварительно обученный на ImageNet энкодер изображений ViT и low-rank стратегию тонкой настройки к энкодеру подсказок и декодеру маски для эффективного обучения.

🟦 CoD: повышение интерпретируемости медицинских LLM.

Chain of Diagnoses (CoD) — это метод, который направлен на повышение прозрачности и объяснимости процесса диагностики с помощью больших языковых моделей. CoD разбивает процесс постановки диагноза на пять этапов, имитируя действия врача.

🔸Arxiv 🔸Github 🔸DiagnosisGPT-7B 🔸DiagnosisGPT-34B

🟦 AI Virtual Cell: Как создать виртуальную клетку с помощью ИИ.

AIVC — концепция модели, которая способна имитировать поведение молекул, клеток и тканей. Эта модель обучается на огромном количестве биологических данных, включая геномную информацию, изображения и результаты экспериментов.

Главная особенность AIVC — универсальные представления (UR). Они располагают биологические данные в многомерном пространстве, сохраняя при этом важные связи и закономерности.

🟦 Диагностика кожных заболеваний: интерпретируемое визуальное обнаружение концепций с SAM.

В исследовании рассматривается проблема диагностики кожных заболеваний на основе анализа клинических фотографий, полученных с помощью смартфонов. Авторы предлагают методику, основанную на использовании модели сегментации изображений SAM и cross-attention архитектуры.

🟦 Explicd:объяснимый диагноз на основе классификации медицинских изображений.


Explicd — модель, разработанная для объяснимой классификации медицинских изображений. Она способна не только делать точные описания, но и предоставлять обоснование своих решений, понятное для человека.

В основе архитектуры Explicd лежит интеграция диагностических критериев, сформулированных на естественном языке, с визуальными концепциями, извлеченными из изображений. Вначале Explicd запрашивает соответствующие знания из LLM (GPT-4) или получает их от экспертов. Эти знания преобразуются в текстовые диагностические критерии: цвет, форму, текстуру или специфические паттерны, характерные для анализируемого заболевания.

🟦 ReXErr: генерация клинических ошибок в отчетах по диагностической радиологии.

ReXErr продемонстрировал способность создавать различные типы ошибок в одном отчете с вариациями в пределах каждого подтипа ошибки. В выборке из 100 исходных отчетов с ошибками, рассмотренных клиницистом, 83 модифицированных отчета были признаны правдоподобными, в то время как только 17 содержали ошибки, которые были неправдоподобны в отчетах, сгенерированных LLM, или в отчетах, написанных врачом.

🟦 Тонкая настройка LLM для медицины: роль DPO.

В исследовании Стэнфордского университета изучается важность точной настройки LLM для задач клинической обработки естественного языка. Авторы сравнивают две распространенные методики: контролируемую точную настройку (SFT) и прямую оптимизацию параметров (DPO).

Результаты показали, что для простой классификации текста SFT достаточно, в то время как для более сложных задач - клиническое рассуждение, суммирование и сортировка, DPO значительно улучшает производительность. Авторы связывают это с тем, что DPO позволяет модели обучаться на контрасте между желательными и нежелательными ответами, что способствует более глубокому пониманию контекста.

📌 Подробности

#news #ai #ml #medtech

@ai_machinelearning_big_data
28👍13🥰2🙏1
🌟 Как Яндекс Браузер научил LLM-модели помогать пользователям с текстами

Нейроредактор в Браузере — это отдельный инструмент, который может создавать и редактировать тексты прямо там с помощью YandexGPT. При его улучшении команда разработки экспериментировала с различными подходами к обучению моделей:

🟢В качестве стартовой точки для офлайн-метрик использовалась диффалка, написанная на Go. Она работает на основе алгоритма поиска LCS-индексов, позволяя искать наидлиннейшие общие подпоследовательности между версиями текста. Это дало возможность проверять гипотезы о качестве и экономить время.

🟢Переход от архитектуры Decoder к Encoder-Decoder. Кодировщик понимает исходный текст, а декодер генерирует правильный вариант. Это сократило время генерации в 2 раза без потери качества.

🟢Использование Curriculum learning для постепенного увеличения сложности примеров. Примеры сортировались по расстоянию Левенштейна как показателю сложности.

🟢Фаза претрейна на большом "грязном" наборе данных перед тонкой настройкой на меньшем чистом наборе. Данные для предобучения собирались прогоном текста через существующую модель и добавлением искусственных ошибок. Это стабилизировало поведение на длинных текстах.

Эксперименты привели к ускорению в 2 раза и среднему улучшению качества на 10% на открытых наборах данных.

В Нейроредакторе расширили поддержку Маркдауна. Исходные модели могли непредсказуемо убрать часть спецсимволов или, наоборот, добавить. Это было исправлено путем восстановления разметки и переобучения модели.

🟡Статья

@ai_machinelearning_big_data

#AI #ML #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍197🔥7🗿4🥰1👌1
⚡️ Vikhr: новые модели на 12B и 8B для русского языка с уникальным методом выравнивания.

Vikhr Team — сообщество энтузиастов, занимающихся созданием и развитием русифицированных LLM, выпустили две новые модели, оптимизированные для русского языка в задачах генерации кода, решения математических задач, обобщения, ответов на вопросы и построения логических выводов. Обе модели адаптированы для RAG и могут выступать реранкером на уровне LLM.

▶️ Vikhr-Nemo-12B-Instruct-R-21-09-24 — инструктивная модель на базе Mistral-Nemo-Instruct-2407 с 12 млрд. параметров и контекстным окном в 128К токенов.
В бенчмарке Ru-Arena General, Vikhr-Nemo-12B-Instruct-R-21-09-24 достигла результата в 79.8, уступая только двум моделям семейства GPT-4 .

🟢Версии квантования Vikhr-Nemo-12B-Instruct-R-21-09-24 в разрядности от 3-bit (6.08 Gb) до 16-bit (24.5 GB) в GGUF формате.

▶️ Vikhr-Llama3.1-8B-Instruct-R-21-09-24 — инструктивная модель на базе Meta-Llama-3.1-8B-Instruct с 8 млрд. параметров, контекстным окном в 128К токенов. В Ru-Arena General она показала значение winrate 63.4. По словам Vikhr Team — это лучший результат среди 8B моделей с поддержкой русского языка.

🟠Версии квантования Vikhr-Llama3.1-8B-Instruct-R-21-09-24 в разрядности от 3-bit (4.02 Gb) до 16-bit (16.1 GB) в GGUF формате.

Для файнтюна базовых моделей Mistral-Nemo-12B и Llama-3.1-8B, Vikhr Team разработали уникальный метод выравнивания — Simple Margin Preference Optimization (SMPO).

Он представляет собой микс из техник, заимствованных из CRLFT, IPO и SimPO, с добавлением своей функции потерь. Метод опубликован в репозитории на GitHub в комплекте тулкита скриптов и конфигураций, использовавшихся для обучения представленных моделей.

В процессе обучения моделей использовался кастомный SFT-датасет GrandMaster-PRO-MAX, собранный Vikhr Team самостоятельно, для следования самым разным наборам инструкций на разных языках (в основном на русском) и отвечать также - на русском языке. В него была включена CoT-способность.


📌Лицензирование : Apache 2.0 License.



🟡Модель Vikhr-Nemo-12B-Instruct
🟡Модель Vikhr-Llama3.1-8B-Instruct
🟡GGUF Vikhr-Nemo-12B-Instruct
🟡GGUF Vikhr-Llama3.1-8B-Instruct
🟡Датасет
🟡Demo Vikhr-Nemo-12B-Instruct
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Vikhr
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43👍188😁1
🌟 PDLP: метод быстрого решения задач линейного программирования.

PDLP (PDHG для LP) - это метод быстрого решения задач линейного программирования с высокой точностью, что важно для многих областей применения - от машинного обучения до оптимизации бизнес-процессов.

PDLP ориентирован на решение крупномасштабных задач, где традиционные методы, такие как симплекс-метод и метод внутренних точек, становятся неэффективными из-за необходимости факторизации матриц.

В основе PDLP лежит принцип primaldual hybrid gradient (PDHG), примененный к задаче седловой точки, эквивалентной исходной задаче ЛП. Для повышения эффективности PDHG в PDLP реализован ряд усовершенствований:

🟢адаптивный выбор шага;
🟢адаптивный перезапуск;
🟢динамическое обновление весов первичных переменных;
🟢предварительное решение;
🟢диагональное предобуславливание.

Алгоритм PDLP начинает работу с предварительного решения и диагонального предобуславливания. Предварительное решение упрощает задачу путем выявления и устранения избыточных ограничений, переменных и других упрощений.

Диагональное предобуславливание масштабирует матрицу ограничений для улучшения сходимости алгоритма. После выполнения этих операций запускается основной итерационный процесс PDHG с адаптивным выбором шага и перезапусками.

Для оценки эффективности алгоритма PDLP использовались три набора данных: MIP Relaxations, LP benchmark и Netlib. Результаты сравнивались с baseline PDHG и с другими методами первого порядка: SCS (в прямом и матрично-свободном режимах) и улучшенной реализацией метода экстраградиента.

Эксперименты показали, что PDLP значительно превосходит baseline PDHG по скорости решения задач и количеству решенных задач. При этом PDLP на некоторых задачах показывает производительность, сопоставимую с коммерческим решателем линейного программирования Gurobi.

Важным результатом является успешное применение PDLP для решения задачи ранжирования веб-страниц PageRank, где традиционные методы не справляются из-за больших размеров задачи.

Тестирование проводилось на случайных графах типа Barabási-Albert с макс. количеством узлов до 10^7.

PDLP успешно решил задачи PageRank за 5.4 часа (граф 10^7 узлов с точностью 10^-8), в то время как Gurobi столкнулся с ошибками нехватки памяти.

▶️ Экспериментальная реализация для решения задач линейного программирования методами PDLP на графических процессорах NVIDIA в среде языка программирования Julia:

# set up the necessary packages:
$ julia --project -e 'import Pkg; Pkg.instantiate()'

# run solve.jl script
$ julia --project scripts/solve.jl \
--instance_path=INSTANCE_PATH --output_directory=OUTPUT_DIRECTORY \
--tolerance=TOLERANCE --time_sec_limit=TIME_SEC_LIMIT

# The results are written to JSON and text files
# in is the working directory.


📌Лицензирование : MIT и Apache 2.0 License.


🟡Arxiv
🖥Github


@ai_machinelearning_big_data

#AI #ML #LP #PDLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
24👍8🔥5🥰2
Новостной дайджест

✔️ Cloudflare позволит сайтам взимать плату с AI-ботов за скрапинг.

В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.

Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.

Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com

✔️ AnySkin - универсальный сменный тактильный датчик для роботов.

AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.

Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.

Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io

✔️ В Китае открылась первая в мире больница с AI - врачами.

«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.

Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.

С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com

✔️ Intel Gaudi 3 выйдет на следующей неделе.

Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.

Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.

В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com

✔️ В Калифорнии принят закон, защищающий наследие умерших артистов.

Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.

Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.

Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.

Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
121👍15🔥5🥰1
🌟 CUTLASS Tutorial: Быстрое матричное умножение с WGMMA на GPU NVIDIA Hopper.

Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS.

CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях.

▶️Первая часть посвящена инструкции WGMMA (asynchronous warpgroup matrix-multiply and accumulate) - как она работает, какие ограничения имеет на размер и расположение данных в памяти и как использовать синхронизацию для правильного выполнения операций.

В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA.

✔️ Вторая часть про умножение матриц(GEMM) и методы повышения эффективности GEMM-ядра путем конвейеризации. Рассматриваются две стратегии пайплайна : многоступенчатую и warp-specialization, с подробным описанием их концепции, применением CUTLASS для их построения и сравнивается производительность стратегий.

В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere.


@ai_machinelearning_big_data

#AI #ML #CUTLASS #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍215🔥4🎉3
✔️ Лаборатория NASA SPAR Lab представила ИИ для космических аппаратов.

Инженеры NASA разработали OnAIR, который делает космические аппараты более автономными и отказоустойчивыми. OnAIR — это программный комплекс с открытым исходным кодом на платформе GitHub для разработки и развертывания алгоритмов ИИ.

Прототип OnAIR был протестирован в миссии NASA NAMASTE, где дроны измеряли выбросы метана в районах вечной мерзлоты на Аляске. Он позволил дронам оптимизировать сбор данных, обрабатывая информацию с датчиков и корректируя маршрут в реальном времени.

OnAIR также был протестирован на Международной космической станции (МКС) с использованием платформы SpaceCube.

Инженеры NASA интегрировали его с основной системой управления SpaceCube, преодолев технические сложности - ограниченная вычислительная мощность и адаптация ПО к архитектуре процессора.
spacenews.com

✔️ AI-чатбот от команды Facebook начнет говорить голосами Джуди Денч, Джона Сины и других знаменитостей.

Разработчики готовится представить на этой неделе голосовой чат-бот с голосами известных актеров, включая Джуди Денч, Кристен Белл и Джона Сину. Пользователи смогут выбирать голос знаменитости для взаимодействия с цифровым помощником Meta, аналогичным ChatGPT.

Запуск функции запланирован в США и других англоязычных странах и будет доступен в приложениях компании, включая Facebook, Instagram и WhatsApp.

В прошлом году Meta уже экспериментировала с добавлением элементов звездности в чат-бот, запустив текстовые версии с образами Пэрис Хилтон и Снуп Дога, но они не получили большой популярности.
reuters.com


✔️ ruMorpheme: реализация метода морфемного анализа для русского языка.

Проект на Github представляет собой программную реализацию метода "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" для проведения морфемного анализа и сегментации слов русского языка.

Обученная модель проекта способна сегментировать слова на приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания.

Проект, помимо инференса, укомплектован скриптами для самостоятельной тренировки и валидации модели.
ruMorpheme

✔️ Customer Engagement Suite with Google AI: клиентский офис как сервис.

Customer Engagement Suite (CES) с Google AI — комплексное решение, которое сочетает в себе функции ИИ (Gemini Flash 1.5) для контакт-центров. CES формирует целостный и последовательный подход к обслуживанию клиентов с широким спектром сторонних решений: телефонию, CRM и HR.

Customer Engagement Suite включает в себя : Conversational Agents для создания виртуальных агентов с детерминированной (основанной на правилах) и GenAI функциональностью, Agent Assist для оказания поддержки в реальном времени, Conversational Insights для анализа данных о взаимодействии с клиентами и выявления областей для улучшения.

Платформа поддерживает многоканальное взаимодействие через веб-интерфейсы, мобильные устройства, голосовые каналы, электронную почту и приложения, и работает с текстовой, голосовой и визуальной информацией.
cloud.google.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥108🤣2