⚡️ Новостной дайджест
✔️ Google открывает доступ к Imagen 3 для всех американских пользователей.
Google сделала модель ИИ для генерации изображений Imagen 3 доступной для всех пользователей США через платформу ImageFX. Расширение доступа произошло вслед за ограниченным релизом для пользователей Vertex AI в июне.
Imagen 3 основана на модели диффузии, способной генерировать высококачественные изображения по текстовым запросам.
Получившие доступ пользователи выражают недовольство строгими фильтрами контента, которые блокируют даже безобидные запросы.
venturebeat.com
✔️ Исследование техник и методов слияния моделей ИИ.
Слияние моделей - это экономически эффективный метод машинного обучения, не требующий сбора исходных данных и больших вычислительных затрат. В связи с его растущим использованием в различных отраслях необходимо сформировать понимание методов слияния моделей.
Исследование содержит всесторонний анализ методов слияния моделей, их теоретических основ, применения в больших языковых моделях, мультимодальных системах и более чем десяти подобластях машинного обучения, таких как непрерывное обучение и многозадачное обучение.
arxiv.org
✔️ Medscape запустила поиск на основе ИИ для врачей.
Функция AI Search, доступная в мобильном приложении Medscape, обеспечивает мгновенные ответы на медицинские запросы через интерфейс чата. Сервис бесплатен и направлен на повышение эффективности и точности поиска медицинской информации.
AI Search использует собственный контент, регулярно обновляемый медицинскими экспертами, что гарантирует надежность информации. Функция была протестирована и подтверждена сотнями врачей, предлагая краткие ответы с прямыми ссылками на источники.
prnewswire.com
✔️ Критические уязвимости обнаружены в инструментах с открытым исходным кодом, используемых в AI-проектах.
В отчете компании Protect AI Inc. говорится об уязвимостях, которые были обнаружены в рамках программы охоты на ошибки 'huntr'.
Отчет содержит 20 уязвимостей, среди которых выделяются проблемы в инструментах Setuptools, Lunary и Netaddr.
Уязвимость в Setuptools позволяет злоумышленникам выполнять произвольный код на системе через специально подготовленные URL пакетов.
Lunary имеет уязвимость обхода авторизации, позволяющую удаленным пользователям сохранять доступ к организационным шаблонам.
В Netaddr обнаружена уязвимость серверного подделывания запросов, которая может обойти защиту и предоставить доступ к внутренним сетям. Все уязвимости были переданы разработчикам за 45 дней до публикации.
siliconangle.com
✔️ Geekbench выпустил приложение для оценки LLM.
Primate Labs выпустила приложение Geekbench AI 1.0, предназначенное для оценки производительности ИИ. Приложение доступно для Android, Linux, MacOS и Windows и применяет принципы Geekbench к задачам машинного и глубокого обучения. Это обновление является преемником Geekbench ML, который был анонсирован в 2021 году и на данный момент находится на версии 0.6.
Изменение названия связано с тем, что в последние годы компании начали активно использовать термин "AI" в своих маркетинговых материалах. Primate Labs подчеркивает, что обновление поможет лучше понять функциональность и цели этого бенчмарка.
techcrunch.com
✔️ Машинное необучение: научить ИИ забывать - это крайне важно.
Концепция машинного "забывания" (machine unlearning) важна для искусственного интеллекта. Оно позволяет моделям ИИ удалять определенные данные из своей памяти без ухудшения производительности. Это становится особенно актуальным в свете растущих требований к конфиденциальности и безопасности данных, а также в контексте юридических обязательств.
Модели машинного обучения часто не могут просто "забыть" информацию, что создает проблемы, когда данные устаревают или содержат ошибки. Вместо того чтобы переобучать модель с нуля, что является неэффективным, машинное забывание является единственным выходом. С развитием этой области и стандартизацией метрик оценки, внедрение машинного забывания станет более управляемым процессом для бизнеса, работающего с большими объемами данных.
thenewstack.io
Google сделала модель ИИ для генерации изображений Imagen 3 доступной для всех пользователей США через платформу ImageFX. Расширение доступа произошло вслед за ограниченным релизом для пользователей Vertex AI в июне.
Imagen 3 основана на модели диффузии, способной генерировать высококачественные изображения по текстовым запросам.
Получившие доступ пользователи выражают недовольство строгими фильтрами контента, которые блокируют даже безобидные запросы.
venturebeat.com
Слияние моделей - это экономически эффективный метод машинного обучения, не требующий сбора исходных данных и больших вычислительных затрат. В связи с его растущим использованием в различных отраслях необходимо сформировать понимание методов слияния моделей.
Исследование содержит всесторонний анализ методов слияния моделей, их теоретических основ, применения в больших языковых моделях, мультимодальных системах и более чем десяти подобластях машинного обучения, таких как непрерывное обучение и многозадачное обучение.
arxiv.org
Функция AI Search, доступная в мобильном приложении Medscape, обеспечивает мгновенные ответы на медицинские запросы через интерфейс чата. Сервис бесплатен и направлен на повышение эффективности и точности поиска медицинской информации.
AI Search использует собственный контент, регулярно обновляемый медицинскими экспертами, что гарантирует надежность информации. Функция была протестирована и подтверждена сотнями врачей, предлагая краткие ответы с прямыми ссылками на источники.
prnewswire.com
В отчете компании Protect AI Inc. говорится об уязвимостях, которые были обнаружены в рамках программы охоты на ошибки 'huntr'.
Отчет содержит 20 уязвимостей, среди которых выделяются проблемы в инструментах Setuptools, Lunary и Netaddr.
Уязвимость в Setuptools позволяет злоумышленникам выполнять произвольный код на системе через специально подготовленные URL пакетов.
Lunary имеет уязвимость обхода авторизации, позволяющую удаленным пользователям сохранять доступ к организационным шаблонам.
В Netaddr обнаружена уязвимость серверного подделывания запросов, которая может обойти защиту и предоставить доступ к внутренним сетям. Все уязвимости были переданы разработчикам за 45 дней до публикации.
siliconangle.com
Primate Labs выпустила приложение Geekbench AI 1.0, предназначенное для оценки производительности ИИ. Приложение доступно для Android, Linux, MacOS и Windows и применяет принципы Geekbench к задачам машинного и глубокого обучения. Это обновление является преемником Geekbench ML, который был анонсирован в 2021 году и на данный момент находится на версии 0.6.
Изменение названия связано с тем, что в последние годы компании начали активно использовать термин "AI" в своих маркетинговых материалах. Primate Labs подчеркивает, что обновление поможет лучше понять функциональность и цели этого бенчмарка.
techcrunch.com
Концепция машинного "забывания" (machine unlearning) важна для искусственного интеллекта. Оно позволяет моделям ИИ удалять определенные данные из своей памяти без ухудшения производительности. Это становится особенно актуальным в свете растущих требований к конфиденциальности и безопасности данных, а также в контексте юридических обязательств.
Модели машинного обучения часто не могут просто "забыть" информацию, что создает проблемы, когда данные устаревают или содержат ошибки. Вместо того чтобы переобучать модель с нуля, что является неэффективным, машинное забывание является единственным выходом. С развитием этой области и стандартизацией метрик оценки, внедрение машинного забывания станет более управляемым процессом для бизнеса, работающего с большими объемами данных.
thenewstack.io
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤7🔥4
"Машины", используя алгоритмы и методы глубокого обучения, начинают создавать новые математические концепции и теории, которые ранее не существовали. Исследователи наблюдают, что ИИ способен находить решения и формулировать математические идеи, которые могут быть неочевидны для человека.
Одним из примеров является использование нейронных сетей для решения сложных математических задач, таких как теоремы в алгебре или геометрии. Эти машины могут генерировать новые уравнения и предлагать нестандартные подходы к классическим математическим проблемам.
vice.com
David AI - маркетплейс датасетов, созданный для поддержки разработчиков и исследователей в области искусственного интеллекта. Платформа предлагает доступ к высококачественным наборам данных, которые могут быть использованы для обучения моделей ИИ.
Цель проекта - решить проблему доступности данных, которая часто является препятствием для стартапов и исследовательских групп. Сервис позволяет пользователям находить, оценивать и приобретать данные, необходимые для их проектов.
ycombinator.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥8❤5😁1🌭1🙈1
Med Trinity-25M - крупномасштабный мультимодальный набор данных для медицины из более 25 миллионов изображений в 10 модальностях, с подробными аннотациями для более чем 65 заболеваний.
Аннотации содержат:
MedTrinity-25M подходит для мультимодальных задач: создание медицинских описаний патологий и новообразований, отчетов, задач классификации и сегментации. Этот набор данных может быть использован для подготовки медицинских моделей искусственного интеллекта.
Модели:
# Clone repository
git clone https://github.com/UCSC-VLAA/MedTrinity-25M.git
# Install Package
conda create -n llava-med++ python=3.10 -y
conda activate llava-med++
pip install --upgrade pip # enable PEP 660 support
pip install -e .
# Install cases FOR TRAIN
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install git+https://github.com/bfshi/scaling_on_scales.git
pip install multimedeval
# Pre-train 1 stage
cd MedTrinity-25M
bash ./scripts/med/llava3_med_stage1.sh
# Pre-train 2 stage
bash ./scripts/med/llava3_med_stage2.sh
# Finetune
cd MedTrinity-25M
bash ./scripts/med/llava3_med_finetune.sh
# Eval
cd MedTrinity-25M
bash ./scripts/med/llava3_med_eval_batch_vqa_rad.shs
@ai_machinelearning_big_data
#AI #Dataset #MedTech #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22🔥9👍8🥰1
🌟ReBased: новая архитектура быстрых языковых моделей
Архитектура ReBased – усовершенствованная Based, представленная исследователями из Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения. В лаборатории T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети.
Проведя анализ архитектуры Based, в T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, и упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.
ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач и позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.
Эксперименты проводили на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию. Результаты были представлены на ACL 2024.
📝Статья
🖥 Github
#AI #LLM
@ai_machinelearning_big_data
Архитектура ReBased – усовершенствованная Based, представленная исследователями из Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения. В лаборатории T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети.
Проведя анализ архитектуры Based, в T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, и упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.
ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач и позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.
Эксперименты проводили на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию. Результаты были представлены на ACL 2024.
📝Статья
#AI #LLM
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤6🔥3❤🔥1
DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4.
"V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями.
Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором.
Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки.
В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств.
В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем.
Набор DeepSeek-Prover:
# Clone the repository:
git clone --recurse-submodules [email protected]:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5
# Install dependencies:
pip install -r requirements.txt
# Build Mathlib4:
cd mathlib4
lake build
# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results
@ai_machinelearning_big_data
#AI #LLM #Math #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤8🔥5
Новый набор моделей от Nous Research был создан на основе Llama 3.1 8B, 70B и 405B файнтюном датасета из синтетически сгенерированных ответов. Hermes 3 получил производительность Llama 3.1 и расширенные возможности в мышлении и творчестве.
Hermes 3 разблокирован, не подвергается цензуре и обладает высокой степенью управляемости. Он обладает улучшенной функцией долговременного сохранения контекста и возможностью ведения длинного диалога, навыком сложной ролевой игры и внутреннего монолога, а также расширенной функцией вызова агентов.
Модели семейства умеют точно и адаптивно следовать системным промптам и инструкциям.
В Hermes 3 возникают аномальные состояния, которые при правильных вводных и пустых системных подсказках приводят к ролевой игре и потере памяти. Вы можете активировать этот “Режим амнезии” в Hermes 3 405B, введя пустой системный запрос и отправив сообщение "Кто вы?".
Hermes 3 использует ChatML для формата промптов. Формат более сложный, чем alpaca или sharegpt, в нем используются специальные токены для обозначения начала и окончания логического контекста и ролей в этих контекстах.
Набор Hermes 3:
@ai_machinelearning_big_data
#AI #Hermes3 #LLM #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34🔥5❤3
Llama-3.1-Minitron-4B-Width-Base - это базовая текстовая модель, которая может быть адаптирована для различных задач генерации естественного языка.
Она получена путем обрезки (pruning) Llama-3.1-8B за счет сокращения размера эмбеддинга, количества attention heads и промежуточной размерности MLP.
После было выполнено продолженное обучение с дистилляцией, используя набор данных размером 94 миллиарда токенов.
Корпус обучения (набор данных) модели Llama-3.1-Minitron-4B-Width-Base включает английские и многоязычные тексты, код и другие письменные материалы.
Источники данных охватывают различные области: право, математика, наука, финансы. Для улучшения производительности режима "чата", в процессе обучения были добавлены данные в формате вопрос-ответ.
Дата актуальности корпуса обучения - июнь 2023 года.
При создании были использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:
⚠️ На момент публикации, поддержка Llama-3.1-Minitron-4B-Width-Base в Hugging Face Transformers находится на рассмотрении.
Для использования модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05
Есть неофициальные квантованные GGUF - версии модели в семи разрядностях, от 2-bit (1. 84Gb) до 16-bit (9.03 Gb).
@ai_machinelearning_big_data
#AI #NVIDIA #LLM #ML #Minitron
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥9❤3
Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke
Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.
В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.
Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.
⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.
Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.
Проект написан на TypeScript. Необходимые условия перед установкой:
# Install the dependencies:
# --include=optional to make
# sure deps are installed
bun i
# build the app:
npm run build
# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile
cd packages/app
bun run electron:start
# You can also build Clapper:
cd packages/app
bun run electron:make
@ai_machinelearning_big_data
#AI #Storytelling #Clapper #Visialtool
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍18❤8
Экосистема Fluх развивается очень быстро, каждый день появляются новые способы, решения, возможности и инструменты для работы с моделями Fluх онлайн и оффлайн.
Теперь у сообщества FLUX появился обновляемый и упорядоченный Awesome FLUX!
https://awesomeflux.com/
@ai_machinelearning_big_data
#AI #FLUX #ML #Awesome
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17❤6🔥4❤🔥2