Microsoft Research обновил AutoGen Studio — Low-Code инструмент для разработчиков , предназначенный для создания, отладки и оценки многоагентных рабочих процессов.
AutoGen Studio разработан для повышения доступности среды управления локальным AI, позволяя разработчикам прототипировать и внедрять многоагентные системы без необходимости обширных знаний в области ML.
AutoGen Studio это веб-интерфейс и API Python. Он гибкий в использовании и его легко можно интегрировать его в различные среды разработки. Простой и понятный дизайн позволяет быстро собирать многоагентные системы с помощью удобного интерфейса drag-n-drop.
AutoGen Studio поддерживает API всех популярных онлайн-провейдеров LLM (OpenAI, Antрropic, Gemini, Groq, Amazon Bedrock, Corehe, MistralAI, TogetherAI ) и локальные бэкэнды :
vLLM, Ollama, LM Studio.
Возможности :
Roadmap для отслеживания новых функций, решенных проблем и запросов от сообщества разработчиков можно найти в Issues репозитория AutoGen Studio на Github.
⚠️ Примечания от разработчика:
🟠 AutoGen Studio не предназначен для использования в качестве готового к продакшену приложения. Это среда прототипирования и разработки процессов и агентов.🟠 AutoGen Studio находится в стадии активной разработки с частыми итерациями коммитов. Документация проекта обновляется синхронно с кодом.🟠 Системные требования к установке: Python 3.10+ и Node.js => 14.15.0.
@ai_machinelearning_big_data
#AI #AgentsWorkflow #MLTool #Microsoft #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30❤8🔥7🤔4😁1
ML-специалисты Яндекса разобрались, есть ли улучшение качества рекомендаций при увеличении количества обучаемых параметров. Опираясь на опыт авторов из WeChat и Tencent, они подробно расписали, как решается эта задача и в каких сценариях работает закон.
@ai_machinelearning_big_data
#ai #ml #tech
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥5❤3
GuideLLM - инструмент для оценки и оптимизации развертывания LLM. Моделируя рабочие нагрузки по инференсу в реальных условиях, GuideLLM помогает оценить производительность, потребности в ресурсах и принять решение по необходимой аппаратной конфигурации для запуска LLM.
Возможности :
Для использования GuideLLM требуется OpenAI-совместимый сервер, например, vLLM. Целевая модель для оценки может быть размещена как локально, так и в сети.
# Установка из pip
pip install guidellm
# Запуск модели в vLLM
vllm serve "neuralmagic/Meta-Llama-3.1-8B-Instruct-quantized.w4a16"
# Запуск GuideLLM
guidellm \
--target "https://localhost:8000/v1" \
--model "neuralmagic/Meta-Llama-3.1-8B-Instruct-quantized.w4a16" \
--data-type emulated \
--data "prompt_tokens=512,generated_tokens=128"
По умолчанию, GuideLLM проводит серию оценок производительности с разной частотой запросов, каждая из которых длится 120 секунд, и результаты выводятся в терминал.
После завершения оценки GuideLLM подведет итоги, в том числе - метрики эффективности.
Документация к находится в стадии разработки. Полный набор опций запуска и конфигурирования GuideLLM можно посмотреть командами
guidellm --help и guidellm-config@ai_machinelearning_big_data
#AI #Guidellm #MLTool #LLM #Benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤7🔥5
Новостной дайджест
✔️ Laion перевыпустит датасет Laion 5B.
Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).
В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai
✔️ Pixar следующего поколения: как искусственный интеллект объединит фильмы и игры.
Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.
Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com
✔️ Sam Altman, Bill Gates и создатель Youtube примут участие в TВ-шоу на канале ABC.
Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.
В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com
✔️ Новая архитектура нейронных сетей может сделать ИИ более понятными.
Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.
Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com
✔️ Новый метод непрерывного дообучения моделей компьютерного зрения и языка.
В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.
Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.
Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).
В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai
Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.
Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com
Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.
В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com
Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.
Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com
В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.
Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.
Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥7❤6
MLR-Copilot - это фреймворк, в которой LLM имитируют мыслительные процессы ресечера, разработанная для повышения производительности исследований в области машинного обучения за счет генерации и реализации исследовательских идей.
Все начинается с исследовательской работы, в ходе которой MLR-Copilot генерирует и проверяет эти идеи. В процессу участвует встроенный механизм обратной связи с человеком, что в совокупности помогает достичь реальных результатов исследования.
MLR-Copilot работает в три интегрированных этапа:
⚠️ MLR-Copilot работает только с онлайн-сервисами LLM ( OpenAI, Anthropic, Huggingface) в качестве агентов, для использования Вам будет необходим API-Key соответствующего сервиса.
@ai_machinelearning_big_data
#AI #Copilot #MLTool #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥8❤7🤔5🥱2
Mini-Omni - open-source MMLM, которая умеет ввод-вывод речи в режиме реального времени. Она построена по предложенному в исследовании методу "Any Model Can Talk", который позволяет добавлять речевые возможности к существующим LLM с минимальными изменениями в их архитектуре.
Функциональные возможности модели:
Mini-Omni основана на LLM Qwen2-0.5B с трансформерной архитектурой, состоящей из 24 блоков и internal dimension 896.
Для кодирования речи используется Whisper-small encoder, а для распознавания и синтеза речи добавлены адаптеры ASR, связанные с двухслойной MLP, и ТТS, который добавляет 6 дополнительных трасформерных блоков к существующим у Qwen2.
Mini-Omni обучалась на датасетах Libritts, VCTK, Multilingual LibriSpeech, Open-Orca, Moss’s SFT, Alpaca-GPT4 и другие. Общий объем данных составил около 8000 часов речевых данных и 2 миллиона текстовых записей.
В бенчмарках Mini-Omn продемонстрировала отличные результаты в задачах распознавания речи, немного уступая Whisper-small и VITA.
# Create & activate venv
conda create -n omni python=3.10
conda activate omni
# Clone the Repository
git clone https://github.com/gpt-omni/mini-omni.git
cd mini-omni
# Install required packages
pip install -r requirements.txt
# start server
python3 server.py --ip '0.0.0.0' --port 60808
Запуск с Streamlit UI:
# run streamlit with PyAudio
pip install PyAudio==0.2.14
API_URL=https://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py
Запуск с Gradio UI:
API_URL=https://0.0.0.0:60808/chat python3 webui/omni_gradio.py
@ai_machinelearning_big_data
#AI #ML #MMLM #Speech2Speech #MiniOmni
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤27👍21🔥8
Новостной дайджест
✔️ Чат-боты больших языковых моделей усиливают ложные воспоминания человека.
Воздействие ИИ на появление ложных воспоминаний человека - актуальное направление исследований, особенно в контексте потенциального применения ИИ в деликатных сферах, таких как полицейская работа. Эксперимент с 200 участниками показал: чат-бот на основе LLM вызывал в 3 раза больше ложных воспоминаний, чем у контрольной группы, которая не общалась с чат-ботами.
36,4% ответов участников, взаимодействовавших с LLM, содержали заблуждения. Через неделю уверенность в этих ложных воспоминаниях все еще оставалась высокой.
Исследование выявило факторы риска: меньший опыт общения с чат-ботами, знакомство с другими технологиями ИИ и интерес к расследованиям преступлений увеличивали вероятность формирования ложных воспоминаний. Результаты показывают необходимость этических политик при внедрении ИИ-технологий в реальных сферах деятельности.
media.mit.edu
✔️ Самообучающийся алгоритм AI делает прогнозы на результаты матчей NFL сезона 2024 года.
Алгоритм использовал исторические данные и текущие тенденции для определения наиболее вероятных исходов каждого матча. В результате он сделал прогнозы формата: "against the spread", "over-under", и "money line" для каждого матча первого тура сезона.
AI использовал математические модели для анализа данных и выявления закономерностей в результатах матчей. Он учитывал различные факторы - состав команд, тренерский опыт и текущие травмы игроков. Прогнозы алгоритма могут быть полезны для болельщиков и любителей спорта, которые хотят получить более точную информацию о результатах матчей.
cbssports.com
✔️ OpenAI планирует создавать собственные чипы на базе готовящегося к выпуску техпроцесса A16 от TSMC.
Создание собственных чипов позволит OpenAI оптимизировать свою архитектуру для работы с моделями AI, что приведет к увеличению производительности и снижению энергопотребления при эксплуатации.
Также, свое производство позволит компании иметь полный контроль над объемами и поставками оборудования и, как следствие, снизить риски в логистике. Планы OpenAI по созданию собственных чипов являются частью более широкой стратегии компании по развитию своих технологий AI.
yahoo.com
✔️ GenAI для редактирования ДНК.
Profluent Bio создали OpenCRISPR-1, улучшенную версию предыдущей системы CRISPR для редактирования генов. OpenCRISPR-1 использует LLM, обученную на более чем миллионе оперонов CRISPR и предназначен в первую очередь для понимания структур и создания новых белковых структур.
OpenCRISPR-1 показал такую же эффективность в декомпозиции ДНК, как и существующие модели, но при этом он допускал меньше ошибок. Разработчики выложили OpenCRISPR-1 в открытый доступ, чтобы способствовать развитию и использованию системы в будущих исследованиях.
OpenCRISPR-1 поможет лечить генетические заболевания наиболее безопасным, быстрым и персонализированным способом. Несмотря на то, что до практического применения еще далеко, подобные инструменты открывают возможности для создания индивидуальных генных редакторов.
crisprmedicinenews.com
✔️ Clearview AI оштрафована голландскими властями за базу данных распознавания лиц.
Голландское агентство по защите данных (Dutch DPA) оштрафовало компанию Clearview AI на 30,5 миллионов евро за создание незаконной базы данных лиц. База данных содержит миллиарды фотографий лиц, включая лица голландских граждан. Clearview AI предлагает услуги по распознаванию лиц и собирает данные из социальных сетей.
По мнению Dutch DPA, использование услуг Clearview AI также является незаконным и может привести к штрафам для организаций.
Компания Clearview AI уже получала штрафы от регулирующих органов Великобритании, Австралии, Франции и Италии. Апелляцию на штраф голландских властей компания пока не подавала.
euronews.com
@ai_machinelearning_big_data
#news #ai #ml
Воздействие ИИ на появление ложных воспоминаний человека - актуальное направление исследований, особенно в контексте потенциального применения ИИ в деликатных сферах, таких как полицейская работа. Эксперимент с 200 участниками показал: чат-бот на основе LLM вызывал в 3 раза больше ложных воспоминаний, чем у контрольной группы, которая не общалась с чат-ботами.
36,4% ответов участников, взаимодействовавших с LLM, содержали заблуждения. Через неделю уверенность в этих ложных воспоминаниях все еще оставалась высокой.
Исследование выявило факторы риска: меньший опыт общения с чат-ботами, знакомство с другими технологиями ИИ и интерес к расследованиям преступлений увеличивали вероятность формирования ложных воспоминаний. Результаты показывают необходимость этических политик при внедрении ИИ-технологий в реальных сферах деятельности.
media.mit.edu
Алгоритм использовал исторические данные и текущие тенденции для определения наиболее вероятных исходов каждого матча. В результате он сделал прогнозы формата: "against the spread", "over-under", и "money line" для каждого матча первого тура сезона.
AI использовал математические модели для анализа данных и выявления закономерностей в результатах матчей. Он учитывал различные факторы - состав команд, тренерский опыт и текущие травмы игроков. Прогнозы алгоритма могут быть полезны для болельщиков и любителей спорта, которые хотят получить более точную информацию о результатах матчей.
cbssports.com
Создание собственных чипов позволит OpenAI оптимизировать свою архитектуру для работы с моделями AI, что приведет к увеличению производительности и снижению энергопотребления при эксплуатации.
Также, свое производство позволит компании иметь полный контроль над объемами и поставками оборудования и, как следствие, снизить риски в логистике. Планы OpenAI по созданию собственных чипов являются частью более широкой стратегии компании по развитию своих технологий AI.
yahoo.com
Profluent Bio создали OpenCRISPR-1, улучшенную версию предыдущей системы CRISPR для редактирования генов. OpenCRISPR-1 использует LLM, обученную на более чем миллионе оперонов CRISPR и предназначен в первую очередь для понимания структур и создания новых белковых структур.
OpenCRISPR-1 показал такую же эффективность в декомпозиции ДНК, как и существующие модели, но при этом он допускал меньше ошибок. Разработчики выложили OpenCRISPR-1 в открытый доступ, чтобы способствовать развитию и использованию системы в будущих исследованиях.
OpenCRISPR-1 поможет лечить генетические заболевания наиболее безопасным, быстрым и персонализированным способом. Несмотря на то, что до практического применения еще далеко, подобные инструменты открывают возможности для создания индивидуальных генных редакторов.
crisprmedicinenews.com
Голландское агентство по защите данных (Dutch DPA) оштрафовало компанию Clearview AI на 30,5 миллионов евро за создание незаконной базы данных лиц. База данных содержит миллиарды фотографий лиц, включая лица голландских граждан. Clearview AI предлагает услуги по распознаванию лиц и собирает данные из социальных сетей.
По мнению Dutch DPA, использование услуг Clearview AI также является незаконным и может привести к штрафам для организаций.
Компания Clearview AI уже получала штрафы от регулирующих органов Великобритании, Австралии, Франции и Италии. Апелляцию на штраф голландских властей компания пока не подавала.
euronews.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤8🔥5💔2
In-Context Robot Transformer (ICRT) - модель, которая позволяет роботу выполнять новые задачи, интерпретируя контекстную информацию, предоставленную во время демонстрационной фазы, без обновления параметров базовой политики.
ICRT представляет собой причинно-следственный трансформер, который выполняет автоматический прогноз сенсомоторных траекторий без использования лингвистических данных или функции вознаграждения. Он позволяет гибко и без обучения выполнять новые задачи на основе наблюдений изображений, действий и состояний, собранных с помощью телеопераций человека.
Модель состоит из трех частей: предварительно обученного кодировщика изображений, серии проекторов для каждой из входных модальностей и каузального трансформера:
Для предварительного обучения модели использовался датасет DROID и созданный вручную мультизадачный датасет ICRT-Multi-Task (ICRT-MT - 1098 траекторий, 26 задач с 6 примитивами), который использовался в этапе дообучения.
Результаты экспериментов показывают, что ICRT способен обобщать незнакомые задачи и объекты, даже в средах, которые отличаются от демонстрационных.
# Create & activate venv
conda create -n icrt python=3.10 -y
conda activate icrt
# Install torch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia
conda install -c conda-forge ffmpeg
# Clone the Repository
git clone https://github.com/Max-Fu/icrt.git
cd icrt
# Install required packages
pip install -e .
# Install git-lfs
sudo apt install git-lfs
git lfs install
# Download checkpoints
git clone [email protected]:mlfu7/ICRT checkpoints
Пример инференса приведен в ноутбуке inference.ipynb. Перед его запуском обязательно ознакомьтесь с рекомендациями по загрузке и созданию собственного датасета.
@ai_machinelearning_big_data
#AI #ML #Robotics #ICRT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30❤5🔥4