NanoFlow - это универсальный фреймворк для LLM, ориентированный на повышение пропускной способности. Он комбинирует в себе набор техник: параллелизм внутри устройства, асинхронное планирование CPU и выгрузка KV-кеша готовых запросов на SSD.
В результате NanoFlow имеет пропускную способность выше, чем другие фреймворки - vLLM, Deepspeed-FastGen и TensorRT-LLM.
Архитектура NanoFlow основана на методе, который позволяет одновременно выполнять операции вычисления, памяти и сети. Параллелизм операций возможен из-за применения логики "микропакетов" для планирования операций и выделения ресурсов.
NanoFlow использует асинхронный поток управления, который запускает следующую итерацию без ожидания окончания предыдущей, тем самым ощутимо повышается утилизация ресурсов и снижается задержка в пайплайне модели.
Для оценки производительности NanoFlow были проведены эксперименты на различных моделях LLM: Llama2-70B, Qwen2-72B, DeepSeek-67B, Mixtral-8x7B и LLaMA3-8B на узле на узле DGX 8xA100 80 ГБ.
Результаты показали, что NanoFlow демонстрирует 1,91-кратное увеличение пропускной способности по сравнению с TensorRT-LLM.
# Clone repo & crate venv
git clone https://github.com/efeslab/Nanoflow.git
cd Nanoflow
chmod +x ./installAnaconda.sh
./installAnaconda.sh
# Install dependencies
yes | ./setup.sh
# Download model
./modelDownload.sh
# Serving datasets
./serve.sh
@ai_machinelearning_big_data
#AI #Framework #MLTool #NanoFlow #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27👍12❤5
📚 Бесплатная электронная книга: The Fourier Transform, 2024.
Погружение в преобразование Фурье.
Приятный стиль изложения книги и множество наглядных диаграмм.
Внутри практика в виде задач, написанных на Python и MATLAB.
▪Book
@ai_machinelearning_big_data
Погружение в преобразование Фурье.
Приятный стиль изложения книги и множество наглядных диаграмм.
Внутри практика в виде задач, написанных на Python и MATLAB.
▪Book
@ai_machinelearning_big_data
🔥32❤7👍5🥰3🥱2👏1
Новостной дайджест
✔️ 3.7 миллиона фальшивых звезд GitHub.
Сервис Socket обнаружили 3.7 миллиона фальшивых звезд GitHub, что указывает на тенденцию роста угроз, связанных с мошенничеством, финансовыми махинациями и вредоносным ПО. Эти кампании быстро активизировались за последние шесть месяцев.
Фальшивые звезды используются для обмана пользователей, чтобы распространять вредоносное ПО и для привлечения инвестиций венчурных фондов в подставные компании с плохими показателями.
Алгоритм Socket выявил 3 746 538 подозрительных звезд за последние пять лет (с июля 2019 года по июль 2024 года) и 10 155 репозиториев, которые, по-видимому, проводили кампании по накрутке.
socket.dev
✔️ LLM не могут объяснить свои рассуждения.
В статье автор приводит интерактивную демонстрацию для проверки способности LLM распознавать и объяснять числовые последовательности, генерируемые случайными программами.
Несмотря на то, что модели в некоторых случаях определяют правильную последовательность, их объяснения бывают неверными. Этот эксперимент подтверждает существующие ограничения в рассуждающих способностях LLM, несмотря на их показатели в популярных бенчмарках.
jonathanychan.com
✔️ YouTube создает инструменты для обнаружения дипфейков лиц и голосов.
Компания представила две новые технологии: первая позволяет автоматически обнаруживать ИИ-контент, который имитирует голоса исполнителей, а вторая - обнаруживать и управлять контентом, созданным с помощью ИИ, на котором присутствуют лица людей.
Новые функции основаны на многолетнем опыте YouTube в разработке технологических подходов к решению проблем с правами в больших масштабах.
YouTube дополнительно ведет разработку новых способов предоставления авторам выбора в отношении того, как третьи стороны могут использовать их контент на платформе.
blog.youtube
✔️ Поиск нового поколения и RAG с Vertex AI.
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
✔️ Повышение эффективности отладки C++ с помощью breakpoint expressions, генерируемых искусственным интеллектом.
В статье Devblogs Microsoft представлена новая функция в Visual Studio 2022, использующая искусственный интеллект для генерации выражений для условных точек останова и точек трассировки в коде C++. Эта функция, работающая на базе GitHub Copilot поможет разработчикам сэкономить время и силы, позволив ИИ предлагать подходящие условия или создавать собственные. В статье приводится пошаговое руководство по включению и использованию этой функции в Visual Studio 2022.
devblogs.microsoft.com
@ai_machinelearning_big_data
#news #ai #ml
Сервис Socket обнаружили 3.7 миллиона фальшивых звезд GitHub, что указывает на тенденцию роста угроз, связанных с мошенничеством, финансовыми махинациями и вредоносным ПО. Эти кампании быстро активизировались за последние шесть месяцев.
Фальшивые звезды используются для обмана пользователей, чтобы распространять вредоносное ПО и для привлечения инвестиций венчурных фондов в подставные компании с плохими показателями.
Алгоритм Socket выявил 3 746 538 подозрительных звезд за последние пять лет (с июля 2019 года по июль 2024 года) и 10 155 репозиториев, которые, по-видимому, проводили кампании по накрутке.
socket.dev
В статье автор приводит интерактивную демонстрацию для проверки способности LLM распознавать и объяснять числовые последовательности, генерируемые случайными программами.
Несмотря на то, что модели в некоторых случаях определяют правильную последовательность, их объяснения бывают неверными. Этот эксперимент подтверждает существующие ограничения в рассуждающих способностях LLM, несмотря на их показатели в популярных бенчмарках.
jonathanychan.com
Компания представила две новые технологии: первая позволяет автоматически обнаруживать ИИ-контент, который имитирует голоса исполнителей, а вторая - обнаруживать и управлять контентом, созданным с помощью ИИ, на котором присутствуют лица людей.
Новые функции основаны на многолетнем опыте YouTube в разработке технологических подходов к решению проблем с правами в больших масштабах.
YouTube дополнительно ведет разработку новых способов предоставления авторам выбора в отношении того, как третьи стороны могут использовать их контент на платформе.
blog.youtube
В блоге Google Cloud опубликована статья о том, как Vertex AI можно использовать для создания поисковых приложений следующего поколения.
Статья состоит из трех частей: новые шаблоны в поиске, развитие поиска в будущем и RAG с помощью Vertex AI.
cloud.google.com
В статье Devblogs Microsoft представлена новая функция в Visual Studio 2022, использующая искусственный интеллект для генерации выражений для условных точек останова и точек трассировки в коде C++. Эта функция, работающая на базе GitHub Copilot поможет разработчикам сэкономить время и силы, позволив ИИ предлагать подходящие условия или создавать собственные. В статье приводится пошаговое руководство по включению и использованию этой функции в Visual Studio 2022.
devblogs.microsoft.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍19❤9🔥4😁1
VEnhancer - генеративная система апсемлинга пространственно-временных характеристик, которая улучшает результаты существующих методов преобразования текста в видео путем добавления большего количества деталей в пространственной области и синтетического детализированного движения во временной области.
Он гибко адаптируется к различным коэффициентам апсемплинга в диапазоне 1x~8x.
VEnhancer устраняет артефакты и коллизии движения сгенерированных видео, используя диффузионную модель и дообученные модели ControlNet.
Несколько дней назад VEnhancer получил обновление:
Эксперименты, проведенные во время разработки показывают, что VEnhancer превосходит существующие методы апсемплинга видео и современные методы улучшения синтезированных видео.
⚠️ Для обработки видео в 2K разрешении при fps=>24 требуется около 80 GB VRAM.
Использование VEnhancer возможно через CLI, с помощью GradioUI и в виде неофициальной ноды (WIP) для ComfyUI.
# Clone repo
git clone https://github.com/Vchitect/VEnhancer.git
cd VEnhancer
# Create environment
conda create -n venhancer python=3.10
conda activate venhancer
# Install requirments:
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt
sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y
bash run_VEnhancer.sh
python gradio_app.py
@ai_machinelearning_big_data
#AI #Text2Video #VEnchancer #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍21❤7🔥3
Книга “Understanding Deep Learning” посвящена идеям и принципам, лежащим в основе глубокого обучения. Подача материала построена таким образом, чтобы читатель мог понять материал настолько эффективно, насколько это возможно. Для читателей, желающих углубиться в изучение, в каждой главе приведены соответствующие задачи, записные книжки по Python и подробные справочные материалы.
В первой части книги представлены модели глубокого обучения и обсуждается, как их обучать, измерять их производительность и улучшать эту производительность.
В следующей части рассматриваются архитектуры, которые специализируются на изображениях, тексте и графических данных. Для свободного понимания этих двух глав требуется понимать принципы линейной алгебры, матанализа и теории вероятностей.
Последующие части книги посвящены генеративным моделям и методике обучения с подкреплением. Эти главы требуют больших знаний в области теории вероятностей и математического анализа.
В последней главе обсуждается этика искусственного интеллекта и призыв к практикующим инженерам задуматься о моральных последствиях своей работы.
Автор книги: Simon J. D. Prince - почетный профессор информатики в Университете Bath (Великобритания) , со-автор более 80 опубликованных исследований в области ML.
Научный сотрудник, специализирующийся на искусственном интеллекте и глубоком обучении, он руководил группами ресерча в Anthropics Technologies Ltd, Borealis AI и других компаниях.
Дополнительно, на отдельном сайте книги, читателям доступны:
@ai_machinelearning_big_data
#AI #ML #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥46👍19❤5👏3
MТС Web Services (MWS) представила новое направление — ИИ-облако, которое упростит внедрение искусственного интеллекта в компании.
Используя GPU-инфраструктуру, компании смогут запускать ИИ-проекты без необходимости закупки оборудования, что сократит расходы и ускорит запуск. Среди сервисов: ML-платформа, автоматизирующая обучение моделей, и готовые решения, такие как Cotype (генерация текстов и анализ данных), Audiogram (синтез речи) и WordPulse (речевая аналитика).
MWS предоставляет персонализированные решения для бизнеса.
Audiogram - платформа синтеза и распознавания речи на основе нейронных сетей с возможностью управления интонацией, ударениями и другими параметрами и сервис речевой аналитики WordPulse. Данные сервисы позволят компаниям оперативно обрабатывать звонки и чаты с клиентами, тем самым повышая качество обслуживания и автоматизируя работу кол-центров.
@ai_machinelearning_big_data
Используя GPU-инфраструктуру, компании смогут запускать ИИ-проекты без необходимости закупки оборудования, что сократит расходы и ускорит запуск. Среди сервисов: ML-платформа, автоматизирующая обучение моделей, и готовые решения, такие как Cotype (генерация текстов и анализ данных), Audiogram (синтез речи) и WordPulse (речевая аналитика).
MWS предоставляет персонализированные решения для бизнеса.
Audiogram - платформа синтеза и распознавания речи на основе нейронных сетей с возможностью управления интонацией, ударениями и другими параметрами и сервис речевой аналитики WordPulse. Данные сервисы позволят компаниям оперативно обрабатывать звонки и чаты с клиентами, тем самым повышая качество обслуживания и автоматизируя работу кол-центров.
@ai_machinelearning_big_data
👍15❤4🔥4😁4
Roblox анонсировала инструмент на основе ИИ с открытым исходным кодом, который позволит разработчикам создавать 3D-среды и объекты, используя текстовые запросы.
Инструмент основан на фундаментальной 3D-модели Roblox и использует подход, аналогичный большим языковым моделям.
Система "токенизирует" 3D-блоки, рассматривая каждый блок как числовую единицу и предсказывает наиболее вероятный следующий структурный 3D-элемент в последовательности. В совокупности этот метод может создавать целые объекты или декорации.
arstechnica.com
Chai Discovery, после поддерживающей инвестиции от OpenAI, выпустила Chai-1, новую MMLM для предсказания структуры молекул. Chai-1 позволяет выполнять унифицированное предсказание структуры белков, малых молекул, ДНК, РНК, ковалентных модификаций и т.д. Модель доступна бесплатно через веб-интерфейс Chai Discovery.
Chai-1 достигает 77% в бенчмарке PoseBusters (у AlphaFold3 - 76%), а также Cα LDDT 0,849 на наборе предсказаний структуры белкового мономера CASP15 (против 0,801 у ESM3-98B).
chaidiscovery.com
Together Ai разработали метод создания гибридных LLM, сочетающих в себе преимущества архитектур Transformer и Mamba.
Суть метода заключается в дистилляции Transformer моделей в гибридные линейные RNN, объединяя лучшее из обоих миров.
Процесс дистилляции: инициализация параметров Mamba для имитации линеаризованной версии внимания Transformer --> тонкая настройка Mamba слоев с замороженными MLP слоями Transformer --> спекулятивное декодирования, которое позволяет генерировать несколько токенов за один шаг, проверяя их с помощью более точной, но более медленной модели верификатора.
Результаты впечатляют - гибридные модели-дистилляты Mamba демонстрируют производительность, сравнимую с лучшими моделями Transformer, при этом значительно превосходя их по скорости инференса.
together.ai
Microsoft продемонстрировала логические операции с использованием самого большого количества кубитов с коррекцией ошибок.
Логические кубиты распределяют один бит квантовой информации по набору битов, что делает любую ошибку менее катастрофической. Обнаружение ошибки состоит из добавления дополнительных битов к логическому кубиту таким образом, чтобы их значение зависело от тех, которые хранят данные. Что ценно, эти вспомогательные кубиты - измеряемы, а значит есть возможность определить, возникла ли какая-либо проблема, и, возможно, получить информацию о том, как ее исправить.
В своей новой работе Microsoft использовала оборудование от Quantinuum, в котором используются кубиты на основе ионов, захваченных в электрических полях. Эти кубиты имеют одни из лучших показателей частоты ошибок, и Microsoft наглядно показала, что это позволяет обнаруживать и исправлять ошибки в течение нескольких раундов коррекции ошибок.
arstechnica.com
Apple совместно с EPFL опубликовали технический отчет о новом оптимизаторе - AdEMAMix. Это расширение традиционного оптимизатора Adam за счет использования смеси двух EMA, одного быстро меняющегося и одного медленно меняющегося.
Такая механика процесса обучения позволяет оптимизатору балансировать между необходимостью реагировать на последние обновления и сохранять ценные старые градиенты, которые часто отбрасываются существующими оптимизаторами.
Техника использования двух EMA, уникальная для AdEMAMix, позволяет более эффективно обучать крупномасштабные модели, сокращая общее количество токенов, необходимых для обучения, и достигая при этом сопоставимых или лучших результатов.
fusionchat.ai
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤6🔥6😁2
SciAgents - фреймворк, который самостоятельно генерирует и уточняет исследовательские гипотезы, разъясняя лежащие в их основе механизмы, принципы проектирования и неожиданные свойства объекта исследования.
Благодаря модульности этого функционала, SciAgents позволяет делать существенные открытия, критиковать и совершенствовать предположения, получать актуальные данные о проводимых исследованиях и выявлять их сильные и слабые стороны.
SciAgents умеет находить скрытые связи между сферами исследования, которые ранее считались несвязанными, достигая масштабов, точности и исследовательской мощи, превосходящих традиционные методы исследований, основанные на участии человека.
Практическая реализация для тестирования SciAgents представлена двумя ipynb для генерации новых исследовательских идей, соответствующих неавтоматизированному и автоматизированному мультиагентным методам.
Для запуска SciAgents понадобятся:
# Graph Reasoning installation
pip install git+https://github.com/lamm-mit/GraphReasoning
# wkhtmltopdf installation
sudo apt-get install wkhtmltopdf
# Graph file
from huggingface_hub import hf_hub_download
graph_name='large_graph_simple_giant.graphml'
filename = f"{graph_name}"
file_path = hf_hub_download(repo_id='lamm-mit/bio-graph-1K', filename=filename, local_dir='./graph_giant_component')
# Embeddings
from huggingface_hub import hf_hub_download
embedding_name='embeddings_simple_giant_ge-large-en-v1.5.pkl'
filename = f"{embedding_name}"
file_path = hf_hub_download(repo_id='lamm-mit/bio-graph-1K', filename=filename, local_dir='./graph_giant_component')
# Clone SciAgents
git clone https://github.com/lamm-mit/SciAgentsDiscovery.git
# Insatll reqs
cd SciAgentsDiscovery
pip install -e .
@ai_machinelearning_big_data
#AI #ML #Alents #Research #SciAgentsDiscovery
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36❤9🔥9🥰4🍓1
Arcee представила Arcee-SuperNova-70B и Arcee-SuperNova-Lite (8B), разработанные для альтернативной замены крупным проприетарным моделям, ориентированные на следование инструкциям и согласованию с человеческими предпочтениями.
Создание Arcee-SuperNova включало в себя несколько этапов, начиная с дистилляции Llama-3.1-405B-Instruct в Llama-3.1-70B-Instruct. Для этого был создан датасет из 500 млн. токенов, включающий примеры кода и математических задач и извлеченные logits модели Llama-3.1-405B.
Обучение Llama-3.1-70B-Instruct проводилось в течение пяти дней на 32 GPU H100 с использованием FSDP (Fully Sharded Data Parallel) для обеспечения возможности распределенного обучения.
Параллельно с этим была обучена отдельная версия Llama-3.1-70B с использованием Spectrum, настроенного на на 35% слоев с наивысшим соотношением SNR при длине последовательности 8192. Эта модель была обучена на наборе данных, созданном с помощью конвейера EvolKit - фреймворка повышения сложности инструкций при файнтюне LLM.
Финальная версия Arcee-SuperNova была создана путем слияния чекпойнтов из EvolKit и DPO, которые затем были объединены с дистиллированной Llama-3.1-70B-Instruct.
Проведенные тесты готовой модели в бенчмарке IF-Eval, показали, что Arcee-SuperNova превосходит не только Llama-3.1-70B-Instruct, но и проприетарные модели от OpenAI и Anthropic, а также Llama-405B-Instruct.
@ai_machinelearning_big_data
#AI #ML #LLM #Llama #Supernova
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19👍13🔥7