⚡️ Новостной дайджест
✔️ Perplexity AI запустит рекламу на своей платформе в четвертом квартале 2024.
Инициатива направлена на создание нового источника дохода для компании, которая уже привлекла 26 миллионов долларов в рамках раунда финансирования, завершившегося в июле.
Реклама будет интегрирована в существующий поисковый сервис и будет отображаться блоками в результатах поиска. Это необходимый шаг в сторону монетизации, поскольку Perplexity AI стремится расширить свою аудиторию и улучшить финансовые показатели.
Компания также рассматривает возможность добавления новых функций: интеграция с другими сервисами и улучшение пользовательского интерфейса, основная цель которых - повысить привлекательность платформы для рекламодателей и пользователей.
reuters.com
✔️ ИИ поможет совершить прорыв в солнечных технологиях и вычислительной химии.
Ученые разработали новый метод на основе ИИ: "NES-VMC (Natural excited states variational Monte Carlo)", который может точно рассчитать возбужденные состояния атомов и молекул - проблема в физике и химии, которая ранее задерживала усовершенствование солнечных технологий.
Метод точно предсказывает квантовые возбужденные состояния в системах от отдельных атомов до молекул размером с бензол. NES-VMC превосходит существующие в вычислительной химии подходы, часто достигая химической точности. Возбужденные состояния имеют решающее значение для понимания взаимодействия света и вещества, что , в свою очередь, является ключевым фактором к улучшению солнечных батарей, светодиодов, лазеров и многого другого.
Эффект может быть огромным: снижение стоимости электроэнергии, увеличение времени работы аккумуляторов и дисплеев телефонов и ноутбуков и более быстрый оптоволоконный интернет.
science.org
✔️ Сотрудники Google DeepMind призывают прекратить военные контракты.
Около 200 сотрудников Google DeepMind (примерно 5% от всего числа подразделения) подписали письмо к руководству Google в котором призывают прекратить контракты компании с военными организациями.
В письме, отправленном 16 мая 2024 года, они выражают обеспокоенность использованием технологий искусственного интеллекта в военных действиях: применение в массовом наблюдении и выбор целей в конфликтах,.
В письме также подчеркивается, что беспокойство не связано с конкретными геополитическими конфликтами, а касается этических принципов компании, которые противоречат участию в военных разработках.
Отдельным пунктом, они просят руководство Google провести расследование по поводу использования облачных услуг компании военными и создать новый орган управления для предотвращения будущего использования технологий DeepMind в военных целях.
На данный момент компания не дала четкого ответа на письмо.
theverge.com
✔️ Линус Торвальдс рассказал об отношении к Ai, внедрении Rust и о том, почему ядро Linux - это "единственное, что имеет значение".
На конференции Open Source Summit China Линус Торвальдс обсудил текущее состояние и будущее ядра Linux. Он рассказал, что расширяемый планировщик sched_ext не будет включен в следующий релиз ядра, но ожидается его добавление в версии 6.12.
Он так же отметил отметил, что даже спустя 33 года разработки, базовые проблемы, такие как управление памятью, все еще актуальны.
Процесс разработки ядра стал более структурированным, с релизами каждые девять недель, а количество релизов не имеет значения. Обсуждая безопасность, он отметил, что уязвимости — это просто ошибки, и порекомендовал пользователям обновлять ядро для повышения безопасности.
Что касается внедрения языка Rust, Торвальдс выразил разочарование медленным темпом его принятия, объясняя это тем, что многие разработчики не знакомы с новым языком. Он также высказал скептицизм по поводу текущего хайпа вокруг ИИ, но надеется, что ИИ может помочь в ревью кода и обнаружении ошибок.
zdnet.com
@ai_machinelearning_big_data
#news #ai #ml
Инициатива направлена на создание нового источника дохода для компании, которая уже привлекла 26 миллионов долларов в рамках раунда финансирования, завершившегося в июле.
Реклама будет интегрирована в существующий поисковый сервис и будет отображаться блоками в результатах поиска. Это необходимый шаг в сторону монетизации, поскольку Perplexity AI стремится расширить свою аудиторию и улучшить финансовые показатели.
Компания также рассматривает возможность добавления новых функций: интеграция с другими сервисами и улучшение пользовательского интерфейса, основная цель которых - повысить привлекательность платформы для рекламодателей и пользователей.
reuters.com
Ученые разработали новый метод на основе ИИ: "NES-VMC (Natural excited states variational Monte Carlo)", который может точно рассчитать возбужденные состояния атомов и молекул - проблема в физике и химии, которая ранее задерживала усовершенствование солнечных технологий.
Метод точно предсказывает квантовые возбужденные состояния в системах от отдельных атомов до молекул размером с бензол. NES-VMC превосходит существующие в вычислительной химии подходы, часто достигая химической точности. Возбужденные состояния имеют решающее значение для понимания взаимодействия света и вещества, что , в свою очередь, является ключевым фактором к улучшению солнечных батарей, светодиодов, лазеров и многого другого.
Эффект может быть огромным: снижение стоимости электроэнергии, увеличение времени работы аккумуляторов и дисплеев телефонов и ноутбуков и более быстрый оптоволоконный интернет.
science.org
Около 200 сотрудников Google DeepMind (примерно 5% от всего числа подразделения) подписали письмо к руководству Google в котором призывают прекратить контракты компании с военными организациями.
В письме, отправленном 16 мая 2024 года, они выражают обеспокоенность использованием технологий искусственного интеллекта в военных действиях: применение в массовом наблюдении и выбор целей в конфликтах,.
В письме также подчеркивается, что беспокойство не связано с конкретными геополитическими конфликтами, а касается этических принципов компании, которые противоречат участию в военных разработках.
Отдельным пунктом, они просят руководство Google провести расследование по поводу использования облачных услуг компании военными и создать новый орган управления для предотвращения будущего использования технологий DeepMind в военных целях.
На данный момент компания не дала четкого ответа на письмо.
theverge.com
На конференции Open Source Summit China Линус Торвальдс обсудил текущее состояние и будущее ядра Linux. Он рассказал, что расширяемый планировщик sched_ext не будет включен в следующий релиз ядра, но ожидается его добавление в версии 6.12.
Он так же отметил отметил, что даже спустя 33 года разработки, базовые проблемы, такие как управление памятью, все еще актуальны.
Процесс разработки ядра стал более структурированным, с релизами каждые девять недель, а количество релизов не имеет значения. Обсуждая безопасность, он отметил, что уязвимости — это просто ошибки, и порекомендовал пользователям обновлять ядро для повышения безопасности.
Что касается внедрения языка Rust, Торвальдс выразил разочарование медленным темпом его принятия, объясняя это тем, что многие разработчики не знакомы с новым языком. Он также высказал скептицизм по поводу текущего хайпа вокруг ИИ, но надеется, что ИИ может помочь в ревью кода и обнаружении ошибок.
zdnet.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤11🔥5❤🔥3
🔥 Weekly Tutorials Digest
🔘 Туториал: очистка и предварительная обработка текстовых данных в Pandas для задач NLP.
В туториале приведены практические примеры операций по удалению пропущенных значений, нормализации текста, удалению шумов, токенизации, удаления стоп-слов, техники стемминга и лемматизации, преобразования текста в числовые представления с использованием TF-IDF векторизации.
🔘 Статья в блоге: Марковские цепи лучше в задачах генерации юмора, чем LLM
Статья обсуждает уникальное чувство юмора, генерируемое Марковскими цепями по сравнению с крупными LLM, такими как ChatGPT.
Автор утверждает, что Марковские цепи, хотя и примитивны, могут создавать неожиданные и забавные фразы благодаря своей простоте. В отличие от них, LLM более предсказуемы и в меньшей степени подходят для создания юмора.
🔘 Статья: Семь основных правил причинно-следственного инференса.
Автор подробно и лаконично рассматривает семь ключевых правил, которые помогают понять, как причинно-следственные механизмы в реальности отражаются в данных.
В статье описаны фундаментальные структуры причинных графов и продемонстрированы примеры кода на R для иллюстрации каждого правила.
🔘 Практический кейс: Классификация большого набора PDF-документов.
Подробное описание процесса классификации огромного набора PDF-документов с помощью LLM - эмбеддингов и XGBoost.
Автор проводит несколько экспериментов по созданию и обучению эмбеддингов и делает акцент на сложности обработки 8,4 миллиона PDF-файлов.
@ai_machinelearning_big_data
#Tutorials #ml
В туториале приведены практические примеры операций по удалению пропущенных значений, нормализации текста, удалению шумов, токенизации, удаления стоп-слов, техники стемминга и лемматизации, преобразования текста в числовые представления с использованием TF-IDF векторизации.
Статья обсуждает уникальное чувство юмора, генерируемое Марковскими цепями по сравнению с крупными LLM, такими как ChatGPT.
Автор утверждает, что Марковские цепи, хотя и примитивны, могут создавать неожиданные и забавные фразы благодаря своей простоте. В отличие от них, LLM более предсказуемы и в меньшей степени подходят для создания юмора.
Автор подробно и лаконично рассматривает семь ключевых правил, которые помогают понять, как причинно-следственные механизмы в реальности отражаются в данных.
В статье описаны фундаментальные структуры причинных графов и продемонстрированы примеры кода на R для иллюстрации каждого правила.
Подробное описание процесса классификации огромного набора PDF-документов с помощью LLM - эмбеддингов и XGBoost.
Автор проводит несколько экспериментов по созданию и обучению эмбеддингов и делает акцент на сложности обработки 8,4 миллиона PDF-файлов.
@ai_machinelearning_big_data
#Tutorials #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥12❤9
Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей:
Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении.
Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности:
Разработчики рекомендуют lite-установку для инференса, она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU.
# Clone repository
git clone [email protected]:facebookresearch/sapiens.git
export SAPIENS_ROOT=/path/to/sapiens
# Set up a venv:
conda create -n sapiens_lite python=3.10
conda activate sapiens_lite
# Install dependencies
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install opencv-python tqdm json-tricks
# Navigate to your script directory
cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16]
# Uncomment your model config line first
./depth.sh
📌 Лицензирование : CC-BY-NC-SA-4.0 License
▪Страница проекта
▪Набор моделей
▪Arxiv
▪Github [ Stars: 75 | Issues: 0 | Forks: 0]
@ai_machinelearning_big_data
#AI #Vision #ViT #ML #CV
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤9🔥5😁2
Архитектура базовой Aurora построена на 3D Swin Transformer. Модель обучалась более миллиона часов на корпусе данных о погоде и климате: прогнозах, параметрическом анализе и данных моделирования климата.
Длительное и обширное обучение позволило изучить модели общее представление динамики атмосферы, адаптироваться к широкому спектру задач прогнозирования: задачам с ограниченными входными данными, гетерогенными переменными и экстремальными событиями.
Aurora прошла двухэтапный процесс тонкой настройки. Предварительно настроенные веса сначала настраивались на короткое время прогнозирования (до 15 дней), а затем Aurora была интегрирована с LoRA комбинированных математических моделей длительного прогнозирования.
В наборе представлены три специализированных версии: одна для прогнозирования атмосферных явлений со средним разрешением, одна для прогнозирования с высоким разрешением и одна модель для прогнозирования загрязнения воздуха:
Модели семейства Aurora совместимы с данными прогнозных моделей ERA5 и HRES Европейского центра среднесрочных прогнозов погоды (ECMWF).
# Install with pip
pip install microsoft-aurora
#create a new venv & install the reqs:
virtualenv venv -p python3.10
source venv/bin/activate
make install
# Run the pretrained small model on random data:
from datetime import datetime
import torch
from aurora import AuroraSmall, Batch, Metadata
model = AuroraSmall()
model.load_checkpoint("microsoft/aurora", "aurora-0.25-small-pretrained.ckpt")
batch = Batch(
surf_vars={k: torch.randn(1, 2, 17, 32) for k in ("2t", "10u", "10v", "msl")},
static_vars={k: torch.randn(17, 32) for k in ("lsm", "z", "slt")},
atmos_vars={k: torch.randn(1, 2, 4, 17, 32) for k in ("z", "u", "v", "t", "q")},
metadata=Metadata(
lat=torch.linspace(90, -90, 17),
lon=torch.linspace(0, 360, 32 + 1)[:-1],
time=(datetime(2020, 6, 1, 12, 0),),
atmos_levels=(100, 250, 500, 850),
),
)
prediction = model.forward(batch)
print(prediction.surf_vars["2t"])
@ai_machinelearning_big_data
#AI #Microsoft #Aurora #ML #Weather
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33❤14🔥7
Hibou - это новое семейство фундаментальных ViT-моделей, специально разработанных для работы с цифровыми изображениями патологий тканей.
Hibou использует возможности самоконтролируемого обучения (self-supervised learning) - метода, при котором модель учится на огромном количестве немаркированных данных. Это особенно ценно для патологии, где аннотированные наборы данных часто скудны и дороги в создании.
Обучаясь на большом собственном наборе данных из более чем 1 миллиона изображений препаратов с различными типами тканей и методами окрашивания, модели Hibou научились извлекать надежные и обобщаемые признаки.
Представлено три модели: Hibou-B, Hibou-L и CellVit-Hibou-L:
Они созданы на фреймворке DINOv2 на специальном наборе аугментированных данных, адаптированных для лучшего обобщения (случайные вращения, перевороты, дрожание цвета и технику вариативного окрашивания тканей RandStainNA)
Семейство Hibou достиглj SOTA-результатов в задачах классификации на фрагментарном уровне, продемонстрировав способность точно классифицировать различные типы тканей и выявлять тонкие аномалии.
@ai_machinelearning_big_data
#AI #HIBOU #ViT #ML #Histopathology
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤10🔥5🦄1
Яндекс разработал нейросеть, которая помогает врачам своевременно обнаружить признаки spina bifida — редкую патологию развития при беременности.
Идея применять ИИ для диагностики spina bifida возникла в ходе обсуждений между специалистами НМИЦ АГП им. В. И. Кулакова и основательницей фонда «Спина бифида» Инной Инюшкиной. Так появился проект, к которому присоединились специалисты Yandex Cloud и студенты ШАДа.
Spina bifida — расщепление позвоночника и грыжа спинного мозга у плода. Самая тяжёлая форма — миеломенингоцеле — часто вызывает инвалидность. От 68 до 80% людей с миеломенингоцеле нуждаются в установке шунта для лечения гидроцефалии.
Патологию легко пропустить на первом скрининге из-за размеров плода и сложности оценки позвоночника и спинного мозга. Если недуг выявляют на втором скрининге, то завершить обследование для предоперационной подготовки чаще всего не удается. Нейросеть позволяет своевременно обнаружить патологию на ранних сроках беременности, подсвечивая зоны интереса на УЗИ-снимках. Это позволяет даже менее опытным врачам вовремя принимать меры для лечения.
Разработка полностью открыта и доступна в OpenSource. Это значит, что любой разработчик или специалист может присоединиться к проекту, внести свой вклад и помочь улучшить модель. В будущем нейросеть сможет диагностировать другие патологии, включая редкие заболевания.
При создании проекта специалисты обучили не одну, а сразу несколько моделей:
- YOLOv10 для поиска зоны интереса и категоризации её плоскости;
- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.
Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа.
В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.
Идея применять ИИ для диагностики spina bifida возникла в ходе обсуждений между специалистами НМИЦ АГП им. В. И. Кулакова и основательницей фонда «Спина бифида» Инной Инюшкиной. Так появился проект, к которому присоединились специалисты Yandex Cloud и студенты ШАДа.
Spina bifida — расщепление позвоночника и грыжа спинного мозга у плода. Самая тяжёлая форма — миеломенингоцеле — часто вызывает инвалидность. От 68 до 80% людей с миеломенингоцеле нуждаются в установке шунта для лечения гидроцефалии.
Патологию легко пропустить на первом скрининге из-за размеров плода и сложности оценки позвоночника и спинного мозга. Если недуг выявляют на втором скрининге, то завершить обследование для предоперационной подготовки чаще всего не удается. Нейросеть позволяет своевременно обнаружить патологию на ранних сроках беременности, подсвечивая зоны интереса на УЗИ-снимках. Это позволяет даже менее опытным врачам вовремя принимать меры для лечения.
Разработка полностью открыта и доступна в OpenSource. Это значит, что любой разработчик или специалист может присоединиться к проекту, внести свой вклад и помочь улучшить модель. В будущем нейросеть сможет диагностировать другие патологии, включая редкие заболевания.
При создании проекта специалисты обучили не одну, а сразу несколько моделей:
- YOLOv10 для поиска зоны интереса и категоризации её плоскости;
- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.
Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа.
В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.
yandex.cloud
Как нейросети помогают врачам выявлять редкую патологию spina bifida при беременности
Рассказываем, как фонд «Спина бифида» поддерживает людей с заболеванием, чем НМИЦ АГП им. В. И. Кулакова занимается в области лечения патологии и как технологии и экспертиза Yandex Cloud и ШАД помогают выявлять spina bifida на ранних сроках беременности.
❤33👍22🥰9👏1🙏1🥱1
OuteAI выпустила второе поколение легких моделей на 250М параметров каждая :
В модели интегрирован механизм Mamba2Attn - усовершенствованный метод внимания, который повышает способность модели фокусироваться на важных частях входных данных. Этот механизм особенно полезен для задач NLP, требующих понимания сложных закономерностей или взаимосвязей в данных.
Интегрировав Mamba2Attn, разработчикам удалось сохранить релевантную для своего класса малых моделей производительность, уменьшив при этом ее размер и вычислительные требования.
Базовая модель была обучена на 30 миллиардах токенов из корпуса данных, структура которого - 50% датасета dclm-baseline-1.0 b 50% fineweb-edu. Инструктивная версия прошла дообучение с SFT и DPO.
Обе модели имеют 4 слоя внимания из общего количества 32, такая конфигурация позволяет минимизировать потери при проверке, что подтверждено исследованием о соотношении слоев самовнимания к MLP.
@ai_machinelearning_big_data
#AI #SLM #Mamba2 #ML #Oute
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤4🔥2🦄2
🚀 Новостной дайджест.
✔️ Появилось определение, что такое ИИ с открытым исходным кодом.
Open Source Initiative (OSI) представила определение, разработанное группой из 70 экспертов, включая ученых и представителей крупных технологических компаний. Согласно этому определению, открытый ИИ может использоваться без разрешения авторов, его компоненты подлежат инспекции создателями, а система может модифицироваться и не иметь ограничения на передачу от от одного лица другому.
OSI планирует создать механизм контроля, который будет выявлять модели, не соответствующие новому определению и публиковать список соответствующих моделей, среди которых ожидаются Pythia от Eleuther, OLMo от Ai2 и модели от коллектива LLM360.
technologyreview.com
✔️ Google запустила бесплатную "Галерею промптов" в AI Studio.
Функциональное бновление AI Studio, анонсированное Логаном Килпатриком, предлагает предустановленные промпты, которые демонстрируют возможности моделей семейства Gemini.
В "Prompt Gallery" уже доступны: генератор рецептов на основе схемы JSON, математический репетитор для квадратных уравнений, генератор рабочих листов для начальных классов, а также инструменты для тестирования кода на Python и анализа временной сложности функций.
venturebeat.com
✔️ Ресечеры борются с галлюцинациями ИИ в математике.
Исследователи из Беркли работают над проблемой "галлюцинаций" ИИ в математике, когда модели, такие как ChatGPT, генерируют неверные или вымышленные ответы. В экспериментах они обнаружили, что ChatGPT ошибался в решении алгебраических задач в одной трети случаев, но после применения метода "самосогласованности" (self-consistency) точность возросла до 70%. В статистике ошибки снизились с 29% до 13%, что все еще слишком много.
В другом исследовании 274 участника, использовавшие решения ChatGPT в качестве подсказок, показали прирост в 17% на тестах, в то время как группа с подсказками от людей улучшилась лишь на 12%. Исследование привело к прогнозам о возможности создания эффективных репетиторов на основе ИИ, однако необходимо больше данных о реальном использовании таких систем учащимися
hechingerreport.org
✔️ Путь к эффективным вычислениям в эпоху ИИ: охлаждение теплой водой.
Lenovo представила 6-е поколение технологии жидкостного охлаждения Neptune™, которая позволяет запускать серверные стойки мощностью более 100 кВт без необходимости в специализированном кондиционировании. Эта система обеспечивает до 40% снижение потребления энергии и 3,5-кратное улучшение термальной эффективности по сравнению с традиционными воздушными системами охлаждения. Технология использует теплую воду для охлаждения компонентов, уменьшая потребность в мощных вентиляторах.
csrwire.com
✔️ SyncWaveX: сервис автоматического липсинка для видео.
SyncWaveX автоматически синхронизирует движения губ и лица с аудио, позволяя создавать реалистичные видео с минимальными усилиями. Технология прямого синтеза аудио в видео позволяет генерировать контент, основываясь на аудиопотоке, без необходимости в 3D-моделировании.
SyncWaveX использует интеллектуальные технологии синтеза голоса и распознавания речи, которые позволяют генерировать новые треки, имитирующие оригинальный голос. Пользователи сервиса могут создавать неограниченное количество видео из одного шаблона. В ходе предзапуска уже было создано более 10,000 видео, попробовать можно тут
globenewswire.com
@ai_machinelearning_big_data
#news #ai #ml
Open Source Initiative (OSI) представила определение, разработанное группой из 70 экспертов, включая ученых и представителей крупных технологических компаний. Согласно этому определению, открытый ИИ может использоваться без разрешения авторов, его компоненты подлежат инспекции создателями, а система может модифицироваться и не иметь ограничения на передачу от от одного лица другому.
OSI планирует создать механизм контроля, который будет выявлять модели, не соответствующие новому определению и публиковать список соответствующих моделей, среди которых ожидаются Pythia от Eleuther, OLMo от Ai2 и модели от коллектива LLM360.
technologyreview.com
Функциональное бновление AI Studio, анонсированное Логаном Килпатриком, предлагает предустановленные промпты, которые демонстрируют возможности моделей семейства Gemini.
В "Prompt Gallery" уже доступны: генератор рецептов на основе схемы JSON, математический репетитор для квадратных уравнений, генератор рабочих листов для начальных классов, а также инструменты для тестирования кода на Python и анализа временной сложности функций.
venturebeat.com
Исследователи из Беркли работают над проблемой "галлюцинаций" ИИ в математике, когда модели, такие как ChatGPT, генерируют неверные или вымышленные ответы. В экспериментах они обнаружили, что ChatGPT ошибался в решении алгебраических задач в одной трети случаев, но после применения метода "самосогласованности" (self-consistency) точность возросла до 70%. В статистике ошибки снизились с 29% до 13%, что все еще слишком много.
В другом исследовании 274 участника, использовавшие решения ChatGPT в качестве подсказок, показали прирост в 17% на тестах, в то время как группа с подсказками от людей улучшилась лишь на 12%. Исследование привело к прогнозам о возможности создания эффективных репетиторов на основе ИИ, однако необходимо больше данных о реальном использовании таких систем учащимися
hechingerreport.org
Lenovo представила 6-е поколение технологии жидкостного охлаждения Neptune™, которая позволяет запускать серверные стойки мощностью более 100 кВт без необходимости в специализированном кондиционировании. Эта система обеспечивает до 40% снижение потребления энергии и 3,5-кратное улучшение термальной эффективности по сравнению с традиционными воздушными системами охлаждения. Технология использует теплую воду для охлаждения компонентов, уменьшая потребность в мощных вентиляторах.
csrwire.com
SyncWaveX автоматически синхронизирует движения губ и лица с аудио, позволяя создавать реалистичные видео с минимальными усилиями. Технология прямого синтеза аудио в видео позволяет генерировать контент, основываясь на аудиопотоке, без необходимости в 3D-моделировании.
SyncWaveX использует интеллектуальные технологии синтеза голоса и распознавания речи, которые позволяют генерировать новые треки, имитирующие оригинальный голос. Пользователи сервиса могут создавать неограниченное количество видео из одного шаблона. В ходе предзапуска уже было создано более 10,000 видео, попробовать можно тут
globenewswire.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤6🔥6👏2
Liger (Linkedin GPU Efficient Runtime) Kernel — набор оптимизированных ядер Triton, применение которых в задачах обучения LLM на нескольких GPU повышает производительность на 20 % и снижает потребление VRAM на 60%. Это дает возможность использовать более длинные контексты, более крупные размеры пакетов и увеличенные словари в обучении.
Liger предоставляет простой API для операций с оптимизированными ядрами и совместим с Hugging Face: RMSNorm, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy
Liger работает с Flash Attention, PyTorch FSDP и Microsoft DeepSpeed без необходимости дополнительной настройки.
Зависимости:
Liger Kernel доступен в pip. Выберите стабильную версию для продакшена или nightly c последними новыми функциями и исправлениями:
# Stable version
pip install liger-kernel
# Nightly version
pip install liger-kernel-nightly
Патч существующей модели с Hugging Face:
# Import modules
import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama
# Load Hugging Face model:
model = transformers.AutoModelForCausalLM.from_pretrained("<some llama model>")
# Apply Liger Kernel patches:
apply_liger_kernel_to_llama(model)
После установки патча, модель будет использовать операции ядра Liger для поддерживаемых слоев, что приведет к повышению производительности и снижению потребления VRAM.
Если вы хотите построить собственные модели с помощью Liger Kernel, вы можете импортировать отдельные модули ядра и использовать их в качестве строительных блоков. Например:
# Import the Liger Kernel module:
from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss
#Create your model:
import torch.nn as nn
import torch
model = nn.Linear(128, 256).cuda()
loss_fn = LigerFusedLinearCrossEntropyLoss()
#Use the model:
input = torch.randn(4, 128, requires_grad=True, device="cuda")
target = torch.randint(256, (4, ), device="cuda")
loss = loss_fn(model.weight, input, target)
loss.backward()
Модель пропатчена, вы можете продолжить обучение как обычно. Liger Kernel будет автоматически выполнять оптимизированные операции во время обучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍10🔥6