226K subscribers
3.88K photos
661 videos
17 files
4.5K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Jamba 1.5: Семейство моделей на архитектуре SSM-Transformer с большим контекстным окном.

AI21 Labs опубликовала в открытом доступе семейство моделей Jamba 1.5. Модели позиционированы для использования в бизнесе для задач анализа документов, рабочих процессов RAG, поддержки клиентов и обладают возможностями вызова функций, структурированного вывода (JSON) и генерации текстовых данных.

Семейство демонстрирует хорошую управляемость в длительном контексте, скорость и качество. Это первый кейс успешного масштабирования не трансформерной модели до уровня качества топовых открытых моделей.

Архитектура Jamba состоит из гибридного сочетания Transformers и Mamba, что позволило создать модели, которые требуют меньший объем VRAM, чем трансформерные аналоги и могут обрабатывать контексты длиной до 140 тысяч токенов на одном GPU в квантованной версии.

Чтобы сделать модели удобными в использовании, была разработана новая техника квантования ExpertsInt8. Она квантует только веса, которые являются частью слоев MoE, и сохраняет их в формате INT8.
ExpertsInt8 быстрее других методов квантования, не требует калибровки и дает возможность использования BF16 для хранения больших активаций и позволяет загружать Large модель на одном узле из 8 GPU.

Jamba 1.5 Large:

🟠total params - 399B;
🟠active non-embedding params - 94B;
🟠context - 256К.

Jamba 1.5 Mini:

🟢total params - 52B;
🟢active non-embedding params - 12B;
🟢context - 256К;
🟢Int8 context - 140К.

Запуск моделей возможен на платформах AI21 Studio, Google Cloud, Azure, Hugging Face, NVIDIA NIM.
Протестировать возможности обеих моделей можно онлайн в сервисе AI21 Studio .
Доступен вход с Gmail и Github, на бесплатный тестовый период дается 10$ на три месяца при тарификации:

🟠Jamba 1.5 Large - 2 $ / 8$ Input / Output за 1 млн токенов.
🟠Jamba 1.5 Mini - 0.2 $ / 0.4$ Input / Output за 1 млн токенов.


📌Лицензирование: Jamba Open Model License

🟢Бесплатно для некоммерческих проектов и личного использования
🟠Бесплатно для коммерческого использования при годовом доходе до 50 млн USD, если больше - заключение отдельного договора.


🟡Страница проекта
🟡Набор моделей
🟡Demo

@ai_machinelearning_big_data

#AI #Jamba #LLM #ML #SSM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍296🔥3🎉3
⚡️ OmniCast — технология, которая повышает точность прогноза погоды

В Яндексе подробно рассказали про новую технологию, которую стали использовать в Яндекс Погоде. OmniCast работает на основе нейросетей, которые рассчитывают температуру воздуха, учитывая множество факторов, в том числе один совершенно новый — любительские метеостанции.

OmniCast помогает решать проблему точности прогноза в разных локальных районах мегаполисов. Подробнее про то, как работает метод, написано в статье.

▪️Хабр

@ai_machinelearning_big_data

#AI #ML #OmniCast
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍237🗿4🥰3🌚1
⚡️ Новостной дайджест

✔️ Perplexity AI запустит рекламу на своей платформе в четвертом квартале 2024.

Инициатива направлена на создание нового источника дохода для компании, которая уже привлекла 26 миллионов долларов в рамках раунда финансирования, завершившегося в июле.
Реклама будет интегрирована в существующий поисковый сервис и будет отображаться блоками в результатах поиска. Это необходимый шаг в сторону монетизации, поскольку Perplexity AI стремится расширить свою аудиторию и улучшить финансовые показатели.
Компания также рассматривает возможность добавления новых функций: интеграция с другими сервисами и улучшение пользовательского интерфейса, основная цель которых - повысить привлекательность платформы для рекламодателей и пользователей.
reuters.com


✔️ ИИ поможет совершить прорыв в солнечных технологиях и вычислительной химии.

Ученые разработали новый метод на основе ИИ: "NES-VMC (Natural excited states variational Monte Carlo)", который может точно рассчитать возбужденные состояния атомов и молекул - проблема в физике и химии, которая ранее задерживала усовершенствование солнечных технологий.
Метод точно предсказывает квантовые возбужденные состояния в системах от отдельных атомов до молекул размером с бензол. NES-VMC превосходит существующие в вычислительной химии подходы, часто достигая химической точности. Возбужденные состояния имеют решающее значение для понимания взаимодействия света и вещества, что , в свою очередь, является ключевым фактором к улучшению солнечных батарей, светодиодов, лазеров и многого другого.
Эффект может быть огромным: снижение стоимости электроэнергии, увеличение времени работы аккумуляторов и дисплеев телефонов и ноутбуков и более быстрый оптоволоконный интернет.
science.org


✔️ Сотрудники Google DeepMind призывают прекратить военные контракты.

Около 200 сотрудников Google DeepMind (примерно 5% от всего числа подразделения) подписали письмо к руководству Google в котором призывают прекратить контракты компании с военными организациями.
В письме, отправленном 16 мая 2024 года, они выражают обеспокоенность использованием технологий искусственного интеллекта в военных действиях: применение в массовом наблюдении и выбор целей в конфликтах,.
В письме также подчеркивается, что беспокойство не связано с конкретными геополитическими конфликтами, а касается этических принципов компании, которые противоречат участию в военных разработках.
Отдельным пунктом, они просят руководство Google провести расследование по поводу использования облачных услуг компании военными и создать новый орган управления для предотвращения будущего использования технологий DeepMind в военных целях.
На данный момент компания не дала четкого ответа на письмо.
theverge.com


✔️ Линус Торвальдс рассказал об отношении к Ai, внедрении Rust и о том, почему ядро Linux - это "единственное, что имеет значение".

На конференции Open Source Summit China Линус Торвальдс обсудил текущее состояние и будущее ядра Linux. Он рассказал, что расширяемый планировщик sched_ext не будет включен в следующий релиз ядра, но ожидается его добавление в версии 6.12.
Он так же отметил отметил, что даже спустя 33 года разработки, базовые проблемы, такие как управление памятью, все еще актуальны.
Процесс разработки ядра стал более структурированным, с релизами каждые девять недель, а количество релизов не имеет значения. Обсуждая безопасность, он отметил, что уязвимости — это просто ошибки, и порекомендовал пользователям обновлять ядро для повышения безопасности.
Что касается внедрения языка Rust, Торвальдс выразил разочарование медленным темпом его принятия, объясняя это тем, что многие разработчики не знакомы с новым языком. Он также высказал скептицизм по поводу текущего хайпа вокруг ИИ, но надеется, что ИИ может помочь в ревью кода и обнаружении ошибок.
zdnet.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2011🔥5❤‍🔥3
🔥 Weekly Tutorials Digest

🔘Туториал: очистка и предварительная обработка текстовых данных в Pandas для задач NLP.

В туториале приведены практические примеры операций по удалению пропущенных значений, нормализации текста, удалению шумов, токенизации, удаления стоп-слов, техники стемминга и лемматизации, преобразования текста в числовые представления с использованием TF-IDF векторизации.

🔘Статья в блоге: Марковские цепи лучше в задачах генерации юмора, чем LLM

Статья обсуждает уникальное чувство юмора, генерируемое Марковскими цепями по сравнению с крупными LLM, такими как ChatGPT.
Автор утверждает, что Марковские цепи, хотя и примитивны, могут создавать неожиданные и забавные фразы благодаря своей простоте. В отличие от них, LLM более предсказуемы и в меньшей степени подходят для создания юмора.

🔘Статья: Семь основных правил причинно-следственного инференса.

Автор подробно и лаконично рассматривает семь ключевых правил, которые помогают понять, как причинно-следственные механизмы в реальности отражаются в данных.
В статье описаны фундаментальные структуры причинных графов и продемонстрированы примеры кода на R для иллюстрации каждого правила.

🔘Практический кейс: Классификация большого набора PDF-документов.

Подробное описание процесса классификации огромного набора PDF-документов с помощью LLM - эмбеддингов и XGBoost.
Автор проводит несколько экспериментов по созданию и обучению эмбеддингов и делает акцент на сложности обработки 8,4 миллиона PDF-файлов.

@ai_machinelearning_big_data

#Tutorials #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥129
⚡️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека.

Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей:

🟢вычисления 2D-позы (17, 133 и 308 ключевых точек);
🟢сегментации частей тела (28 категорий);
🟢оценки карты глубины;
🟢извлечения нормалей поверхности.

Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении.

Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности:

🟢Sapiens 0.3B
🟢Sapiens 0.6B
🟢Sapiens 1B
🟢Sapiens 2B

Разработчики рекомендуют lite-установку для инференса, она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU.

▶️Установка и запуск на примере Depth Estimation:


# Clone repository
git clone [email protected]:facebookresearch/sapiens.git
export SAPIENS_ROOT=/path/to/sapiens

# Set up a venv:
conda create -n sapiens_lite python=3.10
conda activate sapiens_lite

# Install dependencies
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install opencv-python tqdm json-tricks

# Navigate to your script directory
cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16]

# Uncomment your model config line first
./depth.sh


📌 Лицензирование : CC-BY-NC-SA-4.0 License


Страница проекта
Набор моделей
Arxiv
Github [ Stars: 75 | Issues: 0 | Forks: 0]


@ai_machinelearning_big_data

#AI #Vision #ViT #ML #CV
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍349🔥5😁2
🌟 Aurora: Набор фундаментальных моделей ML от Microsoft Research for Science для прогнозирования атмосферных явлений.

Архитектура базовой Aurora построена на 3D Swin Transformer. Модель обучалась более миллиона часов на корпусе данных о погоде и климате: прогнозах, параметрическом анализе и данных моделирования климата.

Длительное и обширное обучение позволило изучить модели общее представление динамики атмосферы, адаптироваться к широкому спектру задач прогнозирования: задачам с ограниченными входными данными, гетерогенными переменными и экстремальными событиями.

Aurora прошла двухэтапный процесс тонкой настройки. Предварительно настроенные веса сначала настраивались на короткое время прогнозирования (до 15 дней), а затем Aurora была интегрирована с LoRA комбинированных математических моделей длительного прогнозирования.

В наборе представлены три специализированных версии: одна для прогнозирования атмосферных явлений со средним разрешением, одна для прогнозирования с высоким разрешением и одна модель для прогнозирования загрязнения воздуха:

🟢Aurora 0.1 - большая модель для прогнозов IFS HRES T0 c разрешением 0.1°;
🟢Aurora 0.25 Pretrained - версия, обученная на обобщенном спектре параметров для использования в случае, если для целевого набора данных нету, например, для прогнозов на данных ERA5 с точностью 0.25°;
🟢Aurora 0.25 Fine-Tuned - версия Aurora 0.25 Pretrained , дополнительно обученная на данных IFS HRES T0. Рекомендуется для прогнозирования на основе данных IFS HRES с разрешением 0.25°;
🟢Aurora 0.25 Pretrained Small - уменьшенная версия Aurora 0.25 для процедур отладки. Не рекомендуется использовать для иных целей, кроме дебага;
🟠Aurora air pollution forecasting - модель прогноза загрязнения воздуха, еще не опубликована, ее разработка активно ведется.


Модели семейства Aurora совместимы с данными прогнозных моделей ERA5 и HRES Европейского центра среднесрочных прогнозов погоды (ECMWF).

▶️Установка и пример запуска c малой моделью и рандомными данными:

# Install with pip
pip install microsoft-aurora

#create a new venv & install the reqs:
virtualenv venv -p python3.10
source venv/bin/activate
make install

# Run the pretrained small model on random data:
from datetime import datetime
import torch
from aurora import AuroraSmall, Batch, Metadata
model = AuroraSmall()
model.load_checkpoint("microsoft/aurora", "aurora-0.25-small-pretrained.ckpt")

batch = Batch(
surf_vars={k: torch.randn(1, 2, 17, 32) for k in ("2t", "10u", "10v", "msl")},
static_vars={k: torch.randn(17, 32) for k in ("lsm", "z", "slt")},
atmos_vars={k: torch.randn(1, 2, 4, 17, 32) for k in ("z", "u", "v", "t", "q")},
metadata=Metadata(
lat=torch.linspace(90, -90, 17),
lon=torch.linspace(0, 360, 32 + 1)[:-1],
time=(datetime(2020, 6, 1, 12, 0),),
atmos_levels=(100, 250, 500, 850),
),
)

prediction = model.forward(batch)

print(prediction.surf_vars["2t"])


📌Лицензирование кода : MIT License.

📌Лицензирование моделей: CC-BY-NC-SA-4.0 License.



🟡Набор моделей
🟡Dev документация
🟡Arxiv
🖥Github [ Stars: 120 | Issues: 1 | Forks: 12]


@ai_machinelearning_big_data

#AI #Microsoft #Aurora #ML #Weather
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3314🔥7
🌟 Hibou: Семейство ViT-моделей для патологии.

Hibou - это новое семейство фундаментальных ViT-моделей, специально разработанных для работы с цифровыми изображениями патологий тканей.

Hibou использует возможности самоконтролируемого обучения (self-supervised learning) - метода, при котором модель учится на огромном количестве немаркированных данных. Это особенно ценно для патологии, где аннотированные наборы данных часто скудны и дороги в создании.

Обучаясь на большом собственном наборе данных из более чем 1 миллиона изображений препаратов с различными типами тканей и методами окрашивания, модели Hibou научились извлекать надежные и обобщаемые признаки.

Представлено три модели: Hibou-B, Hibou-L и CellVit-Hibou-L:

🟢Hibou-B и Hibou-L различаются по размеру и сложности, они основаны на ViT-B/14 и ViT-L/14 архитектурах соответственно.
Они созданы на фреймворке DINOv2 на специальном наборе аугментированных данных, адаптированных для лучшего обобщения (случайные вращения, перевороты, дрожание цвета и технику вариативного окрашивания тканей RandStainNA)

🟠CellVit-Hibou-L - дополнительно обученная на фреймфорке CellViT Hibou-L с использованием корпуса данных PanNuke для сегментации и классификации клеток тканей. Модель может применятся для идентификации отдельных ядер клеток и анализа ядерной морфологии.

Семейство Hibou достиглj SOTA-результатов в задачах классификации на фрагментарном уровне, продемонстрировав способность точно классифицировать различные типы тканей и выявлять тонкие аномалии.


▶️ Использование моделей Hibou-B и Hibou-L возможно с HuggingFace Transformers или прямым инференсом модуля hibou.

▶️Для использование гибридной модели CellVit-Hibou-L следуйте последовательности из этого ipynb.


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование моделей:  Apache 2.0 License и CC-BY-NC-SA-4.0 License (CellVit-Hibou-L) .



🟡Arxiv
🟡Набор моделей
🖥Github [ Stars: 39 | Issues: 0 | Forks: 4]


@ai_machinelearning_big_data

#AI #HIBOU #ViT #ML #Histopathology
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2510🔥5🦄1
Яндекс разработал нейросеть, которая помогает врачам своевременно обнаружить признаки spina bifida — редкую патологию развития при беременности.

Идея применять ИИ для диагностики spina bifida возникла в ходе обсуждений между специалистами НМИЦ АГП им. В. И. Кулакова и основательницей фонда «Спина бифида» Инной Инюшкиной. Так появился проект, к которому присоединились специалисты Yandex Cloud и студенты ШАДа.

Spina bifida — расщепление позвоночника и грыжа спинного мозга у плода. Самая тяжёлая форма — миеломенингоцеле — часто вызывает инвалидность. От 68 до 80% людей с миеломенингоцеле нуждаются в установке шунта для лечения гидроцефалии.

Патологию легко пропустить на первом скрининге из-за размеров плода и сложности оценки позвоночника и спинного мозга. Если недуг выявляют на втором скрининге, то завершить обследование для предоперационной подготовки чаще всего не удается. Нейросеть позволяет своевременно обнаружить патологию на ранних сроках беременности, подсвечивая зоны интереса на УЗИ-снимках. Это позволяет даже менее опытным врачам вовремя принимать меры для лечения.

Разработка полностью открыта и доступна в OpenSource. Это значит, что любой разработчик или специалист может присоединиться к проекту, внести свой вклад и помочь улучшить модель. В будущем нейросеть сможет диагностировать другие патологии, включая редкие заболевания.

При создании проекта специалисты обучили не одну, а сразу несколько моделей:

- YOLOv10 для поиска зоны интереса и категоризации её плоскости;

- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.

Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа.

В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.
33👍22🥰9👏1🙏1🥱1