PANGEA - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS.
PANGEA предназначена для "преодоления" культурных и языковых барьеров в задачах визуального понимания в задачах мультимодального чата, создания аннотаций к изображениям, понимания контекста культурных особенностей, обработке многоязычных VQA и рассуждений на разные темы.
Инструктивный датасет PANGEAINS состоит из 6 млн. мультимодальных инструкций на 39 языках. Перевод инструкций с английского языка на другие выполнялся с помощью Gemini 1.5 Pro.
Оценка PANGEA проводилась с использованием набора тестов PANGEABENCH(14 наборов данных на 47 языках) .
PANGEA продемонстрировала значительные улучшения в кросс-лингвистическом и кросс-культурном понимании.
Репозиторий PANGEA на Github содержит подробные инструкции и скрипты по установке, тонкой настройке, оценке результатов обучения и примеры разметки данных для файнтюна.
@machinelearning_interview
#AI #ML #MMLM #Pangea
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🧬 GEMCODE: Генеративный метод для разработки сокристаллов с улучшенной таблетируемостью.
GEMCODE - это конвейер, разработанный специалистами Ивановского государственного химико-технологического университета, для ускоренной разработки действующих веществ лекарственных средств, позволяющий быстро генерировать уникальные и валидные химические структуры коформеров с высокой вероятностью образования сокристаллов и целевыми профилями таблетируемости.
GEMCODE основан на гибридизации генеративных моделей и эволюционной оптимизации, что позволяет проводить более широкий поиск в целевом химическом пространстве.
Для обучения моделей использовался набор данных, состоящий из 1,75 млн. химических структур из базы данных ChEMBL, и специализированный набор данных, содержащий 4227 уникальных структур коформеров.
Для прогнозирования механических свойств сгенерированных молекул была использована библиотека GOLEM и разработанные модели ML.
GEMCODE состоит из четырех основных компонентов:
1) Генерация кандидатов коформеров: Обученные генеративные модели (GAN, T-VAE, T-CVAE) создают SMILES-представления структур, подобных коформерам.
2) Прогнозирование механических свойств: Сгенерированные молекулы и терапевтические соединения подаются в обученные ML-модели, которые предсказывают механические свойства потенциальных сокристаллов.
3) Эволюционная оптимизация: Эволюционный алгоритм в сочетании с ML- моделями улучшает профили таблетируемости сгенерированных коформеров.
4) Ранжирование по вероятности образования сокристаллов: GNN оценивает и ранжирует пары лекарств и коформеров в соответствии с вероятностью образования сокристаллов.
Для оценки вероятности образования сокристаллов применялась предварительно обученная GNN CCGNet.
Эксперименты показали, что:
T-CVAE генерирует наибольшее количество кандидатов коформеров с целевыми свойствами таблетируемости (5,63%).
Эволюционная оптимизация значительно повышает вероятность того, что коформеры будут обладать желаемыми механическими свойствами.
GEMCODE успешно обнаружил экспериментально подтвержденные коформеры для никорандила, ривароксабана и парацетамола, а также предсказал новые потенциальные коформеры для никорандила.
▪Arxiv
▪Github
@machinelearning_interview
GEMCODE - это конвейер, разработанный специалистами Ивановского государственного химико-технологического университета, для ускоренной разработки действующих веществ лекарственных средств, позволяющий быстро генерировать уникальные и валидные химические структуры коформеров с высокой вероятностью образования сокристаллов и целевыми профилями таблетируемости.
GEMCODE основан на гибридизации генеративных моделей и эволюционной оптимизации, что позволяет проводить более широкий поиск в целевом химическом пространстве.
Для обучения моделей использовался набор данных, состоящий из 1,75 млн. химических структур из базы данных ChEMBL, и специализированный набор данных, содержащий 4227 уникальных структур коформеров.
Для прогнозирования механических свойств сгенерированных молекул была использована библиотека GOLEM и разработанные модели ML.
GEMCODE состоит из четырех основных компонентов:
1) Генерация кандидатов коформеров: Обученные генеративные модели (GAN, T-VAE, T-CVAE) создают SMILES-представления структур, подобных коформерам.
2) Прогнозирование механических свойств: Сгенерированные молекулы и терапевтические соединения подаются в обученные ML-модели, которые предсказывают механические свойства потенциальных сокристаллов.
3) Эволюционная оптимизация: Эволюционный алгоритм в сочетании с ML- моделями улучшает профили таблетируемости сгенерированных коформеров.
4) Ранжирование по вероятности образования сокристаллов: GNN оценивает и ранжирует пары лекарств и коформеров в соответствии с вероятностью образования сокристаллов.
Для оценки вероятности образования сокристаллов применялась предварительно обученная GNN CCGNet.
Эксперименты показали, что:
T-CVAE генерирует наибольшее количество кандидатов коформеров с целевыми свойствами таблетируемости (5,63%).
Эволюционная оптимизация значительно повышает вероятность того, что коформеры будут обладать желаемыми механическими свойствами.
GEMCODE успешно обнаружил экспериментально подтвержденные коформеры для никорандила, ривароксабана и парацетамола, а также предсказал новые потенциальные коформеры для никорандила.
▪Arxiv
▪Github
@machinelearning_interview
freecourses
Please open Telegram to view this post
VIEW IN TELEGRAM
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Он будет полезен тем, кто уже имеет базовые теоретические знания, готовится к собеседованию или просто хочет освежить свои навыки работы с синтаксисом.
Вот что мне особенно понравилось:
— Все задания направлены на практическое применение знаний. Они приближены к реальным задачам и охватывают популярные вопросы с собеседований.
— Очень удобно работать с таблицами и составлять запросы.
— Задания распределены по темам и уровням сложности, а также предусмотрены полезные подсказки.
Сохраняйте, чтобы не потерять! 👍
📌 Cсылка
#sql #practice
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#курс #machinelearning #claude
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Яндекс объявил победителей Yandex ML Prize 2024. В этом году награда была вручена учёным за выдающиеся достижения в области машинного обучения. Рассказываем о нескольких из 14 лауреатов.
Артём Лыков и его команда из Сколтеха первые в мире представили универсальную когнитивную систему для роботов. В числе его разработок и робот-собака, который понимает человеческую речь и может ориентироваться в пространстве. Это может стать основой для «роя умных роботов», способных автономно выполнять задачи в строительстве, геологоразведке и астрофизике.
Николай Никитин из ИТМО работает над автоматическим машинным обучением и генеративным дизайном. Его команда создала экосистему методов для задач AI for science, что помогает в оптимизации создания моделей ИИ и их адаптации к различным научным и прикладным задачам.
Елена Тутубалина из Казанского федерального университета фокусируется на обработке естественного языка и генеративных моделях. Её исследования в области доверенных методов ИИ могут повысить эффективность разработки новых лекарств.
Кроме денежной премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud. Эти ресурсы помогут развивать их проекты и вносить вклад в будущее ИИ.
@machinelearning_interview
Артём Лыков и его команда из Сколтеха первые в мире представили универсальную когнитивную систему для роботов. В числе его разработок и робот-собака, который понимает человеческую речь и может ориентироваться в пространстве. Это может стать основой для «роя умных роботов», способных автономно выполнять задачи в строительстве, геологоразведке и астрофизике.
Николай Никитин из ИТМО работает над автоматическим машинным обучением и генеративным дизайном. Его команда создала экосистему методов для задач AI for science, что помогает в оптимизации создания моделей ИИ и их адаптации к различным научным и прикладным задачам.
Елена Тутубалина из Казанского федерального университета фокусируется на обработке естественного языка и генеративных моделях. Её исследования в области доверенных методов ИИ могут повысить эффективность разработки новых лекарств.
Кроме денежной премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud. Эти ресурсы помогут развивать их проекты и вносить вклад в будущее ИИ.
@machinelearning_interview
Forwarded from Machinelearning
Run:ai Model Streamer – Python SDK, разработанный для оптимизации загрузки моделей машинного обучения. Он поддерживает загрузку моделей в различных форматах (.pt, .h5, .safetensors и др.) из сетевых файловых систем, хранилищ S3 и локальных дисков.
Особенность Streamer - использование многопоточности для параллельной загрузки тензоров из файла в выделенный буфер оперативной памяти.
Каждый тензор идентифицируется уникальным ключом, который впоследствии используется приложением для загрузки тензора в память GPU. Это дает возможность загружать тензоры в память GPU одновременно с чтением других тензоров из хранилища в оперативную память, минимизируя время простоя GPU.
Streamer использует высокопроизводительный слой на C++, а Python API обеспечивает удобную интеграцию Streamer в существующие проекты, например, для автомасштабируемых серверов инференса, где минимизация времени простоя GPU критически важна.
Тест производительности Run:ai Model Streamer выполнялся на NVIDIA A10G с моделью Llama-3-8B (15 GB) и сравнивался с загрузчиками SafeTensors от Hugging Face и Tensorizer от CoreWeave.
При использовании локальных SSD, Run:ai Model Streamer достигал максимальной пропускной способности SSD (1 ГБ/с для GP3 и 2 ГБ/с для IO2), сокращая время загрузки модели в 6 раз по сравнению с SafeTensors Loader.
На Amazon S3 Run:ai Model Streamer загружал модель за 4.88 секунды, значительно превосходя Tensorizer (37.36 секунд).
⚠️ Streamer поддерживает только приложения PyTorch.
⚠️ Размер буфера оперативной памяти регулируется параметром
RUNAI_STREAMER_MEMORY_LIMIT
# Install streamer from pip
pip install runai-model-streamer
# Load the tensors to the buffer and stream to the GPU
from runai_model_streamer import SafetensorsStreamer
file_path = "/path/to/file.safetensors"
with SafetensorsStreamer() as streamer:
streamer.stream_file(file_path)
for name, tensor in streamer.get_tensors():
tensor.to('CUDA:0')
@ai_machinelearning_big_data
#AI #ML #LLM #RunAI #ModelStramer
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2!
В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров.
Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша.
https://huggingface.co/OuteAI/OuteTTS-0.1-350M
@machinelearning_interview
В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров.
Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша.
https://huggingface.co/OuteAI/OuteTTS-0.1-350M
@machinelearning_interview
Читаем разбор статьи Microsoft и Meta про эффективный retrieval с обучаемыми функциями близости.
Авторы предлагают Mixture-of-Logits как универсальный аппроксиматор, а также рассказывают о методах его ускорения.
В разборе ml-специалисты рассмотрели метод, а также коснулись различий косинусных близостей и обучаемых функций близости.
▪️ Arxiv
▪️ Разбор статьи
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
Magnetic-One - система с открытым исходным кодом, доступная разработчикам, в том числе для коммерческих целей, по специальной лицензии Microsoft.
Система основана на агенте-оркестраторе, который управляет 4 другими агентами: Websurfer, FileSurfer, Coder и ComputerTerminal. Websurfer может управлять веб-браузерами на основе Chromium, FileSurfer читает локальные файлы, Coder пишет код, а ComputerTerminal предоставляет консоль для выполнения программ Coder.
Оркестратор распределяет задачи между агентами, отслеживает их прогресс и может корректировать план действий при возникновении ошибок. Хотя Magnetic-One был разработан для использования с GPT-4o, он не зависит от конкретной языковой модели.
microsoft.com
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM