🔥 Полезная статья о квантизации нейросетевых моделей от ML-разработчика Яндекса

Проработав несколько лет в команде, задачей которой стояла квантизация моделей для умных колонок, автор решил поделиться знаниями и рассказать, зачем нужна квантизация, в какой момент лучше всего квантизовать модель, а также рассмотреть разные типы данных и современные методы квантизации.

Статья о том, как можно сэкономить ресурсы на устройствах, заставить модели работать быстрее, а значит, экономить деньги и улучшить пользовательский опыт.

📎Статья на Хабре

@data_analysis_ml

🔥 Первый пациент Neuralink с мозговым имплантом показал, как играет в шахматы на компьютере

⏩В январе этого года первый парализованный доброволец перенёс операцию по установке в черепную коробку импланта Neuralink, который позволил ему научиться управлять курсором на ноутбуке при помощи мозговых импульсов. Компания на этой неделе опубликовала видео, демонстрирующие обретённые после этой операции добровольцем новые физические возможности.

⏩В ходе трансляции, которую Neuralink предсказуемо осуществляла на платформе X, представитель компании представил аудитории 29-летнего Ноланда Арбоу (Noland Arbaugh), который восемь лет назад получил травму спинного мозга и утратил подвижность всех четырёх конечностей. Как пояснил сам находящийся в специальном кресле пациент, он не может двигать руками и ногами, а также не чувствует ничего ниже уровня плеч.

⏩При этом сам доброволец находился во время трансляции в прекрасном расположении духа, много улыбался и шутил. По его словам, операцию по установке импланта он перенёс очень легко, из больницы его выписали уже на следующий день. После некоторой тренировки и настройки оборудования он научился управлять с помощью мысли курсором на экране ноутбука, и в первые дни появление подобной возможности настолько будоражило его эмоционально, что он просыпался в шесть утра и с нетерпением ждал, когда получит доступ к заветному ноутбуку.

📎 Читать подробнее

@data_analysis_ml

🖥 TorchTune

Torch Tune - это встроенная библиотека Pytorch, позволяющая легко создавать, настраивать и экспериментировать с LLMS.

git clone https://github.com/pytorch/torchtune.git
cd torchtune
pip install -e .

▪Github

@data_analysis_ml

⚡️ Nvidia и Dell представили ИИ-систему AI Factory для объединения ПК, СХД и сетевых устройств

⏩На конференции Nvidia GTC компания Dell Technologies анонсировала систему AI Factory — корпоративное решение искусственного интеллекта, которое объединяет ноутбуки, ПК, системы хранения данных и сетевые устройства.

⏩AI Factory включает вычислительные системы, системы хранения данных, сетевые устройства, рабочие станции и ноутбуки Dell с инфраструктурой искусственного интеллекта Nvidia и программным обеспечением Enterprise AI на основе технологий высокоскоростной сетевой структуры Spectrum-X.

⏩AI Factory можно будет развернуть по всей корпоративной сети. Решение поддерживает также периферийное развёртывание с использованием рабочих станций Precision AI-ready, NVIDIA AI Workbench и серверов PowerEdge-XR и облачное развёртывание через поставщиков таких услуг. Dell и Nvidia развивают сотрудничество для создания крупномасштабной системы искусственного интеллекта на базе Dell PowerEdge XE9680 с последними графическими процессорами Nvidia, платформой Spectrum-X Ethernet и хранилищем Dell PowerScale F710.

⏩AI Factory с поддерживает широкий спектр вариантов использования и приложений искусственного интеллекта. Решение предлагает поддержку всего жизненного цикла GenAI, от вывода и извлечения дополненной генерации (RAG) до настройки модели, разработки и обучения.

⏩Решение будет доступно по подписке Dell Apex, а клиенты будут платить только за фактически использованные ресурсы.

@data_analysis_ml

🔥 Nvidia опубликовала в открытом доступе бесплатные обучающие курсы для пользователей любого уровня подготовки по нейросетям и нейромоделям для понимания работы ИИ

⏩ объяснение генеративного ИИ: базированный 2-часовой курс, который подробно объяснит устройство нейронок, их применение и возможности;

⏩ создаём «мозг» за 10 минут: объяснит, как нейронка обучается на данных и покажет всю математику у неё под капотом;

⏩ введение в ИИ в центре обработки данных: всё про машинное обучение и глубокое обучение; какие есть фреймворки и как видеокарты двигают ИИ;

⏩ усиляем свою LLM с помощью RAG: объяснит всю базу по генерации с дополненной выборкой;

⏩ создание своих RAG-агентов: мощнейший 8-часовой курс про масштабируемые стратегии развертывания для LLM и векторные базы данных;

⏩ ускорение работы с Data Science без изменения кода: всё об обработке данных и машинном обучении без переписываний кода;

⏩ усиление рекомендательных систем с помощью ИИ: курс-коллаб NVIDIA и YouTube;

⏩ устройство сетей: база про протоколы TCP/IP и Ethernet — необходимо для понимания процессов обработки данных.

@ai_machinelearning_big_data