GigaGAN: крупномасштабная сеть GAN для преобразования текста в изображение

GigaGAN — это GAN с параметрами 1B, которая может масштабироваться в 36 раз больше, чем StyleGAN. Модель от Adobe/CMU доказывает, что GAN можно масштабировать до больших наборов данных и оставаться стабильными.

https://mingukkang.github.io/GigaGAN/

Бесконечное радио создаваемое нейронными сетями. Open-source проект

Привет всем увлеченным нейронными сетями или тем, кто хочет вникнуть в технологии. Сегодня я хотел бы познакомить вас со своим захватывающим проектом с открытым исходным кодом «Бесконечное нейронное радио». Бесконечное, потому что lofi музыка и подкасты могут генерироваться нейронными сетями бесконечно. В этой статье я бы хотел углубиться в то, как все работает изнутри.

Вдохновением для этого проекта послужило для меня разочарование в моем любимом музыкальном приложении. Поскольку со временем приложение стало не удобным для меня, я почувствовал потребность создать что‑то свое с лофи‑музыкой — жанра, который помогает сосредоточиться во время программирования или просто служит расслабляющим фоном в вечернее время. Приложение содержит цитаты, сгенерированные нейронными сетями, в сопровождении GIF‑анимации в пиксельном стиле, которая тоже частино сгенерировано нейронными сетями. Если подкасты вам не по душе, вы можете их отключить и выбрать только нейронную музыку или даже настроиться на радиостанцию, которая уже делается людьми.

Узнать как работаетhttps://habr.com/ru/articles/755788/

StableVideo: текстовое редактирование диффузионного видео с учетом согласованности

Методы на основе диффузии могут генерировать реалистичные изображения и видео, но они затрудняют редактирование существующих объектов в видео, сохраняя при этом их внешний вид с течением времени. Это предотвращает применение моделей распространения для естественного редактирования видео в практических сценариях. В этой статье мы решаем эту проблему, вводя временную зависимость в существующие модели распространения, управляемые текстом, что позволяет им генерировать согласованный внешний вид для редактируемых объектов. https://rese1f.github.io/StableVideo/

Microsoft переносит Python в Excel.

https://www.theverge.com/2023/8/22/23841167/microsoft-excel-python-integration-support

Бесплатный курс Python для науки о данных

https://www.youtube.com/playlist?list=PLeLGx0BaYD6bsy5mfwo0mxONYWfR1VVbO

Квантование наборов данных (DQ) - это новая схема сжатия больших наборов данных в небольшие наборы, которые могут быть использованы для обучения любых нейросетевых архитектур.


🖥 Github: https://github.com/magic-research/dataset_quantization

📕 Статья: https://arxiv.org/abs/2308.10524v1

☑️ Dataset: https://paperswithcode.com/dataset/gsm8k

Понимание автоматической дифференциации в 30 строках Python

Я инженер по машинному обучению и использую в своей работе такие библиотеки, как Tensorflow и Pytorch, для обучения нейронных сетей. И я давно не хотел написать простейший фрагмент кода для выполнения так называемого автоматического дифференцирования , которое лежит в основе обучения нейронных сетей. https://vmartin.fr/understanding-automatic-differentiation-in-30-lines-of-python.html?utm_source=substack&utm_medium=email

Сможет ли Python пережить это? Компания Modular, стоящая за Mojo, только что собрала 100 миллионов долларов на исправление инфраструктуры искусственного интеллекта для разработчиков. Это много денег! Mojo — это язык программирования для разработчиков искусственного интеллекта, который в 35 000 раз быстрее Python https://venturebeat.com/ai/modular-looks-to-boost-ai-mojo-with-100m-funding-raise/

Как построить большую языковую модель с нуля, используя Python

https://www.freecodecamp.org/news/how-to-build-a-large-language-model-from-scratch-using-python/

Современные большие языковые модели (Large Language Models, LLM) произвели революцию в нашей способности обрабатывать и понимать огромные объемы текстовых данных. Однако эти модели, такие как LLaMA и LLaMA2, часто имеют недостаток: они ограничены фиксированной длиной контекста, что означает, что они не могут работать с длинными последовательностями входных данных при оценке. В данной работе это ограничение решается путем исследования различных методов "экстраполяции длины контекста", что, по сути, позволяет этим моделям понимать и работать с более длинными текстовыми последовательностями.

Ссылка на статью: https://arxiv.org/abs/2308.10882
Ссылка на код: https://github.com/abacusai/Long-Context

Обзор статьи: https://andlukyane.com/blog/paper-review-giraffe

Создание простого образа Docker Data Science

В этом кратком руководстве рассказывается о настройке среды обработки данных Python с использованием Docker, описывается создание файла Dockerfile, создание образа, запуск контейнера, совместное использование и развертывание изображений, а также их отправка в Docker Hub. https://www.kdnuggets.com/2023/08/simple-docker-data-science-image.html

Сделай SAM: Segment Anything Model в задачах компьютерного зрения (часть 1).

Всем привет! В прошлой статье мы рассказывали, как можно ускорить процесс разметки данных с помощью интерактивной сегментации, и уже упоминали state-of-the-art-решение в этой области — модель Segment Anything. Сегодня остановимся на том, как можно улучшить качество и производительность SAM: научить модель генерировать более детализированные и гранулярные маски, а также ускорить её работу в 50 раз и адаптировать для мобильных устройств. А в следующей части на примерах покажем, что способности SAM не ограничиваются одной только сегментацией: модель может применяться для решения самых разных задач компьютерного зрения.

Что такое Segment Anything (SAM)? 

SAM (Segment Anything Model) — это сегментационная модель, которая была выпущена Meta AI*  весной 2023 года и быстро стала одной из самых популярных AI-моделей. SAM называют первой фундаментальной моделью в компьютерном зрении и сравнивают с ChatGPT в NLP из-за рекордно большого количества разнообразных данных, которые видела модель (SAM обучалась на датасете SA-1B, содержащем более одного миллиарда масок); а также из-за её способности к zero-shot transfer, то есть способности легко обобщаться для решения смежных задач.

Читать далее https://habr.com/ru/companies/sberdevices/articles/757606/

CoTracker — модель для отслеживания любой точки (пикселя) на видео.

Эта архитектура основана на нескольких идеях из литературы по оптическим потокам и отслеживанию и объединяет их в новую, гибкую и мощную конструкцию. Он основан на сети преобразователей, которая моделирует корреляцию различных моментов времени с помощью специализированных уровней внимания.

Бумага: https://arxiv.org/abs/2307.07635
Код: https://github.com/facebookresearch/co-tracker
Демо: https://huggingface.co/spaces/facebook/cotracker

Сайт: https://co-tracker.github.io/

В этой работе разрабатывается оптимизированный подход машинного обучения для оценки позы рук человека с помощью одних умных часов.

На двух примерах использования мы демонстрируем, что этот интуитивно понятный интерфейс управления позволяет пользователям быстро вмешиваться в поведение робота, временно корректировать свои цели или обучать совершенно новым политикам управления путем имитации.

https://arxiv.org/abs/2306.13192

Наблюдение и аналитика с открытым исходным кодом для приложений LLM

Langfuse — это решение для наблюдения и аналитики с открытым исходным кодом для приложений на основе LLM. Он в основном ориентирован на производственное использование, но некоторые пользователи также используют его для локальной разработки своих приложений LLM.

https://github.com/langfuse/langfuse

От экспериментов 🧪 к развертыванию 🚀: MLflow 101 | Часть 01
Улучшите свое путешествие по MLOps, создав спам-фильтр с помощью Streamlit и MLflow

Давайте посмотрим на конвейер, который мы собираемся построить к концу этого блога 👆

Держитесь крепче, потому что это не будет быстрым чтением! потому что сжатие означало бы упущение важных деталей. Мы создаем комплексное решение MLOps https://pub.towardsai.net/from-experiments-to-deployment-mlflow-101-40638d0e7f26

Работайте с большими, уродливыми, уродливыми файлами CSV.

Советы и подсказки , вдохновленные DuckDB, файлами Parquet и OpenCoesione.
https://shly.link/TSkxv

Сегментация медицинских изображений достигла впечатляющих успехов! Специальная группа исследователей из Шанхайской лаборатории искусственного интеллекта при Сычуаньском университете добилась значительных успехов в анализе медицинских изображений. Они значительно улучшили интерпретацию медицинских изображений, используя безграничный потенциал модели Segment Anything для 2D (SAM-Med2D).

SAM-Med2D предлагает современные методы повышения точности и эффективности сегментации медицинских изображений. Это достижение может изменить то, как врачи классифицируют и идентифицируют заболевания, улучшая лечение пациентов и улучшая результаты.

Github: https://github.com/uni-medical/sam-med2d

Colab: https://colab.research.google.com/github/uni-medical/SAM-Med2D/blob/main/predictor_example.ipynb

Paper: https://arxiv.org/abs/2308.16184

Dataset: https://paperswithcode.com/dataset/sa-1b

🤖 🔥AI Copilot для вашего собственного SaaS-продукта. Помощник по искусственному интеллекту с открытым исходным кодом для всех.

https://github.com/openchatai/OpenCopilot