В попытке решить проблему задержки генерации больших языковых моделей (LLM) был разработан новый подход Skeleton-of-Thought (SoT). Мотивированный человеческим мышлением и процессом написания текста, SoT направляет LLM сначала на генерацию "скелета" ответа, а затем параллельно заполняет его содержанием. В результате достигается поразительное ускорение до 2,39 раза для 11 различных LLM без потери целостности последовательного декодирования.

Отличительной особенностью SoT является ее потенциал повышения качества ответов с точки зрения разнообразия и релевантности, что проливает свет на интересное направление развития ИИ. Как первая попытка оптимизации, ориентированной на данные, для повышения эффективности, SoT демонстрирует увлекательную возможность появления машин, которые могут мыслить как люди.

Ссылка на документ: https://arxiv.org/abs/2307.15337

Подробный обзор статьи:
https://andlukyane.com/blog/paper-review-sot

Создание deepfake видео и синтез речи open-source проект Wunjo AI.

Привет, мир!

Я бы хотел рассказать о своем open-source проекте Wunjo AI с открытым исходным кодом, который позволит вам создавать дипфейк видео и синтезировать речь из текста у себя на компьютере. В этом посте я постараюсь познакомить вас с возможностями Wunjo AI и пригласить вас поддержать проект на GitHub.

Познакомимся подробнееhttps://habr.com/ru/articles/752910

130 хитростей и ресурсов по ML, тщательно отобранных за 3 года (плюс бесплатная электронная книга)

В науке о данных и машинном обучении есть два типа трюков: редкие и очень крутые. Они предназначены для привлечения вашего внимания, но в конечном итоге вы никогда не будете их использовать , потому что их варианты использования слишком узки. Подумайте об этих однострочниках Python, которые ужасны с точки зрения удобочитаемости.

Во второй категории есть приемы редкие, крутые и настолько полезные , что вы сразу начнете использовать их в своей работе.

За три года своего путешествия в области данных я собрал более 100 приемов и ресурсов, подпадающих под вторую категорию (иногда могут быть небольшие совпадения с первой категорией), и собрал их в онлайн-книгу — Tricking Data Science .

https://towardsdatascience.com/130-ml-tricks-and-resources-curated-carefully-from-3-years-plus-free-ebook-7832ca4a37ef

Все алгоритмы реализованы на Python. 🤯

У этой библиотеки 163 тысячи звезд на GitHub! Он включает в себя массу алгоритмов от арифметического анализа до блокчейна и структур данных. https://github.com/TheAlgorithms/Python/blob/master/DIRECTORY.md

Модели ML запоминают или обобщают?

В 2021 году исследователи обнаружили «гроккинг», когда крошечные модели внезапно переходят от запоминания к обобщению невидимых входных данных. В этой интерактивной статье исследуется этот феномен и развивающаяся область механистической интерпретируемости, пытаясь понять, обобщают ли большие языковые модели или просто запоминают. https://pair.withgoogle.com/explorables/grokking

Большие языковые модели, объясненные с минимумом математики и жаргона

Хотите действительно понять, как работают большие языковые модели? Вот нежная грунтовка. https://www.understandingai.org/p/large-language-models-explained-with

Шаблоны для создания систем и продуктов на основе LLM

Существует большой класс задач, которые легко вообразить и построить для них демоверсии, но чрезвычайно сложно сделать из них продукты. Например, беспилотное вождение: легко продемонстрировать автомобиль, который самостоятельно едет вокруг квартала, но для того, чтобы превратить его в продукт, требуется десятилетие

Эта статья посвящена практическим шаблонам интеграции больших языковых моделей (LLM) в системы и продукты. Мы будем опираться на академические исследования, отраслевые ресурсы и практические ноу-хау и преобразовывать их в ключевые идеи и практики. https://eugeneyan.com/writing/llm-patterns

Кураторский список ссылок для MLOps

https://github.com/visenger/awesome-mlops

Теперь вы можете без особых усилий создавать расширенную видеоаналитику.


Language: Python

💥Stars: 1.3
📝Forks: 96
https://github.com/roboflow/supervision

FastViT: быстрый гибридный преобразователь зрения, использующий структурную репараметризацию

Слияние трансформаторной и сверточной архитектур открыло новую эру повышенной точности и эффективности моделей, и FastViT находится в авангарде этой революции. Эта новая архитектура гибридного преобразователя зрения может похвастаться впечатляющим компромиссом между задержкой и точностью, устанавливая новые стандарты в этой области. Ключом к его успеху является RepMixer, инновационный оператор микширования токенов, который использует структурную репараметризацию для сокращения затрат на доступ к памяти за счет отказа от традиционных пропускных соединений.

С практической точки зрения мастерство FastViT неоспоримо. Он не только в 3,5 раза быстрее, чем CMT на мобильных устройствах для точности ImageNet, но и оставляет позади EfficientNet и ConvNeXt, которые в 4,9 и 1,9 раза быстрее соответственно. Кроме того, в сравнении с MobileOne с аналогичной задержкой FastViT выходит победителем с точностью на 4,2% выше, чем у Top-1. По всему спектру задач, от классификации и обнаружения изображений до сегментации и регрессии 3D-сетки, FastViT неизменно превосходит своих конкурентов, демонстрируя замечательную скорость и устойчивость к образцам, не входящим в дистрибутив, и искажениям.

Ссылка на статью: https://huggingface.co/papers/2303.14189
Ссылка на код: https://github.com/apple/ml-fastvit
Обзор статьи: https://andlukyane.com/blog/paper-review-fastvit

Roboflow только что выпустил новую версию «supervision». Это швейцарский армейский нож с открытым исходным кодом для всего, что касается Computer Vision. Он позволяет реализовать обнаружение, классификацию, сегментацию, аннотирование любого видео. Это новое обновление добавляет расширенную видеоаналитику: трекеры, зоны, аннотаторы и многое другое.
https://github.com/roboflow/supervision

Простая нейронная сеть без библиотек и матриц. Обучение с учителем

Руководство? Гайд? В общем ремейк описания моего опыта создания простой, а главное понятной любому новичку нейросети :) https://habr.com/ru/articles/755096/

Стэнфорд только что выпустил все лекции профессора Кристофера Поттса по курсу Stanford XCS224U: «Понимание естественного языка»


Код: https://github.com/cgpotts/cs224u/
Видео: https://www.youtube.com/playlist?list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp

GigaGAN: крупномасштабная сеть GAN для преобразования текста в изображение

GigaGAN — это GAN с параметрами 1B, которая может масштабироваться в 36 раз больше, чем StyleGAN. Модель от Adobe/CMU доказывает, что GAN можно масштабировать до больших наборов данных и оставаться стабильными.

https://mingukkang.github.io/GigaGAN/

Бесконечное радио создаваемое нейронными сетями. Open-source проект

Привет всем увлеченным нейронными сетями или тем, кто хочет вникнуть в технологии. Сегодня я хотел бы познакомить вас со своим захватывающим проектом с открытым исходным кодом «Бесконечное нейронное радио». Бесконечное, потому что lofi музыка и подкасты могут генерироваться нейронными сетями бесконечно. В этой статье я бы хотел углубиться в то, как все работает изнутри.

Вдохновением для этого проекта послужило для меня разочарование в моем любимом музыкальном приложении. Поскольку со временем приложение стало не удобным для меня, я почувствовал потребность создать что‑то свое с лофи‑музыкой — жанра, который помогает сосредоточиться во время программирования или просто служит расслабляющим фоном в вечернее время. Приложение содержит цитаты, сгенерированные нейронными сетями, в сопровождении GIF‑анимации в пиксельном стиле, которая тоже частино сгенерировано нейронными сетями. Если подкасты вам не по душе, вы можете их отключить и выбрать только нейронную музыку или даже настроиться на радиостанцию, которая уже делается людьми.

Узнать как работаетhttps://habr.com/ru/articles/755788/

StableVideo: текстовое редактирование диффузионного видео с учетом согласованности

Методы на основе диффузии могут генерировать реалистичные изображения и видео, но они затрудняют редактирование существующих объектов в видео, сохраняя при этом их внешний вид с течением времени. Это предотвращает применение моделей распространения для естественного редактирования видео в практических сценариях. В этой статье мы решаем эту проблему, вводя временную зависимость в существующие модели распространения, управляемые текстом, что позволяет им генерировать согласованный внешний вид для редактируемых объектов. https://rese1f.github.io/StableVideo/

Microsoft переносит Python в Excel.

https://www.theverge.com/2023/8/22/23841167/microsoft-excel-python-integration-support

Бесплатный курс Python для науки о данных

https://www.youtube.com/playlist?list=PLeLGx0BaYD6bsy5mfwo0mxONYWfR1VVbO

Квантование наборов данных (DQ) - это новая схема сжатия больших наборов данных в небольшие наборы, которые могут быть использованы для обучения любых нейросетевых архитектур.


🖥 Github: https://github.com/magic-research/dataset_quantization

📕 Статья: https://arxiv.org/abs/2308.10524v1

☑️ Dataset: https://paperswithcode.com/dataset/gsm8k

Понимание автоматической дифференциации в 30 строках Python

Я инженер по машинному обучению и использую в своей работе такие библиотеки, как Tensorflow и Pytorch, для обучения нейронных сетей. И я давно не хотел написать простейший фрагмент кода для выполнения так называемого автоматического дифференцирования , которое лежит в основе обучения нейронных сетей. https://vmartin.fr/understanding-automatic-differentiation-in-30-lines-of-python.html?utm_source=substack&utm_medium=email

Сможет ли Python пережить это? Компания Modular, стоящая за Mojo, только что собрала 100 миллионов долларов на исправление инфраструктуры искусственного интеллекта для разработчиков. Это много денег! Mojo — это язык программирования для разработчиков искусственного интеллекта, который в 35 000 раз быстрее Python https://venturebeat.com/ai/modular-looks-to-boost-ai-mojo-with-100m-funding-raise/

Как построить большую языковую модель с нуля, используя Python

https://www.freecodecamp.org/news/how-to-build-a-large-language-model-from-scratch-using-python/