Большие языковые модели, объясненные с минимумом математики и жаргона

Цель этой статьи — сделать большой объем знаний доступным для широкой аудитории. Мы постараемся объяснить, что известно о внутренней работе этих моделей, не прибегая к техническому жаргону или сложной математике. https://www.understandingai.org/p/large-language-models-explained-with

7 фреймворков для обслуживания LLM

Подробное сравнение https://betterprogramming.pub/frameworks-for-serving-llms-60b7f7b23407

Это видео содержит пошаговую реализацию обучающего набора данных распознавания эмоций или выражения лица с использованием Tensorflow-Keras API.

(00:00:00) Концепции
(00:23:01) Установка
(00:30:52) Реализация
(1:15:08) Демонстрация Live Webcam

https://www.youtube.com/watch?v=avv9GQ3b6Qg&t=40s

Матричное исчисление, необходимое для глубокого обучения

Эта статья представляет собой попытку объяснить все матричное исчисление, необходимое для понимания обучения глубоких нейронных сетей. https://explained.ai/matrix-calculus/

Прогнозирование: принципы и практика (3-е изд.) https://otexts.com/fpp3/

IBM предлагает БЕСПЛАТНЫЙ курс Deep Learning with Python и PyTorch!
Этот курс является второй частью курса из двух частей о том, как разрабатывать модели глубокого обучения с использованием Pytorch. https://www.edx.org/course/deep-learning-with-python-and-pytorch

Набор инструментов с открытым исходным кодом для разработки LLM

🚀LLaMA2-Accessory — это набор инструментов с открытым исходным кодом для предварительного обучения, тонкой настройки и развертывания больших языковых моделей (LLM) и мультимодальных LLM . https://github.com/Alpha-VLLM/LLaMA2-Accessory

Шаблоны для создания систем и продуктов на основе LLM

Этот пост посвящен практическим шаблонам интеграции больших языковых моделей (LLM) в системы и продукты. Мы будем опираться на академические исследования, отраслевые ресурсы и ноу-хау практиков и пытаться превратить их в ключевые идеи и практики. https://eugeneyan.com/writing/llm-patterns/

[Перевод] Как сделать контекстное окно на 100K в большой языковой модели: обо всех фокусах в одном посте.

В статье рассмотрены приёмы, позволяющие ускорить обучение больших языковых моделей (LLM) и нарастить в них логический вывод. Для этого нужно использовать большое контекстное окно, в котором умещается до 100K входных токенов. Вот эти приёмы: ALiBi с подмешиванием в вектор позиции слова в последовательности (positional embedding), разреженное внимание (Sparse Attention), мгновенное внимание (Flash Attention),  многозапросное внимание, условные вычисления и GPU A100 на 80 ГБ.  

Читать далее https://habr.com/ru/articles/752062/

Откройте секреты выбора идеального алгоритма машинного обучения!

При работе над проблемой науки о данных одним из наиболее важных решений является выбор подходящего алгоритма машинного обучения. https://www.kdnuggets.com/2023/07/ml-algorithm-choose.html

Тщательно подобранный список потрясающих инструментов MLOps


Language: Python

💥Stars: 2754
📝Forks: 429
https://github.com/kelvins/awesome-mlops

[Перевод] OnnxStream: минимизация потребления памяти при генерации изображений.

Задача — запустить Stable Diffusion, включающую большую трансформирующую модель c почти 1 миллиардом параметров, на Raspberry Pi Zero 2 с 512 МБ RAM, не добавляя дополнительного пространства подкачки и не выгружая промежуточные результаты на диск. Рекомендуемый минимальный объём RAM/VRAM для Stable Diffusion составляет 8 ГБ. Читать дальше →https://habr.com/ru/companies/ruvds/articles/751912/

Начните использовать конвейеры. Это самый простой способ в 10 раз увеличить настройки машинного обучения. Идея конвейеров существует уже давно, но многие люди игнорируют их или думают, что они только помогают сделать ваш код более читабельным. Они гораздо больше, чем это. Конвейер — это независимая последовательность шагов, организованная для автоматизации процесса. Одним из основных преимуществ использования одного из них является возможность повторного использования процесса на разных этапах и с разными наборами данных. Вы должны создать конвейер для преобразования набора данных в начале проекта. Вы можете повторно использовать один и тот же конвейер для преобразования производственных данных, прежде чем запускать их через модель. Отсутствие конвейера — это немедленный красный флаг и признак того, что вы, в лучшем случае, дублируете код или, что еще хуже, преобразовываете производственные данные иначе, чем обучающий набор данных.

В попытке решить проблему задержки генерации больших языковых моделей (LLM) был разработан новый подход Skeleton-of-Thought (SoT). Мотивированный человеческим мышлением и процессом написания текста, SoT направляет LLM сначала на генерацию "скелета" ответа, а затем параллельно заполняет его содержанием. В результате достигается поразительное ускорение до 2,39 раза для 11 различных LLM без потери целостности последовательного декодирования.

Отличительной особенностью SoT является ее потенциал повышения качества ответов с точки зрения разнообразия и релевантности, что проливает свет на интересное направление развития ИИ. Как первая попытка оптимизации, ориентированной на данные, для повышения эффективности, SoT демонстрирует увлекательную возможность появления машин, которые могут мыслить как люди.

Ссылка на документ: https://arxiv.org/abs/2307.15337

Подробный обзор статьи:
https://andlukyane.com/blog/paper-review-sot

Создание deepfake видео и синтез речи open-source проект Wunjo AI.

Привет, мир!

Я бы хотел рассказать о своем open-source проекте Wunjo AI с открытым исходным кодом, который позволит вам создавать дипфейк видео и синтезировать речь из текста у себя на компьютере. В этом посте я постараюсь познакомить вас с возможностями Wunjo AI и пригласить вас поддержать проект на GitHub.

Познакомимся подробнееhttps://habr.com/ru/articles/752910

130 хитростей и ресурсов по ML, тщательно отобранных за 3 года (плюс бесплатная электронная книга)

В науке о данных и машинном обучении есть два типа трюков: редкие и очень крутые. Они предназначены для привлечения вашего внимания, но в конечном итоге вы никогда не будете их использовать , потому что их варианты использования слишком узки. Подумайте об этих однострочниках Python, которые ужасны с точки зрения удобочитаемости.

Во второй категории есть приемы редкие, крутые и настолько полезные , что вы сразу начнете использовать их в своей работе.

За три года своего путешествия в области данных я собрал более 100 приемов и ресурсов, подпадающих под вторую категорию (иногда могут быть небольшие совпадения с первой категорией), и собрал их в онлайн-книгу — Tricking Data Science .

https://towardsdatascience.com/130-ml-tricks-and-resources-curated-carefully-from-3-years-plus-free-ebook-7832ca4a37ef

Все алгоритмы реализованы на Python. 🤯

У этой библиотеки 163 тысячи звезд на GitHub! Он включает в себя массу алгоритмов от арифметического анализа до блокчейна и структур данных. https://github.com/TheAlgorithms/Python/blob/master/DIRECTORY.md

Модели ML запоминают или обобщают?

В 2021 году исследователи обнаружили «гроккинг», когда крошечные модели внезапно переходят от запоминания к обобщению невидимых входных данных. В этой интерактивной статье исследуется этот феномен и развивающаяся область механистической интерпретируемости, пытаясь понять, обобщают ли большие языковые модели или просто запоминают. https://pair.withgoogle.com/explorables/grokking

Большие языковые модели, объясненные с минимумом математики и жаргона

Хотите действительно понять, как работают большие языковые модели? Вот нежная грунтовка. https://www.understandingai.org/p/large-language-models-explained-with

Шаблоны для создания систем и продуктов на основе LLM

Существует большой класс задач, которые легко вообразить и построить для них демоверсии, но чрезвычайно сложно сделать из них продукты. Например, беспилотное вождение: легко продемонстрировать автомобиль, который самостоятельно едет вокруг квартала, но для того, чтобы превратить его в продукт, требуется десятилетие

Эта статья посвящена практическим шаблонам интеграции больших языковых моделей (LLM) в системы и продукты. Мы будем опираться на академические исследования, отраслевые ресурсы и практические ноу-хау и преобразовывать их в ключевые идеи и практики. https://eugeneyan.com/writing/llm-patterns

Кураторский список ссылок для MLOps

https://github.com/visenger/awesome-mlops

Теперь вы можете без особых усилий создавать расширенную видеоаналитику.


Language: Python

💥Stars: 1.3
📝Forks: 96
https://github.com/roboflow/supervision