​10 лет исследований НЛП, объяснённых в 50 концепциях

Это видео — настоящая сокровищница знаний для всех, кто интересуется нейронными сетями и обработкой естественного языка.

В доступной форме рассказываются ключевые концепции NLP: от базовых идей типа токенизации и векторных представлений слов до революционных архитектур вроде RNN, Seq2Seq, Transformer и таких моделей, как BERT, GPT, XLNet.

Помимо этого, вы узнаете о проблемах, с которыми сталкивался автор и как современные модели их преодолевают.

#видео #nlp

​Как научить Transformer обрабатывать длинные тексты

Если вы давно ищете методы обработки длинных входных последовательностей с использованием архитектуры Transformer, то эта статья предоставит вам необходимую информацию. В ней рассматриваются подходы к ускорению self-attention, такие как — приближенное вычисление внимания, иерархическая обработка последовательности и внедрение рекуррентности.

Статья содержит обзор таких моделей, как Transformer-XL, Sparse Transformer, Reformer, Longformer, а также другие. Внимательно анализируются их особенности, при этом особое внимание уделяется FlashAttention — одному из наиболее эффективных методов оптимизации работы моделей Transformer.

#статья #nlp

​Погружаемся в мир рекуррентных нейронных сетей

Ключевым преимуществом RNN по сравнению с обычными нейросетями является их способность анализировать последовательные данные с учётом контекста. Это открывает широкие возможности для применения в таких сферах, как обработка естественного языка.

В прикреплённой ниже лекции вы узнаете о них чуть лучше. Ведущая хорошо объясняет принцип устройства рекуррентного слоя и рекуррентной нейронной сети, а также процесс обработки данных такими сетями (forward pass).

#лекция #rnn #nlp

«Обработка естественного языка в действии»

Аврам Линкольн говорил: «Мой лучший друг — это человек, который даст мне книгу, что я не читал». А если вы, как и Линкольн, цените литературу и ищете полезный источник знаний по NLP, то вы нашли, что искали.

Книга содержит полный набор инструментов и методов для создания приложений в этой области: виртуальных помощников (чат-ботов), спам-фильтров, анализаторов тональности и многого другого.
 
Материал рассчитан на Python-разработчиков среднего и высокого уровня. Но даже экспертам в проектировании сложных систем она будет полезна.

#почитать #nlp #python

Как говорится, дообучение моделей — свет, а неученье — тьма

Как вы уже догадались, сегодня мы обсудим тему дообучения, и данное видео поможет более глубоко погрузиться в этот вопрос.

В ролике автор демонстрирует процесс файн-тюнинга модели BART для решения задачи суммаризации текста. Главная цель — познакомить зрителей с популярными библиотеками в области обработки естественного языка (NLP) и показать, как это можно делать максимально эффективно, затрачивая минимум усилий при написании кода.

#позалипать #nlp #дообучение

​​Методы позиционного кодирования в Transformer
 
Методы позиционного кодирования — ключевой элемент Transformer для анализа длинных текстов. Как правило, в отличие от RNN, эта архитектура обрабатывает входные векторы одновременно, и без дополнительной информации о позиции каждого токена будет рассматривать последовательность подобно «мешку со словами».
 
В данной статье вы найдёте основные подходы, описанные в научных работах и применяемые в известных языковых моделях.

#nlp #transformer #deeplearning

Mixtral 8x7B: эксперт в мире открытых LLM

Компания Mistral AI в преддверии Нового года представила открытую языковую модель — Mixtral 8x7B с контекстом в 32 тысячи токенов.

Эта модель основана на архитектуре «sparse mixture of experts» (SMoE), где одна большая сеть разбита на 8 меньших подсетей-экспертов. Для каждого входного токена динамически выбираются нужный эксперт. Благодаря такому подходу, Mixtral 8x7B, содержащая 47 млрд параметров, работает с той же скоростью, что и LLaMa 7B с 7 млрд параметров.

По результатам тестов модель показала впечатляющие 8.3 балла из 10 на бенчмарке MT-bench, что сопостовимо с GPT-3.5. При этом доступ к API стоит всего $2 за миллион токенов.

Видеообзор и тесты | Разбор архитектуры | HuggingFace

#llm #nlp

«Грокаем глубокое обучение»

Эта книга послужит отличным стартом для новичков в области Deep Learning. Материалы содержат всю базовую информацию, необходимую для понимания ключевых концепций и избежания типичных ошибок в начале пути. Автор доступно объясняет сложные темы, позволяя эффективно осваивать глубокое обучение. 

Описание:
«Грокаем глубокое обучение» научит вас создавать нейронные сети с нуля! Эндрю Траск подробно рассказывает обо всех аспектах и тонкостях этой непростой задачи. С использованием Python и библиотеки NumPy ваши нейронные сети смогут обрабатывать изображения, распознавать их, переводить тексты на все языки мира и даже создавать тексты не хуже Шекспира!

#почитать #deeplearning #nlp

Какие технологии самые востребованные в 2024 году?

Ответ можно найти в этой карте. Её авторы отобрали самых активных ML-разработчиков на Stack Overflow, отсортировали и подсчитали все их запросы и теги.

В результате получилась карта технических навыков, которые разработчики регулярно используют в своей работе. Размер навыка соответствует количеству связанных с ним запросов. Чем ближе два навыка на карте, тем чаще они встречаются в похожих контекстах.

Помимо этого, при нажатии на навык можно получить его описание, альтернативы и динамику интереса.

#ml #nlp #cv

Токенизация в NLP: тонкости и особенности
 
Андрей Карпати, в прошлом ведущий инженер OpenAI и разработчик автопилота Tesla, выпустил новое видео на своём YouTube-канале, в котором подробно рассказал о процессе токенизации. Кроме того, он продемонстрировал пример реализации Tokenizer'а, используемого в серии моделей GPT от OpenAI. Материал, нескучный и очень наглядный, поэтому бежим и смотрим!

Репозиторий с объяснениями кода: https://github.com/karpathy/minbpe
 
#llm #nlp

У всех в IT был индус, который их чему-то научил
 
А если вы ещё не нашли такого, то не расстраивайтесь, у нас есть отличный вариант. Дело в том, что FreeCodeCamp выпустил полноценный 30-часовой курс по генеративному искусственному интеллекту.
 
В нём под руководством трёх замечательных спикеров вы с головой окунётесь в мир генеративок, узнаете о библиотеках, структурах моделей и других аспектах, лежащих в основе ИИ. И конечно же, будете применять эти знания в реальных проектах: от чат-ботов до продвинутых приложений.

@neuro_channel #ai #nlp