10 бесплатных ресурсов для обучения обработке естественного языка
Обработка естественного языка, или Natural Language Processing, позволяет программе извлекать смысл из текстовых данных, а также анализировать их. Например, без обработки естественного языка современные голосовые помощники с трудом бы понимали наши вопросы и просьбы, но это не единственное применение данной технологии.
В этой подборке вы найдёте несколько ресурсов, которые помогут вам бесплатно разобраться в NLP:
https://tprg.ru/kWfd
#nlp
Обработка естественного языка, или Natural Language Processing, позволяет программе извлекать смысл из текстовых данных, а также анализировать их. Например, без обработки естественного языка современные голосовые помощники с трудом бы понимали наши вопросы и просьбы, но это не единственное применение данной технологии.
В этой подборке вы найдёте несколько ресурсов, которые помогут вам бесплатно разобраться в NLP:
https://tprg.ru/kWfd
#nlp
Нейрозапятые, или как оставить редакторов без работы
Какой главный недостаток многих систем распознавания речи? То, что они распознавать-то распознают, а вот со знаками препинания у них проблемы. Большинство систем их просто игнорирует, пока не произнесёшь их явно.
В этой статье автор рассказал, как в его компании создали нейросеть, которая научилась правильно расставлять знаки препинания в тексте. Рассказано подробно и интересно, поэтому не поленитесь почитать:
https://tprg.ru/UtOQ
#ml #nlp
Какой главный недостаток многих систем распознавания речи? То, что они распознавать-то распознают, а вот со знаками препинания у них проблемы. Большинство систем их просто игнорирует, пока не произнесёшь их явно.
В этой статье автор рассказал, как в его компании создали нейросеть, которая научилась правильно расставлять знаки препинания в тексте. Рассказано подробно и интересно, поэтому не поленитесь почитать:
https://tprg.ru/UtOQ
#ml #nlp
Извлечение троих: Как найти пасхалки в книгах Стивена Кинга с помощью NLP алгоритмов
Фанаты Стивена Кинга на месте? Эта статья вам особенно понравится. Но и другим подписчикам тоже будет интересно.
Книги Стивена Кинга наполнены различными пасхалками и персонажами, которые появляются в разных, даже не связанных друг с другом произведениях. У Кинга нечто вроде своей собственной мультивселенной, строящейся вокруг цикла романов про Тёмную Башню. Поэтому, читающие его произведения люди, могут не заметить множество мелких, но интересных деталей, собирающих всё воедино.
Автор этой статьи решила найти как можно больше пасхалок, используя NLP и Python, и вот, что из этого получилось:
https://tprg.ru/ZwVO
#nlp #ml
Фанаты Стивена Кинга на месте? Эта статья вам особенно понравится. Но и другим подписчикам тоже будет интересно.
Книги Стивена Кинга наполнены различными пасхалками и персонажами, которые появляются в разных, даже не связанных друг с другом произведениях. У Кинга нечто вроде своей собственной мультивселенной, строящейся вокруг цикла романов про Тёмную Башню. Поэтому, читающие его произведения люди, могут не заметить множество мелких, но интересных деталей, собирающих всё воедино.
Автор этой статьи решила найти как можно больше пасхалок, используя NLP и Python, и вот, что из этого получилось:
https://tprg.ru/ZwVO
#nlp #ml
Бесплатный курс по NLP
В данном курсе вы можете научиться обработке естественного языка с помощью библиотек из экосистемы Hugging Face. Проходить курс с Pytorch или TensorFlow — решать вам, оба варианта абсолютно бесплатны.
Начать можно тут:
https://tprg.ru/BcHx
#nlp
В данном курсе вы можете научиться обработке естественного языка с помощью библиотек из экосистемы Hugging Face. Проходить курс с Pytorch или TensorFlow — решать вам, оба варианта абсолютно бесплатны.
Начать можно тут:
https://tprg.ru/BcHx
#nlp
Расставляем ударения с помощью Natasha и Spacy
В этой статье используется natasha-spacy — русскоязычная версия Spacy, которая позволяет проводить морфологический анализ текста. С помощью неё автор старается правильно определить ударения в словах в зависимости от контекста их применения.
Подробнее:
https://tprg.ru/XbqP
#nlp #ml
В этой статье используется natasha-spacy — русскоязычная версия Spacy, которая позволяет проводить морфологический анализ текста. С помощью неё автор старается правильно определить ударения в словах в зависимости от контекста их применения.
Подробнее:
https://tprg.ru/XbqP
#nlp #ml
Работаем с текстами на Python: кодировки, нормализация, чистка
Мы уже неоднократно делились материалами по изучению и работе с NLP, поэтому многие из вас знают, что это такое, а также как это работает и зачем. На этот раз предлагаем вам окунуться глубже и разобраться в таких тонкостях при работе с текстом, как кодировка, байты и их обработка:
https://tprg.ru/DBsQ
#ml #nlp
Мы уже неоднократно делились материалами по изучению и работе с NLP, поэтому многие из вас знают, что это такое, а также как это работает и зачем. На этот раз предлагаем вам окунуться глубже и разобраться в таких тонкостях при работе с текстом, как кодировка, байты и их обработка:
https://tprg.ru/DBsQ
#ml #nlp
Ваш путеводитель по обработке естественного языка (NLP)
Заставить машину понимать и анализировать речь или текст — задача крайне не тривиальная. Ещё более нетривиальная задача — заставить машину, выполнив анализ речи, дать осмысленный ответ. Эти задачи решает NLP. Часто такие задачи выполняют с помощью Python. Как это работает и почему — читайте в этой статье:
https://tprg.ru/TubI
#nlp
Заставить машину понимать и анализировать речь или текст — задача крайне не тривиальная. Ещё более нетривиальная задача — заставить машину, выполнив анализ речи, дать осмысленный ответ. Эти задачи решает NLP. Часто такие задачи выполняют с помощью Python. Как это работает и почему — читайте в этой статье:
https://tprg.ru/TubI
#nlp
«Я уеду жить в Лейнвуд». Создаём новые слова при помощи GPT
Весёлый проект, который не несёт особой смысловой нагрузки, но позволяет развлечься, создав новые слова и названия, которые вы не отличите от существующих. Автор использовал для это NLP и скрипт makemore.
Здесь вы найдёте как результаты работы проекта, так и инструкцию по самостоятельному запуску:
https://habr.com/ru/post/672434/
#nlp #ml
Весёлый проект, который не несёт особой смысловой нагрузки, но позволяет развлечься, создав новые слова и названия, которые вы не отличите от существующих. Автор использовал для это NLP и скрипт makemore.
Здесь вы найдёте как результаты работы проекта, так и инструкцию по самостоятельному запуску:
https://habr.com/ru/post/672434/
#nlp #ml
👍7
Что такое тезаурус и как определить семантическое сходство слов
Чтобы сделать чат-бота или голосового помощника более человечным, необходимо научить его определять и использовать семантическое сходство слов. Ведь одну и ту же мысль можно выразить разными словами, схожими по смысле в определённом контексте.
Как научить компьютер понимать, где слова схожи по смыслу, а где — нет, узнаете в этой статье:
https://habr.com/ru/company/unistar_digital/blog/687148/
#nlp
Чтобы сделать чат-бота или голосового помощника более человечным, необходимо научить его определять и использовать семантическое сходство слов. Ведь одну и ту же мысль можно выразить разными словами, схожими по смысле в определённом контексте.
Как научить компьютер понимать, где слова схожи по смыслу, а где — нет, узнаете в этой статье:
https://habr.com/ru/company/unistar_digital/blog/687148/
#nlp
👍6🤔2😁1
Введение в библиотеку Transformers и платформу Hugging Face
Платформа Hugging Face — это коллекция готовых современных предварительно обученных Deep Learning моделей. А библиотека Transformers предоставляет инструменты и интерфейсы для их простой загрузки и использования.
Эта статья поможет вам познакомиться с этими двумя инструментами, которые помогают решать задачи компьютерного зрения, NLP и других направлений машинного обучения:
[https://habr.com/ru/post/704592/
#ml #nlp
Платформа Hugging Face — это коллекция готовых современных предварительно обученных Deep Learning моделей. А библиотека Transformers предоставляет инструменты и интерфейсы для их простой загрузки и использования.
Эта статья поможет вам познакомиться с этими двумя инструментами, которые помогают решать задачи компьютерного зрения, NLP и других направлений машинного обучения:
[https://habr.com/ru/post/704592/
#ml #nlp
👍4
Как разбить текст на абзацы с помощью Python
В этой статье будет представлен подход, использованный в проекте, посвящённом реферированию подкастов. Корректное реферирование текста всегда начинается с разделения его на смысловые части — абзацы. Делать вы это будете, разумеется, с помощью обработки естественного языка.
Подробнее:
https://nuancesprog.ru/p/16558/
#nlp
В этой статье будет представлен подход, использованный в проекте, посвящённом реферированию подкастов. Корректное реферирование текста всегда начинается с разделения его на смысловые части — абзацы. Делать вы это будете, разумеется, с помощью обработки естественного языка.
Подробнее:
https://nuancesprog.ru/p/16558/
#nlp
👍4