👯 СБЕР ПРЕДСТАВИЛ НОВУЮ ВЕРСИЮ НЕЙРОСЕТИ GPT-3

Намедни выкатили версию нейросети GPT-3, способную генерировать тексты на 61 языке мира.

#SberDevices представила многоязычную версию нейросети GPT-3. Модель получила название mGPT, она способна генерировать тексты на 61 языке мира, в том числе народов России и стран СНГ.

mGPT - первая в мире генеративная модель, поддерживающая такое количество языков.

В доступе есть две версии модели:
• Базовая - насчитывает 1,3 миллиарда параметров. Такая версия опубликована в "облаке" - доступна на "Сбердиске".
• Расширенная - насчитывает 13 миллиардов параметров, совсем скоро она будет доступна на платформе машинного обучения ML Space от SberCloud.

Модель mGPT может быть использована как для генерации текста, так и для решения задач по обработке естественного языка на одном из поддерживаемых языков - система может дообучить или быть в составе ансамблей моделей. 

Модель показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу. Это может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и т. п. Модель может также использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи, генерации сценариев диалоговых систем и так далее. 

#школамоделей

Источник

Прямая речь Tatiana Shavrina - создательницы данного командного проекта:

"Вместе с командой AGI NLP выпустили mGPT:
GPT-3 на 61 языке мира

mGPT: Few-Shot Learners Go Multilingual

- Модель HuggningFace
- Репа
- Google Colab с примерами генерации, тюнинга
- Arxiv: подробнее о всей процедуре оценки и обучении"

https://habr.com/ru/post/662195/

***