💬 Группа энтузиастов из EleutherAI представила языковую модель GPT-NeoX-20B с 20 млрд параметров. 9 февраля 2022 года ее выпустят в открытый доступ.

Нейросеть обучена с использованием фреймворка GPT-NeoX на графических процессорах компании CoreWeave. Разработчики заявили, что GPT-NeoX-20B является крупнейшей общедоступной предобученной авторегрессионной языковой моделью общего назначения.

🔎 По данным EleutherAI, алгоритм выдает высокие показатели при решении тестовых задач по сравнению с аналогичными нейросетями. GPT-NeoX-20B достигла 71,98% точности на датасете LAMBADA, уступив только модификации GPT-3 DaVinci от OpenAI с 75,16% точности.

#EleutherAI #разработка

🔎 EleutherAI создала независимый некоммерческий исследовательский институт для изучения и разработки ИИ с открытым исходным кодом.

Организация финансируется за счет пожертвований и грантов спонсоров, среди которых бывший глава GitHub Нэт Фридман, Stability AI, Hugging Face, Canva и Lambda Labs.

#EleutherAI