Microsoft Research анонсировала инновационные языковые модели Phi-2
Microsoft Research представила новое поколение языковых моделей серии Phi.
Модель Phi-1, с параметрами в 1.3 млрд., показала отличные результаты в программировании на Python.
Phi-1.5, имея такое же число параметров, соперничает с моделями, параметры которых превышают ее в 5 раз.
Phi-2 с 2.7 млрд. параметров решает сложные задачи, опережая модели в 25 раз крупнее ее.
Инновации в масштабировании и курировании данных сильно улучшили производительность Phi-2.
14 дней на 96 GPU потребовалось для обучения Phi-2.
По сравнению с открытыми моделями, Phi-2 лучше справляется с токсичностью и предвзятостью.
Превзошла модели Mistral и Llama-2, обходит Google Gemini Nano 2, несмотря на меньший размер.
Тестирование Phi-2 проходило с использованием внутренних сетов данных и задач от Microsoft.

Эволюция в сторону уменьшения размера при повышении качества - выглядит многообещающе.

#MicrosoftResearch #Phi2 #AI