Как определить, является ли модель ИИ моделью общего назначения?

На прошлой неделе Еврокомиссия утвердила Руководство по определению объёма требований к поставщикам моделей ИИ общего назначения. Документ носит необязательный характер, однако отражает официальную позицию Комиссии в части толкования и применения положений Главы V Регламента ЕС по ИИ.

Одним из ключевых вопросов документа стали тонкости разграничения моделей ИИ:

- как отличить модели ИИ общего назначения (GPAI) от всех остальных;

- какие из моделей GPAI попадают в группу GPAI моделей, представляющих системные риски (GPAISR). Для их поставщиков предусмотрены дополнительные требования.

Определены два основных критерия:

- объём обучающих вычислений (training compute). Для GPAI моделей установлен порог – 10^23 FLOP, а для GPAISR моделей – 10^25 FLOP;

- способность компетентно выполнять широкий спектр задач. В качестве ориентира – способность генерировать язык (текст или речь), изображения или видео. Такие модели, как правило, являются мультимодальными.

Если модель не соответствует хотя бы одному из этих критериев, она, как правило, не считается GPAI. Однако возможны исключения – например, для меньших моделей, но с большими способностями.

Как считать training compute?

Метод подсчёта зависит от цели:

- для всех GPAI моделей считается общий объём вычислений, непосредственно использованных для обновления параметров модели (непосредственно обучение и файнтюнинг);

- для определения GPAISR моделей считается совокупный объём вычислений, затраченных на обучение модели (весь обучающий процесс: претрейнинг и посттрейнинг).

Существует два подхода к оценке объёма compute:
Всего есть два подхода подсчета компьюта:

Аппаратный подход (оценка по инфраструктуре):

Формула: 𝐶 = 𝑁 × 𝐿 × 𝐻 × 𝑈

𝑁 – количество задействованных графических процессоров (или других аппаратных ускорителей);

𝐿 – продолжительность использования в секундах;

𝐻 – пиковая теоретическая производительность оборудования (в FLOP/сек), при необходимости — как средневзвешенное;

𝑈 – средний процент загрузки оборудования (также может рассчитываться как средневзвешенный, если использовались разные типы устройств).

Архитектурный подход (оценка по архитектуре модели):

Формула: 𝐶 ≈ 6 × 𝑃 × 𝐷

𝑃 – общее количество параметров модели;

𝐷 – количество токенов, использованных для обучения.

Поставщики вправе использовать любой метод для оценки соответствующего объёма обучающих вычислений, при условии что, по их обоснованному мнению, оценка является точной с допустимой общей погрешностью не более 30% от заявленного значения. Эта допущенная погрешность предназначена для учёта возможных затруднений в получении точных данных о совокупных обучающих вычислениях модели.

А еще напоминаю: завтра я провожу мастер-класс по GPAI моделям, где обсудим ещё больше интересных тонкостей 🐱.

Друзья, мастер-класс стартует уже через пару часов. Буду рад со всеми пообщаться, приходите 🤩