Техножрица 👩‍💻👩‍🏫👩‍🔧

Forwarded from DLStories

Статья с ICLR 2023: Кривизна внутреннего представления данных в vision моделях является хорошим показателем робастности моделей

Звучит, наверное, страшно и непонятно, но на самом деле все очень просто. Давайте по порядку. Для начала, что такое "кривизна внутреннего представления":

В двух словах — это то, насколько сильно отличаются между собой внутренние представления (эмбеддинги) модели для последовательных кадров видео.

Считается кривизна так: берем vision модель. Например, ResNet18. Берем видео. Например, мультик про Чебурашку. Подаем кадры видео один за одним в модель, получаем эмбеддинг для каждого кадра. Обозначим эти эмбеддинги как {x_t}. Теперь вычисляем разность между парами последовательных эмбеддингов: v_t = x_t - x_{t-1}. Получаем последовательность {v_t}. Теперь вычисляем косинусную близость между последовательными векторами v_{t-1} и v_t. Среднее значение косинусной близости между всеми парами последовательных векторов v_{t-1} и v_t и будет значением кривизны внутреннего представления данных для нашей модели.

Было показано, что у людей внутренние представления картинок, получаемые из органов зрения, имеют меньшую кривизну, чем сами эти картинки (если считать кривизну между пиксельными представлениями картинок). То есть, представление потока картинок как бы "выпрямляется" у нас в голове, становится более стабильным во времени. Кажется, это свойство может иметь что-то общее с генерализуемостью и робастностью моделей для классификации. Типа, стабильность внутренних представлений модели во времени говорит о том, что эти представления довольно общие и хорошо генерализуемые.

Эксперименты показывают, что смысл в этом действительно есть. В целом, чем кривизна меньше, тем выше робастность модели. Вот какие выводы получились по итогам экспериментов:
- CNN модели, обученные с помощью adversarial training, имеют меньшую кривизну, чем те же модели без adversarial training;
- кривизна self-supervised ViT (DINO-v1) меньше, чем кривизна supervised ViT. Возможно, это говорит о том, что self-supervised обучение позволяет выучивать более робастные и общие представления, чем supervised обучение (но тут, имхо, надо больше экспериментов);
- У модели, в устройстве которых используются идеи из биологии (biologically-inspired models), внутренние представления оказываются более "выпрямленными". Причем чем глубже слой сети, тем меньше становится кривизна эмбеддингов. Прям как у людей.
Однако у одной из таких моделей (VOneNet) кривизна перестает уменьшаться начиная с некоторой глубины слоя. При этом эта нейросеть довольно робастна к состязательным атакам. Это означает, что нельзя отождествлять кривизну внутреннего представления с робастностью модели. Т.е. из того, что модель робастна, не обязательно следует, что ее внутренние представления будут стабильны.

В общем, кажется, кривизна внутренних представлений модели может быть одним из показателей робастности и генерализуемости этой модели. Но, кажется, further research is needed, чтобы лучше понять связь кривизны с качеством vision моделей.

📄 Статья

👍17❤6🔥1🖕1

1.36K views14:12