📜Интересная статья от Григория Сапунова про интерпретируемость языковых моделей/нейросетей.

Содержит ссылки на другие интересные работы и идеи/подходы/примеры.

И Colab Notebook к статье.

Сохраню здесь чтобы не потерять.

Пока у меня не получилось механистически объяснить/интерпретировать, что делают отдельные головы внимания на различных слоях в сравнительно маленьких моделях BERT. Попробую теперь еще подходы из developmental interpretability - в отличии от mechanistic interpretability здесь фокус на том, как меняются структуры в модели по мере ее обучения.

P.S. А на анимации к посту просто 96 разноцветных нитей прикреплены снаружи к неподвижной раме, а внутри — к шару. Шар постоянно вращается в одном направлении, но нити никогда не запутываются. Они возвращаются к исходной конфигурации, когда шар поворачивается на 720 градусов.

#Interpretability #MechInterp #DevInterp #PureMath

🎥 Начинаем выкладывать по маленьким кусочкам записи стрима от 11 мая — "Complexity Theory meets Neuroscience".

Если пропустили в прямом эфире или хотите пересмотреть отдельные моменты — самое время!

Самое начало стрима 👆👆👆

Stay tuned 🧠⚡

#LiveStream #PureMath #AppliedMath #Complexity #Neurscience