👾 Чем KAN отличается от MLP?

Недавно исследователи из MIT выпустили статью с описанием альтернативы многослойному перцептрону (MLP). Её назвали KAN — Kolmogorov-Arnold Networks.

Идея, которая лежит в основе новой архитектуры, простая — давайте попробуем переместить функции активации с нейронов на рёбра нейросети. Но что это означает?

✅ Для начала давайте вспомним, как вообще работает MLP. Такой сети подаются входы — ваши данные — а она делает выходы, то есть какие-то целевые значения. В процессе обучения нейросеть пытается найти функцию, обобщающую связь между входами и выходами. В классическом многослойном перцептроне поиск функции идёт на линейных слоях, где входы умножаются на веса ребёр. В каждом нейроне также находится функция активации, которая определяет выход нейрона на основе суммированного взвешенного входа. 

MLP полагается на теорему Цыбенко, которая доказывает, что нейросеть может аппроксимировать любую непрерывную функцию. KAN же полагается на другую теорему — Колмогорова-Арнольда.

🪅 Эта теорема доказывает, что аппроксимация непрерывной ограниченной функции от множества переменных сводится к нахождению полиномиального числа одномерных функций. Так, если в MLP функции активации статические и необучаемые, то в KAN они перемещаются на рёбра и могут адаптироваться в процессе обучения, действуя как веса и функции активации одновременно.

❤ Исследователи утверждают, что KAN нужно меньше нейронов, чтобы достичь точности MLP. Кроме того, такие сети более интерпретируемы.