А тут показано изменение свободного члена (intercept) линейной регрессии при разных p и q, картинка немного шумная, т.к. процесс оптимизации носит случайный характер.

Выбросы — это точки, которые не следуют общей тенденции, какой бы она ни была. Что считать тенденцией зависит от задачи, но поиск таких точек в многомерном пространстве часто сводится к применению Isolation Forest, Local Outlier Factor, KNN или DBSCAN. Сюда же можно добавить дешевый и эффективный PCA, смысл использования которого, в том, что чем больше требуется компонент для восстановления точки из сжатого представления в исходное с заданной точностью, тем более аномальной является точка (классический PCA чувствителен к выбросам, поэтому лучше взять его устойчивые аналоги - robust PCA). В предыдущем посте я брал датасет англоязычных песен на Spotify за 5 лет, тут воспользовался им снова. По музыкальным характеристикам треков оценил минимально количество компонент PCA для реконструкции фичей каждого трека с фиксированной погрешностью, и усреднил их количество по каждому исполнителю. Также усреднил популярность.

На вершине популярности Adele, Black Eyed Peas (хотя последние пару лет про них не слышно) и конечно Taylor Swift. Композиции Adele по своим музыкальным характеристикам гораздо аномальнее и заметнее чем у Black Eyed Peas или Taylor Swift, которые расположены левее. В правой части графика диджеи и композиторы (например Ramin Djawadi: «Железный человек», «Игра престолов», «Проблема трёх тел» и т.д.), чьи треки заметно отличаются от популярной музыки. Среди известных артистов заметна небольшая тенденция - чем популярнее исполнитель, тем сложнее отличить его треки от всех остальных (что из этого причина, а что следствие не известно).

Если нужна корреляция между бинарной и непрерывной переменными, часто используют Point Biserial коэффициент (то же, что корреляция Пирсона), но на stackexchange кто-то предложил попробовать для этого ROCAUC, я попробовал и это выглядит круто. Суть: последовательно перебираем пороговые значения непрерывной переменной (размечая 0/1 для меньше/больше порога), сравниваем бинарную переменную с полученными выше 0/1, строим ROC и считаем AUC. В качестве наглядного примера для этого метода я взял ответы из опроса stackoverflow для бинарной переменной, и количество лет опыта кодинга для непрерывной. При этом, если ROCAUC > 0.5, то опыт положительно коррелирует с выбранным пунктом, и преимущественно относится к опытным/возрастным разработчикам. Если ROCAUC < 0.5, то опыт отрицательно коррелирует с выбранным пунктом, и чаще замечен среди начинающих/молодых разработчиков.

P.S. Еще попробовал ROCAUC заменить на PRAUC, результат показался хуже, но может его стоило как-то иначе интерпретировать.

Вот крутите вы свой датасет, тщательно выбираете топ-k самых-самых фичей, а возможно тратите время зря. Вышла статейка, где авторы подошли к вопросу отбора фичей с точки зрения проверки нулевой гипотезы: значимо ли "умный" выбор отличается от случайного подмножества k признаков?

Шок-контент: в 28 из 30 высокоразмерных наборов (геномика, изображения, масс-спектрометрия) священный рандом оказался сопоставим с обучением на всех фичах или на тех, что отобрали лучшими FS-методами. Конечно, возможно, так совпало и в выбранных датасетах "важность" просто размазывается по всем колонкам ровным слоем, но мне нравится думать что это перекликается с леммой Джонсона-Линденштрауса, которая показывает, что высокоразмерные данные сохраняют расстояния между точками даже при случайных проекциях. Вывод из работы такой: не паримся с отбором фичей, учим пачку моделей на случайных подпространствах и агрегируем.

Не перестаю восхищаться JL леммой - случайная проекция из многомерного пространства в меньшее число измерений примерно сохраняет попарные расстояния между точками, это значит, ты можешь сжать данные, ускорить k-nn или получить примерный собственный спектр, если применить случайную проекцию сразу к колонкам и строчкам симметричной матрицы, что я и сделал.

В качестве примера взял 1.3 млн точек из множества Жюлиа (-0.123+0.745*j), каждую точку соединил с ближайшими 8 соседями - получился граф с симметричной матрицей смежности X, которую слева и справа умножил на случайную ортонормированную матрицу R размером 1.3M на 130 (R сначала заполняется гауссовским шумом, а затем пропускается через быструю QR декомпозицию для ортонормировки):

Y = (R^T)*X*R,

Так перешел от матрицы 1.3M х 1.3M к матрице 130 х 130. По теореме Пуанкаре собственные значения маленькой матрицы Y зажаты между собственными значениями большой X, примерно сохраняя их распределение. Значит можно взять несколько λ от Y (я взял первые 13 собственных значений) прогнать их итерациями через X и получить соответствующие им собственные вектора матрицы X, а дальше отправить в k-means или гауссовские смеси (выбрал этот вариант, потому-то k-means оказался более шумный). Получается такая кластеризация графа на случайных проекциях.

Традиционно эмбеддинги получаем нейросетями. Если хотите "экологически чистые" эмбединги🌳, то ребята из Королёвского колледжа Лондона сделали "деревянный" автоэнкодер. В отличие от классического варианта, тут кодер и декодер учатся независимо.

Кодер работает как GAN: лес учится отличать реальные данные от синтетических, а из его листьев-ошибок семплируются всё более правдоподобные точки. После нескольких итераций лес перестает их различать. Так модель учит внутреннюю структуру данных. Затем для n точек строится матрица близости K (насколько часто пары точек попадают в один лист). В простом варианте первые d собственных векторов (V) и значений (Λ) этой матрицы формируют d-мерные эмбеддинги: Z = √n*V*Λ.

Декодер это просто k-nn в пространстве эмбеддингов: чтобы восстановить объект по эмбеддингу, берём k ближайших точек из обучающей выборки и усредняем их фичи (берём моду для категорий).

Что бы получить эмбеддинг новый точки из test набора ищем ее близость к тем же n точкам - K' и умножаем на собственные вектора: Z' = √n*K'*V.

Всё без градиентов, только 🌲🌳🪵!