Привет, всякий раз, когда приходится иметь дело с рисками (прогноз погоды, медицинская диагностика, финансы, беспилотные авто и тд) возникает задача прогнозирования не просто точечного значения, а целого диапазона, в идеале всего условного распределения F(Y|X). Среди доступных для этого инструментов: Байесовские методы, квантильная регрессия, конформные предсказания и ансамблевые методы. К последним относится модификация случайного леса - Distributional Random Forest. Отличие от классического леса только в конце - для выбранного X оценивается близость со всеми точками из train набора по тому, как часто X попадает с ними в одни и те же листья в деревьях. Полученные меры близости используются в качестве весов для соответствующих значений Y из обучающей выборки, что в итоге дает непараметрическую оценку условного распределения F(Y|X).

Для toy-примера я взял сглаженные данные подневной температуры в Longyearbyen (Лонгйир - город на Шпицбергене, где на глубине 130 метров расположено всемирное семенохранилище), и выкинул часть данных в виде лемнискаты Бернулли.

Обученный (на фичах - год и номер дня в году) Distributional Random Forest заполнил пропущенную область визуально близкими к фону значениями.

А тут DRF дает оценку стандартного отклонения для предсказаний по всем точкам (где была заполнена температура и где нет). Видно, что в вырезанной области дисперсия заметно возрастает. Модель подсказывает нам что, менее уверена в своих ответах на данных, которых не видела при обучении. Это полезное качество - при некотором пороге дисперсии не доверять предсказаниям модели.

Датасет -> https://www.kaggle.com/datasets/guillemservera/global-daily-climate-data

Провел небольшой воркшоп коллегам по переходу с pandas на polars. Основные операции с табличками polars проворачивает на 1-2 порядка быстрее чем 🐼 (в основном из appache arrow в качестве бэкенда, отказа от индексов и Rust под капотом для управления памятью). Ниже небольшая тетрадка, которую собрал для того, что бы показать как привычные решения на pandas выглядят в polars:

https://www.kaggle.com/code/alexbenzik/polars-101-by-abenzik

Несмотря на большое количество теории в математике/статистике, практика решений аналитических/DS задачек как сито просеивает методы, оставляя несколько проверенных трюков в личном "швейцарском ноже". Одним из таких первых трюков, который легко запомнить и применять, для меня стало логарифмическое преобразование с сохранением знака. Когда фичу сильно шатает, удобно сжать ее логарифмом, если она шатается в отрицательных значениях то нужно преобразование Йео-Джонсона, но я часто делаю так:

y = sign(x) * log(abs(x) + 1)
и если нужно обратное, то:
x = sign(y) * (exp(abs(y)) - 1)

Одним из недавних таких трюков для меня стала новая версия ранговой корреляции. Что бы быстро прикинуть есть ли связь между векторами X и Y часто применяется корреляция Пирсона (хотя эта связь редко бывает линейной, но кого это смущало) и реже корреляции Спирмена, Кендалла. Если важно увидеть не столько монотонные отношения Y~X, сколько вобще наличие/отсутствие связи, вот то, что нужно:

import polars as pl

u = pl.DataFrame({'Y':[-7, 4, -3, 7, 4],'X':[-6, 0, 2, -9, 3]})
n = len(u)
u = u.sort(['Y','X'])
u = u.with_columns(pl.Series(values = range(n),name = 'rank_Y'))
u = u.sort(['X','Y'])
S = u['rank_Y'].diff().abs().sum()

NewCorr = 1 - 3 * S / (n^2 - 1)

S - сумма абсолютных разностей рангов Y вдоль оси X. NewCorr ~ 0 когда Y это шум, и ~ 1, когда ранги Y плавно меняются вдоль оси X, также открывается полезное свойство NewCorr(X,Y) != NewCorr(Y,X). Единственное, мне не понравилось, что она никогда не достигает 1, даже для идеальной прямой (если Y(X) - монотонная функция, то S = n - 1), а т.к максимальное значение S не привышает n^2 / 2 - 1, то NewCorr можно перенормировать:

NewCorr* = 1 - 3*(S - n + 1) / (n^2 - 2*n)

В продолжении темы про новую ранговую корреляцию. Ее способность улавливать зависимости, которые часто недоступны для корреляций Пирсона, Спирмана, Кендалла и легкость расчета (пара сортировок), делает ее удобным инструментом первичного EDA. Для примера я взял несколько датасетов почти без предобработки, отправляя в NewCorr*(X,Y) все фичи как есть (категориальные, числовые, datetime) расстояние между колонками считал как D = 1 - max{NewCorr*(X,Y),NewCorr*(Y,X)} и поверх матрицы расстояний иерархическую complete кластеризацию, собирая кластеры для D < 0.5.

Датасет со статистикой по топ 10 Youtube образовательным каналам. Количество просмотров/тегов/лайков/комментариев собрались в один кластер, там же день недели публикации и название канала, похоже по статистике просмотров можно точно идентифицировать каждый канал из списка. Доля лайков связана с длительностью роликов, также видно, что данный подход располагает уникальный идентификатор видео на уровне колонки с нормальным шумом.

IMDB. Название фильма оказалось сопоставимо с шумовой колонкой, imdb_id завязан на дату выхода фильма, остальные характеристики оказались в одном кластере, хотя популярность фильма расположена от остальных дальше всех.

Погода в 100 городах. Название города оказалось связано с описанием погоды (дождь, солнечно, туман и тд), название страны с географической долготой, а температура с широтой.

Курс валют приведенных к евро. Доллар США в одном кластере с саудовским реалом. Китайский юань, индийская рупия и австралийский доллар в другой группе. Турецкая лира, аргентинский песо и российский рубль в третьей. А вот британский фунт, как и бразильский реал или швейцарский франк ни попали ни в одну их трех групп.

Привет! Два месяца назад в MIT представили новую архитектуру нейронных сетей — Kolmogorov-Arnold Networks (KAN), которая является альтернативой классическому multilayer perceptron (MLP). Основой KAN является теорема Колмогорова-Арнольда, утверждающая, что любую многомерную функцию можно представить как вложенную комбинацию одномерных функций. Главное отличие от MLP состоит в том, что функции активации в KAN размещены на ребрах сети, а не в ее вершинах. В вершинах остается только суммирование входящих функций. Функции на ребрах задаются взвешенной суммой одномерных сплайнов (кусочных полиномов), именно коэффициенты перед сплайнами выучивает модель.

Плюсы KAN:
- Авторы обещают, что для обучения на одних и тех же данных KAN требует значительно меньше нейронов по сравнению с MLP.
- Не нужно переобучать с нуля для повышения точности при наличии новых данных. Достаточно добавить больше точек в сетку сплайнов и дообучить модель с новыми данными.
- Заявляется, что модели KAN лучше интерпретируемы. Но мне кажется это работает только для простых датасетов. Если бизнес спросит, почему модель в проде дала такой результат, а вы в ответ покажете большую формулу из вложенных кусочных полиномов, вас вряд ли поймут.

Минусы:
- KAN на порядок дольше обучается.
- По моим наблюдениям, модель довольно неустойчива. С фиксированными гиперпараметрами один seed может дать приемлемое качество, а другой взорвать кривую обучения (напоминает RNN).
- Главное пока нет примеров sota решений KAN для каких-либо серьезных задач.

Всякий раз когда решается задачка с сильным перекосом классов в таргете, возникают разговоры — использовать ROCAUC или PRAUC. История тянется с 2006 года. Тогда на конференции в Питтсбурге представили работу, где указали, что ROC кривые дают слишком оптимистичную оценку при сильном дисбалансе классов. Ее также цитирует scikit-learn. Но недавно сотрудники института иммунологии из Калифорнии подлили масла в огонь и выпустили статью, в которой говорят что доклад от 2006 года какой-то не правильный, и вообще зря на ROCAUC наехали.