псс! там у Альпины скидки! И в списке одна из моих самых любимых научпоп книг для детей “Вернуть волков”. Рекомендую вот очень-очень сильно.

Искусственный интеллект — это что-то на очень модном. Умами сейчас владеет ChatGPT, а каждое второе письмо в новостной рассылке у меня в ящике или про этот самый чатжпт или про оценки рисков в новой реальности, которую искусственный интеллект скоро поглотит.

Но иногда у меня возникает чувство, что к системам искусственного интеллекта сегодня относятся также, как относились люди к теме электричества лет 150 назад. Будто это что-то очень-очень сложное, и надо быть очень умным, чтобы в этом разобраться. Но это совершенно не так! За кулисами любого ИИ стоит достаточно простая математическая идея. А «мощность» ИИ во многом определяют мощности ресурсов компьютеров, на которых считается модель, и количество накопленных данных для обучения модели.

Давайте попробуем разобраться в одной из таких идей, порождающей один из типов алгоритмов классического машинного обучения. А если этот пост хорошо залетит, то позднее разберем и другие (глядишь, доберемся и до нейросетей. К которым относится и Chat GPT).

Деревья решений — один из моих любимых классических алгоритмов. И для большинства прикладных задач они по-прежнему остаются нестареющим и неизменно надежным инструментом. Их ответы хорошо интерпретируемы, а потому именно их так часто используют в задачах о принятии медицинских решений. Ведь для врача при постановке диагноза важно не просто решение экспертной системы-помощника, но и объяснение от системы, почему она выбрала тот или иной ответ. (Для сравнения — нейросети обладают очень слабой интерпретируемостью. Большинство таких систем — это черный ящик: ответ система выдает, но почему он именно такой, выяснить практически невозможно).


Первые электронные системы принятия решений строились примерно также: эксперты задавали системе список вопросов и строили исходы в соответствии с ответами на эти вопросы.
Например, я решаю, что бы мне приготовить сегодня на ужин (какое вранье, Аня! Когда ты в последний раз хотя бы варила пельмени?!). У меня в голове есть несколько стандартных рецептов для ужина, но какой из них реализовать зависит от набора продуктов у меня дома. Так я задаю себе вопрос: есть ли у меня дома картошка? Если ответ «да», то новый вопрос — а есть ли дома сыр? Пусть ответ здесь «нет». Хмм, идея картофеля по-французски точно отпадает. А есть ли дома морковь и лук? «Да»! А какое-нибудь мясо или грибы? Снова «да»! Значит, тушеная картошка — лучший ответ для этого ужина.

Мы строим такие «деревья решений» в нашей голове по многу раз за день. Почему бы не применить этот же подход для решения абсолютно любых задач классификации и/или группировки (кластеризации)?

Главная загвоздка тут в том, что в голове у нас есть те самые ключевые вопросы, по которым и происходит ветвление алгоритма. Мы знаем, что спросить надо о картошке и это ключевым образом повлияет на конечный исход.
На таком принципе — принципе установления четких правил — работали первые медицинские и бухгалтерские системы. В тех задачах установить такие правила было несложно. «Сценарий» правил брался из привычной рутины врача или бухгалтера. Но как быть с более сложными задачами? С задачами, к которым таких правил никто не придумал?


Алгоритм случайного дерева говорит нам: придумывай совершенно случайные правила, разделяй по ним исходы и смотри, что получится. Например, если мы банк и хотим предсказать платежеспособных клиентов, то первое совершенно случайное правило ветвления может звучать так: этот человек живет ниже или выше 4 этажа? Скорее всего оно нам ничего не скажет о достатке человека, но нам сейчас это и не важно. Важно, что если мы будем много раз подряд генерировать случайные правила, то в конце концов получим какие-то ответы. Насколько они будут верными? Это останется проверить, сравнив с заранее известными правильными ответами.

(тут подразумеваем, что мы обучаем модель и потому используем обучающую выборку — выборку с известными целевыми переменными — ответами. Позднее уже обученную модель мы сможем «натравить» на настоящие данные и получить ответы для тех клиентов, о которых мы еще не знаем ответов)

Сравнили. Если ответы нашей модели сильно далеки от настоящих известных ответов, то снова запустим наше случайное дерево, а оно снова сгенерирует случайные правила. Новые ответы мы опять сравним с известными. И так по кругу. Пока полученные из модели ответы нас не устроят — не станут «достаточно» близкими к известным.
(тут есть свои риски и особенности, но об этом в другой раз, на ключевой принцип и понимание алгоритма они не влияют)

Есть ли способ повысить точность результата? Есть! Давайте «посадим» случайный лес таких случайных деревьев, которые будут генерировать случайные правила! Как в выражении «Если армия обезьян будет бить по клавишам пишущих машинок, они могут напечатать все книги Британского музея» (как говорил физик Артур Эддингтон). Каждое из случайных деревьев даст нам какие-то ответы. Если мы усредним ВСЕ ответы от ВСЕХ случайных деревьев, то такие ответы могут дать более точные результаты.