🎓 Метод градиентного спуска: обзор модификаций

Градиентный спуск — это наиболее распространённый метод оптимизации, используемый в машинном обучении. Он предназначен для минимизации функции потерь, позволяя тем самым модели обучаться и постепенно улучшая её предсказательную способность.

Классический градиентный спуск может быть неэффективен в некоторых случаях. Поэтому существуют его разные модификации.

1️⃣Стохастический градиентный спуск (SGD)
В этой модификации мы подменяем вычисление градиента по всей выборке вычислением по случайной подвыборке. Подвыборку часто называют (мини) батчем. Для вычисления можно использовать и вовсе только один элемент.

2️⃣Метод инерции (momentum)
Добавляет концепцию инерции в обновления параметров, позволяя «ускоряться» при спуске по направлению к минимуму. Это достигается за счёт комбинирования градиента на текущем шаге с градиентом предыдущих шагов.

3️⃣Адаптивный подбор размера шага
Есть, например, алгоритм Adagrad. Он позволяет динамически подбирать размер шага для каждой координаты по отдельности. Также есть RMSprop — улучшение Adagrad, направленное на решение его проблемы быстрого уменьшения скорости обучения. Он адаптирует скорость обучения путём не просто складывания нормы градиентов, а их усреднения в скользящем режиме.

4️⃣Adam (Adaptive Moment Estimation)
Сочетает в себе идеи моментума и RMSprop.

‼️Машинное обучение помогло идентифицировать лекарства, которые нельзя принимать вместе

Авторы нового исследования хотели узнать больше о транспортёрах лекарственных средств. Они модифицировали модель ткани свиньи, чтобы измерять способность каждого изучаемого лекарства к абсорбции. Чтобы изучить роль отдельных транспортёров в ткани, исследователи в каждом срезе нейтрализовали разные их комбинации.

🦾 Учёные протестировали 23 известных лекарства с помощью этой системы, что позволило им идентифицировать транспортёры, используемые каждым из этих препаратов. Затем они обучили модель на этих данных, а также на информации из нескольких баз данных о лекарствах. Модель научилась делать предсказания о том, какие лекарства будут взаимодействовать с какими транспортёрами. Так, например, система дала прогноз о том, что антибиотик доксициклин может взаимодействовать с варфарином, часто назначаемым средством для разжижения крови.

🔥 А если вы также стремитесь научится работать с основными моделями машинного обучения, выбирать и применять подходящие tree-based модели, то сейчас самое время. До 29 февраля мы дарим доступ к курсу Базовые модели ML и приложения в подарок при покупке курса по математике – https://proglib.io/w/d387f664


🔗 Репозиторий исследователей на GitHub