✍️ Опишите алгоритм обратного распространения ошибки

В модели машинного обучения, по сути, происходит вычисление значения некоторой функции. Можно сказать, что движение идёт прямо по графу вычислений. Однако по нему же можно вычислить не только значение в точке, но и значения частных производных. Для этого нужно двигаться в обратном направлении по графу. Это и называется обратным распространением ошибки (backpropagation).

Алгоритм таков:

▪️Начинаем с вычисления ошибки на выходе модели. Это обычно разница между предсказанным значением и истинным значением.
▪️Затем вычисляется градиент, то есть вектор частных производных функции ошибки по выходному слою.
▪️Движение идёт обратно через слои модели. На каждом слое используется цепное правило для вычисления градиента ошибки по весам слоя.
▪️После того, как градиенты вычислены, веса модели корректируются в направлении, противоположном градиенту, чтобы уменьшить ошибку.
▪️Процесс повторяется до тех пор, пока модель не достигнет желаемой производительности или не сойдётся.

#вопросы_с_собеседований

🐍🎓 5 задач для подготовки к собеседованию по Python

В новой статье используем алгоритмы Манакера и заметающей прямой, определяем границы окна с k-элементами, вычисляем площадь участков разного цвета и находим наибольшую увеличивающуюся подпоследовательность.

🔗 Читать статью
🔗 Зеркало

✏️ Разбор задачи с экзамена ШАД

Условие: Дана матрица 1️⃣. Нужно заполнить третий столбец матрицы. Известно, что это матрица ортогональной проекции на некоторую плоскость.

Решение: Назовём эту матрицу A. Будем пользоваться свойством ортогональных проекторов: A^2 = A. Займёмся арифметикой 2️⃣.

Нам необязательно считать 2 и 3 столбец, информации в первом достаточно для решения (на экзамене так можно было бы сэкономить время). Получаем тривиальную систему 3️⃣.

Таким образом, мы заполнили третий столбец, получив в итоге матрицу 4️⃣.

#задачи_шад