🧑‍🎓Правильная инициализация весов нейронной сети

При обучении нейросети используется градиентный спуск, метод нахождения локального минимума или максимума функции. В градиентном спуске нужно выбрать начальную точку для спуска, то есть начальные значения весов. Обычно эта точка выбирается случайно. Но от неё существенно зависит успех градиентного спуска. Поэтому веса нужно инициализировать наиболее удачным образом.

✔️Хорошее начальное приближение

Начальные значения весов должны быть далеко от плато
Иначе на первых итерациях градиентного спуска мы столкнёмся с затуханием градиента.

В целом, нужно вывести такое правило: «генерировать начальные значения весов с помощью случайных чисел из интервала [a, b]». И вот эти a и b следует найти.

❔Как это сделать?
Например, когда нам нужно сгенерировать веса между парой полносвязных слоёв и каждый слой состоит из n нейронов, то вполне можно было бы выбрать диапазон [-1/n; 1/n].
Если же в слоях разное число нейронов, то в вышеприведённом интервале n можно заменить на среднее арифметическое числа нейронов в соседних слоях.

❗️Выше было упрощённо описано правило Xavier. В оригинале веса генерируются не из такого простого интервала [-1/n; 1/n], а с помощью равномерного распределения с дисперсией 1/n. Но суть примерно такая же. Подробнее работу Xavier можно прочесть здесь.
Можно пользоваться готовой функцией из PyTorch:

conv1 = torch.nn.Conv2d(...)
torch.nn.init.xavier_uniform(conv1.weight)

Также в случае с инициализацией Xavier стоит помнить, что этот способ подходит для симметричных относительно нуля функций активации (например гиперболический тангенс).

👩‍💻 Какие языки программирования наиболее популярны прямо сейчас?

📈 Основанная на данных из GitHub статистика включает все репозитории, созданные за последние 100 дней, с недавней активностью и более чем десятью ⭐️.

💬 Как думаете, с чем связана такая популярность Python? Наверное, с тем, что студенты и многие другие используют данный язык в качестве первого языка для обучения.

👉 Источник

💙 С днем любви!

В этот день проявить любовь поможет подарок, который действительно нужен.

🌿 Курсы Proglib academy – это не только знания, топовые преподаватели из МГУ, спикеры Яндекса, Revolut и Тинькофф, но и возможность начать карьеру программиста на международном рынке.

Заходи на сайт, выбирай любой курс и дари его любимому человеку.

⚡️А по промокоду PA2024SALES15 ты получишь скидку 15% на все курсы до конца недели – https://proglib.io/w/37e301bf

🆒 А если у тебя нет пары, то не расстраивайся.

Мы готовы сгладить этот неловкий момент и подарить дополнительную скидку в 5% 🥰

❗️ Чтобы получить дополнительную скидку переходи на сайт, оставляй заявку на обучение, сообщи нашим менеджерам кодовое слово C-3PO. И они закрепят за тобой дополнительную скидку.

Переходи и начинай учиться уже сегодня – https://proglib.io/w/247506a4

🎓 Метод градиентного спуска: обзор модификаций

Градиентный спуск — это наиболее распространённый метод оптимизации, используемый в машинном обучении. Он предназначен для минимизации функции потерь, позволяя тем самым модели обучаться и постепенно улучшая её предсказательную способность.

Классический градиентный спуск может быть неэффективен в некоторых случаях. Поэтому существуют его разные модификации.

1️⃣Стохастический градиентный спуск (SGD)
В этой модификации мы подменяем вычисление градиента по всей выборке вычислением по случайной подвыборке. Подвыборку часто называют (мини) батчем. Для вычисления можно использовать и вовсе только один элемент.

2️⃣Метод инерции (momentum)
Добавляет концепцию инерции в обновления параметров, позволяя «ускоряться» при спуске по направлению к минимуму. Это достигается за счёт комбинирования градиента на текущем шаге с градиентом предыдущих шагов.

3️⃣Адаптивный подбор размера шага
Есть, например, алгоритм Adagrad. Он позволяет динамически подбирать размер шага для каждой координаты по отдельности. Также есть RMSprop — улучшение Adagrad, направленное на решение его проблемы быстрого уменьшения скорости обучения. Он адаптирует скорость обучения путём не просто складывания нормы градиентов, а их усреднения в скользящем режиме.

4️⃣Adam (Adaptive Moment Estimation)
Сочетает в себе идеи моментума и RMSprop.