👨‍💻 Всем жертвам пятничных созвонов посвящается

🧑‍🎓Правильная инициализация весов нейронной сети

При обучении нейросети используется градиентный спуск, метод нахождения локального минимума или максимума функции. В градиентном спуске нужно выбрать начальную точку для спуска, то есть начальные значения весов. Обычно эта точка выбирается случайно. Но от неё существенно зависит успех градиентного спуска. Поэтому веса нужно инициализировать наиболее удачным образом.

✔️Хорошее начальное приближение

Начальные значения весов должны быть далеко от плато
Иначе на первых итерациях градиентного спуска мы столкнёмся с затуханием градиента.

В целом, нужно вывести такое правило: «генерировать начальные значения весов с помощью случайных чисел из интервала [a, b]». И вот эти a и b следует найти.

❔Как это сделать?
Например, когда нам нужно сгенерировать веса между парой полносвязных слоёв и каждый слой состоит из n нейронов, то вполне можно было бы выбрать диапазон [-1/n; 1/n].
Если же в слоях разное число нейронов, то в вышеприведённом интервале n можно заменить на среднее арифметическое числа нейронов в соседних слоях.

❗️Выше было упрощённо описано правило Xavier. В оригинале веса генерируются не из такого простого интервала [-1/n; 1/n], а с помощью равномерного распределения с дисперсией 1/n. Но суть примерно такая же. Подробнее работу Xavier можно прочесть здесь.
Можно пользоваться готовой функцией из PyTorch:

conv1 = torch.nn.Conv2d(...)
torch.nn.init.xavier_uniform(conv1.weight)

Также в случае с инициализацией Xavier стоит помнить, что этот способ подходит для симметричных относительно нуля функций активации (например гиперболический тангенс).

👩‍💻 Какие языки программирования наиболее популярны прямо сейчас?

📈 Основанная на данных из GitHub статистика включает все репозитории, созданные за последние 100 дней, с недавней активностью и более чем десятью ⭐️.

💬 Как думаете, с чем связана такая популярность Python? Наверное, с тем, что студенты и многие другие используют данный язык в качестве первого языка для обучения.

👉 Источник

💙 С днем любви!

В этот день проявить любовь поможет подарок, который действительно нужен.

🌿 Курсы Proglib academy – это не только знания, топовые преподаватели из МГУ, спикеры Яндекса, Revolut и Тинькофф, но и возможность начать карьеру программиста на международном рынке.

Заходи на сайт, выбирай любой курс и дари его любимому человеку.

⚡️А по промокоду PA2024SALES15 ты получишь скидку 15% на все курсы до конца недели – https://proglib.io/w/37e301bf

🆒 А если у тебя нет пары, то не расстраивайся.

Мы готовы сгладить этот неловкий момент и подарить дополнительную скидку в 5% 🥰

❗️ Чтобы получить дополнительную скидку переходи на сайт, оставляй заявку на обучение, сообщи нашим менеджерам кодовое слово C-3PO. И они закрепят за тобой дополнительную скидку.

Переходи и начинай учиться уже сегодня – https://proglib.io/w/247506a4