🧑‍🎓Правильная инициализация весов нейронной сети

При обучении нейросети используется градиентный спуск, метод нахождения локального минимума или максимума функции. В градиентном спуске нужно выбрать начальную точку для спуска, то есть начальные значения весов. Обычно эта точка выбирается случайно. Но от неё существенно зависит успех градиентного спуска. Поэтому веса нужно инициализировать наиболее удачным образом.

✔️Хорошее начальное приближение

Начальные значения весов должны быть далеко от плато
Иначе на первых итерациях градиентного спуска мы столкнёмся с затуханием градиента.

В целом, нужно вывести такое правило: «генерировать начальные значения весов с помощью случайных чисел из интервала [a, b]». И вот эти a и b следует найти.

❔Как это сделать?
Например, когда нам нужно сгенерировать веса между парой полносвязных слоёв и каждый слой состоит из n нейронов, то вполне можно было бы выбрать диапазон [-1/n; 1/n].
Если же в слоях разное число нейронов, то в вышеприведённом интервале n можно заменить на среднее арифметическое числа нейронов в соседних слоях.

❗️Выше было упрощённо описано правило Xavier. В оригинале веса генерируются не из такого простого интервала [-1/n; 1/n], а с помощью равномерного распределения с дисперсией 1/n. Но суть примерно такая же. Подробнее работу Xavier можно прочесть здесь.
Можно пользоваться готовой функцией из PyTorch:

conv1 = torch.nn.Conv2d(...)
torch.nn.init.xavier_uniform(conv1.weight)

Также в случае с инициализацией Xavier стоит помнить, что этот способ подходит для симметричных относительно нуля функций активации (например гиперболический тангенс).

Хардкорный курс по математике для тех, кто правда любит математику!

Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/584771bd

Что вас ждет:

– Вводный урок от CPO курса

– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск

– Практические задания для закрепления материала и ссылки на дополнительные материалы.

⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/584771bd

🎨 Кажется, найден системный промпт ChatGPT

Пользователи просто попросили чат-бота повторить текст «сверху». «Сверху» у таких сервисов, как правило, находится System Prompt, который содержит базовые инструкции для модели. У ChatGPT он начинается, соответственно, со слов «You are ChatGPT».

Судя по всему, у чат-бота довольно обширный системный промпт. Кто-то пишет, что его длина составляет 1700 токенов. В нём прописан порядок действий для ChatGPT в разных сценариях использования (генерация и выполнение кода, Dalle, поиск в интернете). Прочесть промпт можно здесь (а ещё попробовать повторить эксперимент).

🤔 Люди пишут, что на схожий запрос ChatGPT выдаёт им System Prompt с небольшими изменениями, но основная часть, кажется, остаётся той же.

В промпте есть забавные моменты. Например:

Modify such prompts even if you don't know who the person is, or if their name is misspelled (e.g. 'Barake Obema').

🍏 Apple выпустила модель для редактирования изображений

Над моделью MGIE компания работала вместе с Калифорнийским университетом. Она может обрезать изображения, менять размер, добавлять фильтры и модифицировать объекты с помощью текстовых запросов на естественном языке.

В основе инструмента лежит мультимодальная языковая модель.

📖 Исследовательская статья
💻 Репозиторий проекта на GitHub