#ai_science
Сверточные нейронные сети, работающие на квантовых компьютерах, вызвали в свое время большой резонанс благодаря их потенциалу анализировать квантовые данные лучше, чем это могут делать классические компьютеры (прочитать наш пост, объясняющий базовые термины квантовых вычислений, можно здесь). Несмотря на то, что фундаментальная проблема, известная как "плато продуктивности", до сих ограничивала применение этих нейронных сетей для больших наборов данных, недавнее исследование ученых из лаборатории Лос Аламос имеет большие шансы покончить с этой неприятностью с помощью решения, с высокой точностью проверяющего масштабируемость подобных нейронок.
При создании квантовых сверточных нейронных сетей, ученые вдохновлялись зрительной корой головного мозга. По сути, такие сети включают в себя серию сверточных слоев, или фильтров, чередующихся с объединительными слоями, которые уменьшают размерность данных, сохраняя при этом их важные характеристики.
Такие нейронные сети могут использоваться для решения целого ряда проблем, начиная от распознавания изображений и заканчивая открытием новых материалов. Преодоление плато продуктивности является ключом к использованию всего потенциала квантовых компьютеров в приложениях AI.
Суть главной проблемы таких сетей заключается в "исчезающем градиенте" ландшафта оптимизации. Ландшафт состоит из холмов и долин, и цель заключается в том, чтобы обучить параметры модели поиску решения путем изучения географии ландшафта. Решение обычно лежит на дне самой низкой долины. Но на плоском ландшафте невозможно обучить параметры, потому что трудно определить, в каком направлении двигаться.
Эта проблема становится особенно актуальной, когда количество характеристик данных увеличивается - фактически, ландшафт становится экспоненциально плоским. Как следствие, при наличии плато продуктивности, квантовую нейронную сеть невозможно масштабировать.
Для решения этой проблемы, ученые из Лос Аламос создали новый графический метод GRIM, который значительно упрощает вычисление ожидаемых значений величин путем использования ориентированных графов. Благодаря этой методике можно легко определить, существует ли в вашей квантовой сверточной нейронке плато производительности и можно ли эту сеть масштабировать. Полный текст исследования можно почитать здесь (внимание, много матана).
Как пример, исследование приводит сложность создания керамических материалов, которые могут выступать в качестве высокотемпературных сверхпроводников, тем самым, например, увеличивая эффективность поездов на магнитной подушке.
Используя масштабируемую квантовую нейронную сеть, квантовый компьютер может просеять огромный набор данных о различных состояниях данного материала и определить оптимальное состояние для высокотемпературной сверхпроводимости.
Будем надеяться, что это и последующие исследования помогут человечеству совершить качественный скачок в эффективности обучения моделей с квантовыми данными, а пока что хороших всем выходных :)
Сверточные нейронные сети, работающие на квантовых компьютерах, вызвали в свое время большой резонанс благодаря их потенциалу анализировать квантовые данные лучше, чем это могут делать классические компьютеры (прочитать наш пост, объясняющий базовые термины квантовых вычислений, можно здесь). Несмотря на то, что фундаментальная проблема, известная как "плато продуктивности", до сих ограничивала применение этих нейронных сетей для больших наборов данных, недавнее исследование ученых из лаборатории Лос Аламос имеет большие шансы покончить с этой неприятностью с помощью решения, с высокой точностью проверяющего масштабируемость подобных нейронок.
При создании квантовых сверточных нейронных сетей, ученые вдохновлялись зрительной корой головного мозга. По сути, такие сети включают в себя серию сверточных слоев, или фильтров, чередующихся с объединительными слоями, которые уменьшают размерность данных, сохраняя при этом их важные характеристики.
Такие нейронные сети могут использоваться для решения целого ряда проблем, начиная от распознавания изображений и заканчивая открытием новых материалов. Преодоление плато продуктивности является ключом к использованию всего потенциала квантовых компьютеров в приложениях AI.
Суть главной проблемы таких сетей заключается в "исчезающем градиенте" ландшафта оптимизации. Ландшафт состоит из холмов и долин, и цель заключается в том, чтобы обучить параметры модели поиску решения путем изучения географии ландшафта. Решение обычно лежит на дне самой низкой долины. Но на плоском ландшафте невозможно обучить параметры, потому что трудно определить, в каком направлении двигаться.
Эта проблема становится особенно актуальной, когда количество характеристик данных увеличивается - фактически, ландшафт становится экспоненциально плоским. Как следствие, при наличии плато продуктивности, квантовую нейронную сеть невозможно масштабировать.
Для решения этой проблемы, ученые из Лос Аламос создали новый графический метод GRIM, который значительно упрощает вычисление ожидаемых значений величин путем использования ориентированных графов. Благодаря этой методике можно легко определить, существует ли в вашей квантовой сверточной нейронке плато производительности и можно ли эту сеть масштабировать. Полный текст исследования можно почитать здесь (внимание, много матана).
Как пример, исследование приводит сложность создания керамических материалов, которые могут выступать в качестве высокотемпературных сверхпроводников, тем самым, например, увеличивая эффективность поездов на магнитной подушке.
Используя масштабируемую квантовую нейронную сеть, квантовый компьютер может просеять огромный набор данных о различных состояниях данного материала и определить оптимальное состояние для высокотемпературной сверхпроводимости.
Будем надеяться, что это и последующие исследования помогут человечеству совершить качественный скачок в эффективности обучения моделей с квантовыми данными, а пока что хороших всем выходных :)
👎3