Меланома представляет собой злокачественное новообразование из пигментных клеток и наиболее опасную форму рака кожи. Ежегодно меланома поражает более 200 тысяч человек, свыше 50 тысяч из которых умирают. При этом основным способом ее диагностики является визуальный осмотр. Биопсия подозрительных новообразований подтверждает меланому лишь в 10 процентах случаев.
Чтобы восполнить пробел, ученые из Рокфеллеровского университета и других учреждений проанализировали базу данных из 120 фотоснимков новообразований (60 доброкачественных пигментных пятен и 60 меланом). С помощью компьютерных программ авторы отобрали 50 диагностических критериев, отличающих меланому, в том числе форму, размер, симметричность, соотношение цветов и другие.
Наиболее значимые параметры вошли в набор визуальных биомаркеров меланомы, который ученые использовали для обучения 13 различных алгоритмов. Их задачей было определить тип новообразования по соотношению критериев. Результат совместной работы алгоритмов выражался в количественной оценке Q от 0 до 1. Чем выше было значение, тем выше вероятность того, что на снимке меланома.
В ходе испытаний система сумела верно определить меланому в 98 процентах случаев. Однако специфичность оказалась невысокой: диагностика доброкачественных новообразований была проведена только в 36 процентах случаев. По словам исследователей, подобные значения чувствительности сопоставимы с показателем квалифицированного эксперта-дерматолога.
#ml #медицина
https://naked-science.ru/article/sci/neyroset-nauchili-ranney-diagnostike
Чтобы восполнить пробел, ученые из Рокфеллеровского университета и других учреждений проанализировали базу данных из 120 фотоснимков новообразований (60 доброкачественных пигментных пятен и 60 меланом). С помощью компьютерных программ авторы отобрали 50 диагностических критериев, отличающих меланому, в том числе форму, размер, симметричность, соотношение цветов и другие.
Наиболее значимые параметры вошли в набор визуальных биомаркеров меланомы, который ученые использовали для обучения 13 различных алгоритмов. Их задачей было определить тип новообразования по соотношению критериев. Результат совместной работы алгоритмов выражался в количественной оценке Q от 0 до 1. Чем выше было значение, тем выше вероятность того, что на снимке меланома.
В ходе испытаний система сумела верно определить меланому в 98 процентах случаев. Однако специфичность оказалась невысокой: диагностика доброкачественных новообразований была проведена только в 36 процентах случаев. По словам исследователей, подобные значения чувствительности сопоставимы с показателем квалифицированного эксперта-дерматолога.
#ml #медицина
https://naked-science.ru/article/sci/neyroset-nauchili-ranney-diagnostike
naked-science.ru
Нейросеть научили ранней диагностике меланомы – Naked Science
Американские ученые показали, что ранняя диагностика меланомы с помощью машинного обучения может обладать чувствительностью в 98 процентов. Результаты работы опубликованы в журнале Experimental Dermatology.
В казино Rivers, которое находится в Питтсбурге (США), стартовал 20-дневный покерный турнир «Brains Vs. Artificial Intelligence: Upping the Ante». В турнире принимает участие программа Libratus, разработанная в Университете Карнеги — Меллона, а также четыре профессиональных игрока в покер. Игры будут проходить с 19:00 до 03:00 по московскому времени, прямая трансляция через Twitch доступна на сайте казино.
В последнее время наработки в области машинного обучения позволили компьютерам значительно продвинуться вперед и обыграть людей в играх, в которых это традиционно считалось невозможным. Например, в прошлом году программа AlphaGo «победила человечество в го», выиграв у одного из сильнейших игроков в мире. Однако го, в отличие от покера, представляет категорию игр с полной информацией. В играх с неполной информацией люди по-прежнему лидируют, поэтому однозначно предсказать результат назначенного турнира по техасскому холдему нельзя — в 2015 году программа Claudico играла с четырьмя профессиональными игроками и заняла третье место. На протяжении двух недель было сыграно 80000 раздач и из четырех хайроллеров только один набрал меньше фишек, чем компьютер.
Новую программу Libratus разработали Туомас Сэндхолм и Ноам Браун. В пресс-релизе университета не раскрывается подробностей создания компьютерного игрока в покер, однако, судя по всему, разработчики использовали методы машинного обучения — они отмечают, что при создании Libratus вычисления заняли 15 миллионов ядро-часов, в то время как на Claudico ушло два-три миллиона. Кроме предварительной подготовки у Libratus также будет доступ к суперкомпьютеру во время игры — для этого будет использован Bridges из Питтсбургского суперкомпьютерного центра.
#ии #ml #покер
https://telegra.ph/Nachalsya-turnir-po-pokeru-mezhdu-lyudmi-i-II-01-11
В последнее время наработки в области машинного обучения позволили компьютерам значительно продвинуться вперед и обыграть людей в играх, в которых это традиционно считалось невозможным. Например, в прошлом году программа AlphaGo «победила человечество в го», выиграв у одного из сильнейших игроков в мире. Однако го, в отличие от покера, представляет категорию игр с полной информацией. В играх с неполной информацией люди по-прежнему лидируют, поэтому однозначно предсказать результат назначенного турнира по техасскому холдему нельзя — в 2015 году программа Claudico играла с четырьмя профессиональными игроками и заняла третье место. На протяжении двух недель было сыграно 80000 раздач и из четырех хайроллеров только один набрал меньше фишек, чем компьютер.
Новую программу Libratus разработали Туомас Сэндхолм и Ноам Браун. В пресс-релизе университета не раскрывается подробностей создания компьютерного игрока в покер, однако, судя по всему, разработчики использовали методы машинного обучения — они отмечают, что при создании Libratus вычисления заняли 15 миллионов ядро-часов, в то время как на Claudico ушло два-три миллиона. Кроме предварительной подготовки у Libratus также будет доступ к суперкомпьютеру во время игры — для этого будет использован Bridges из Питтсбургского суперкомпьютерного центра.
#ии #ml #покер
https://telegra.ph/Nachalsya-turnir-po-pokeru-mezhdu-lyudmi-i-II-01-11
Telegraph
Начался турнир по покеру между людьми и ИИ
N+1
Довольно холиварная, но тем не менее очень интересная статья про машинный интеллект и мифологию вокруг него.
#ии #ml #интеллект
https://telegra.ph/Vas-atakuet-iskusstvennyj-intellekt-02-11
В конце прошлого года “искусственный интеллект” многократно упоминали в итогах и прогнозах IT-индустрии. И в нашу компанию, которая занимается информационной безопасностью, всё чаще стали присылать из различных изданий вопросы про перспективы AI. Но эксперты по безопасности не любят комментировать эту тему: возможно, их отталкивает именно эффект “жёлтой прессы”. Легко заметить, как возникают такие вопросы: после очередной новости типа “Искусственный интеллект научился рисовать как Ван Гог” журналисты хватаются за горячую технологию и идут опрашивать по ней всех подряд – а чего может достичь AI в животноводстве? А в сфере образования? Где-то в этом списке автоматически оказывается и безопасность, без особого понимания её специфики.
Кроме того, журналистика, щедро подкормленная IT-индустрией, обожает рассказывать о достижениях этой индустрии в рекламно-восхищенных тонах. Именно поэтому СМИ прожужжали вам все уши о победе машинного интеллекта в игре Го (хотя от этого нет никакой пользы в реальной жизни), но не особенно жужжали о том, что в прошлом году погибло уже как минимум два человека, которые доверили свою жизнь автопилоту автомобиля Tesla.
В этой статье я собрал некоторые наблюдения об искусственном интеллекте с эволюционной точки зрения. Это необычный подход, но как мне кажется, именно он лучше всего позволяет оценить роль AI-агентов в безопасности, а также безопасность AI в других сферах.
#ии #ml #интеллект
https://telegra.ph/Vas-atakuet-iskusstvennyj-intellekt-02-11
Telegraph
Вас атакует искусственный интеллект
Хабрахабр В конце прошлого года “искусственный интеллект” многократно упоминали в итогах и прогнозах IT-индустрии. И в нашу компанию, которая занимается информационной безопасностью, всё чаще стали присылать из различных изданий вопросы про перспективы AI.…
Классическое моделирование и машинное обучение
Александр Шапеев
Математик Александр Шапеев о способах распознавания изображений, проблемах классического моделирования и областях применения классических моделей и машинного обучения. #подкаст #audio #ml #постнаука
Физики из Массачусетского технологического института, Университета Шербрука и компании Elenion разработали фотонную микросхему, предназначенную для алгоритмов глубокого обучения. По словам авторов, фотонные вычислители способны решать некоторые задачи гораздо быстрее, чем их электронные аналоги — например, это касается умножения матриц. Эти задачи часто возникают при глубоком обучении нейросетей и представляют наибольшую вычислительную сложность. Ученые протестировали работу нейросети, обучив ее распознавать гласные звуки.
Фотонный чип представляет собой сеть из взаимосвязанных волноводов, причем эти связи могут программируемо изменяться. По словам авторов, с помощью такой системы можно реализовать практически любые матричные операции. Более того, для их выполнения требуется гораздо меньше энергии и времени, чем в обычных компьютерах. Финальная версия устройства будет состоять из большого количества слоев.
#физика #технология #ML #оптика
https://telegra.ph/Fotonnuyu-nejroset-nauchili-raspoznavat-glasnye-06-13
Фотонный чип представляет собой сеть из взаимосвязанных волноводов, причем эти связи могут программируемо изменяться. По словам авторов, с помощью такой системы можно реализовать практически любые матричные операции. Более того, для их выполнения требуется гораздо меньше энергии и времени, чем в обычных компьютерах. Финальная версия устройства будет состоять из большого количества слоев.
#физика #технология #ML #оптика
https://telegra.ph/Fotonnuyu-nejroset-nauchili-raspoznavat-glasnye-06-13
Telegraph
Фотонную нейросеть научили распознавать гласные
N+1 изики из Массачусетского технологического института, Университета Шербрука и компании Elenion разработали фотонную микросхему, предназначенную для алгоритмов глубокого обучения. По словам авторов, фотонные вычислители способны решать некоторые задачи…
18 – 19 ноября 2017 года в Москве в коворкинг-центре «Атмосфера» пройдет первый в России Legal Tech хакатон.
Организатором хакатона выступит Moscow Legal Hackers, российское отделение международного сообщества Legal Hackers. Мы стремимся объединить на одной площадке юристов, которые мечтают об избавлении профессии от скучной работы, и программистов, которые верят в перспективность отрасли, помочь им выработать идеи, потребность в которых демонстрирует рынок, дать ресурсы, бизнес-экспертизу и увидеть, какие из этого вырастут потрясающие продукты.
Два лучших проекта получат места в акселераторах, а также денежные призы от спонсоров. В скором времени в Legal Tech придут существенные деньги.
В 2014 году в стартапы Legal Tech в США инвесторы вложили $254 млн. Мы верим в то, что качество проектов хакатона будет настолько высоким, что большинство из них продолжат свою жизнь и развитие и после него.
К участию приглашаются:
• программисты, специалисты по machine learning, математики, магистранты юридических ВУЗов;
• юристы;
• Legal Tech стартапы;
• предприниматели с опытом развития технологичных бизнесов;
• маркетологи, которым интересно развивать Legal Tech стартапы.
Участие бесплатное. Регистрация по ссылке: https://legalhackers.moscow/hackathon2017
#мероприятия #хакатон #технология #IT #ML
Организатором хакатона выступит Moscow Legal Hackers, российское отделение международного сообщества Legal Hackers. Мы стремимся объединить на одной площадке юристов, которые мечтают об избавлении профессии от скучной работы, и программистов, которые верят в перспективность отрасли, помочь им выработать идеи, потребность в которых демонстрирует рынок, дать ресурсы, бизнес-экспертизу и увидеть, какие из этого вырастут потрясающие продукты.
Два лучших проекта получат места в акселераторах, а также денежные призы от спонсоров. В скором времени в Legal Tech придут существенные деньги.
В 2014 году в стартапы Legal Tech в США инвесторы вложили $254 млн. Мы верим в то, что качество проектов хакатона будет настолько высоким, что большинство из них продолжат свою жизнь и развитие и после него.
К участию приглашаются:
• программисты, специалисты по machine learning, математики, магистранты юридических ВУЗов;
• юристы;
• Legal Tech стартапы;
• предприниматели с опытом развития технологичных бизнесов;
• маркетологи, которым интересно развивать Legal Tech стартапы.
Участие бесплатное. Регистрация по ссылке: https://legalhackers.moscow/hackathon2017
#мероприятия #хакатон #технология #IT #ML
Нейрофизиолог Михаил Бурцев о глубоких нейронных сетях, механике машинного перевода и нейросетевых моделях seq2seq
#ml #it #нейросети #видео
https://youtu.be/5vxCIdHZWoA
#ml #it #нейросети #видео
https://youtu.be/5vxCIdHZWoA
YouTube
Нейросетевые архитектуры — Михаил Бурцев
Это видео было опубликовано на сайте ПостНаука (https://postnauka.ru/). Больше лекций, интервью и статей о фундаментальной науке и ученых, которые ее создают, смотрите на сайте https://postnauka.ru/. ПостНаука - все, что вы хотели знать о науке, но не знали…
Анализ больших данных в физ
Денис Деркач
Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера #физика #постнаука #подкаст #ml
Триггеры в аналитике данных на Большом адронном коллайдере
Денис Деркач
Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера #физика #ml #подкаст #постнаука https://goo.gl/vkwu1P
@alexanderdyakonov очень понятно и со вкусом объясняет что такое логистическая фукция ошибки, как её готовить и зачем она нужна
Вообще его блог можно уже издавать отдельной книгой как методичку по #ML, всем категорически рекомендую
#моделирование #математика #машинное_обучение
https://alexanderdyakonov.wordpress.com/2018/03/12/логистическая-функция-ошибки/
Вообще его блог можно уже издавать отдельной книгой как методичку по #ML, всем категорически рекомендую
#моделирование #математика #машинное_обучение
https://alexanderdyakonov.wordpress.com/2018/03/12/логистическая-функция-ошибки/
Анализ малых данных
Логистическая функция ошибки
Эту функцию называют также «логлосс» (logloss / log_loss), перекрёстной / кросс-энтропией (Cross Entropy) и часто используют в задачах классификации. Разберёмся, почему её используют и какой смысл …
После выхода Большого адронного коллайдера на проектную мощность и открытия бозона Хиггса в физике наступил кризис: главная теория физики частиц — Стандартная модель — была завершена, никаких значимых отклонений от ее предсказаний обнаружено не было, и внятного ответа на вопрос, куда идти, никто не предлагал. Ученым надо было решать, где искать новую физику, новую, более общую теорию. При этом все низко висящие плоды давно были сорваны, любой серьезный эксперимент потребовал бы гигантских вложений, а кто сегодня пойдет на эти расходы вслепую, без малейшего намека на возможность успеха?
Можно попытаться сменить «фронт» и искать процессы, которые не требуют высоких энергий, но происходят очень редко. Именно поэтому российский физик Андрей Голутвин, долгие годы работавший в ЦЕРНе, и его коллеги из НИТУ «МИСиС», Яндекса и других организаций придумали экономичный проект для поисков в новом направлении. В эксперименте SHiP будут искать следы неизвестных частиц, в том числе частиц темной материи, в отфильтрованном магнитными полями, пятиметровым слоем бетона и металла потоке частиц от ускорителя SPS. Возможно, огромная светимость — большое число рождающихся частиц — позволит увидеть новую физику быстрее, чем высокие энергии на мощных ускорителях.
#физика #частицы #машинное_обучение #Yandex #ML #ох_летит_частица #ускоритель #эксперимент
https://nplus1.ru/material/2018/06/19/ship-sps
Можно попытаться сменить «фронт» и искать процессы, которые не требуют высоких энергий, но происходят очень редко. Именно поэтому российский физик Андрей Голутвин, долгие годы работавший в ЦЕРНе, и его коллеги из НИТУ «МИСиС», Яндекса и других организаций придумали экономичный проект для поисков в новом направлении. В эксперименте SHiP будут искать следы неизвестных частиц, в том числе частиц темной материи, в отфильтрованном магнитными полями, пятиметровым слоем бетона и металла потоке частиц от ускорителя SPS. Возможно, огромная светимость — большое число рождающихся частиц — позволит увидеть новую физику быстрее, чем высокие энергии на мощных ускорителях.
#физика #частицы #машинное_обучение #Yandex #ML #ох_летит_частица #ускоритель #эксперимент
https://nplus1.ru/material/2018/06/19/ship-sps
nplus1.ru
Смена фронта
Зачем бить потоком протонов в бетонную стену пятиметровой толщины
Группа американских учёных обучила искусственную нейронную сетку распознавать рукописные цифры, а потом распечатала набор из пяти дифракционных решёток – по одной на каждый слой – которые вместе создают оптический аналог обученной нейросети.
Подавая на вход изображения цифр и других символов, на выходе можно получить максимум яркости в той области, которая соответствует одной из цифр. Грубо говоря, можно представить себе, что пластинка на выходе системы разделена на 9 клеток, каждая для своей цифры, и свет выходит из той клетки, которая соответствует показываемой нейросети картинке.
В общем, мало того, что идея очень крутая сама по себе, в самый раз для научной фантастики, так ещё и исследовательский образец достиг неплохой точности в 86%. По сути получился чисто оптический вычислительный прибор, на основе которого можно реализовать базовые логические элементы.
Не знаю, как вас, а мне такие новости ненадолго возвращают время, которое я проводил в библиотеке с бумажными книгами, набитыми фантастикой и советскими научно-популярными энциклопедиями – небольшое ощущение чуда.
#вычисления #3Dпечать #оптический_компьютер #симуляция #физика #нейросети #ML
https://nplus1.ru/news/2018/07/27/diffractive-neural-network
Подавая на вход изображения цифр и других символов, на выходе можно получить максимум яркости в той области, которая соответствует одной из цифр. Грубо говоря, можно представить себе, что пластинка на выходе системы разделена на 9 клеток, каждая для своей цифры, и свет выходит из той клетки, которая соответствует показываемой нейросети картинке.
В общем, мало того, что идея очень крутая сама по себе, в самый раз для научной фантастики, так ещё и исследовательский образец достиг неплохой точности в 86%. По сути получился чисто оптический вычислительный прибор, на основе которого можно реализовать базовые логические элементы.
Не знаю, как вас, а мне такие новости ненадолго возвращают время, которое я проводил в библиотеке с бумажными книгами, набитыми фантастикой и советскими научно-популярными энциклопедиями – небольшое ощущение чуда.
#вычисления #3Dпечать #оптический_компьютер #симуляция #физика #нейросети #ML
https://nplus1.ru/news/2018/07/27/diffractive-neural-network
nplus1.ru
Физики создали 3D-печатную физическую нейросеть на терагерцовом излучении
Американские ученые создали физическую реализацию многослойной нейросети, в которой сигналы передаются с помощью терагерцового излучения. Изначально алгоритм обучают на компьютере, а затем на 3D-принтере создают физическое воплощение обученной модели, состоящее…
В октябре должна состоятся первая продажа предмета искуccтва, созданного «Искусственным Интеллектом». В СМИ уже пошла волна восторженных статей и заметок, восхваляющих достижения IT в целом и искины в частности 😠 .
Наверное, я больше разделяю точку зрения Себранта, считающего современные «интеллекты» скорее инструментами и помощниками для профессионалов, какими стали редакторы графики для художников. А ведь было время, когда Photoshop считали убийцей «мясных» творцов, ещё раньше таким должен был стать фотоаппарат. В конце концов, мы же не перестали играть в шахматы после того, как программы стали обыгрывать лучших гроссмейтеров?
А статья интересная, почитайте
#ML #искин #искусство #экономика #общество
https://habr.com/post/425551/
Наверное, я больше разделяю точку зрения Себранта, считающего современные «интеллекты» скорее инструментами и помощниками для профессионалов, какими стали редакторы графики для художников. А ведь было время, когда Photoshop считали убийцей «мясных» творцов, ещё раньше таким должен был стать фотоаппарат. В конце концов, мы же не перестали играть в шахматы после того, как программы стали обыгрывать лучших гроссмейтеров?
А статья интересная, почитайте
#ML #искин #искусство #экономика #общество
https://habr.com/post/425551/
Habr
Кто должен получать деньги при продаже произведения искусства, сотворённого ИИ?
В октябре аукционный дом Кристис собирается впервые продать произведение искусства, произведённое искусственным интеллектом (ИИ) – вскоре после первой выставки...
Наконец-то математики всерьёз взялись за машинное обучение.
Представьте, что у вас есть сайт, который посещает большая популяция людей X. Вы хотите разместить на сайте рекламный баннер из множества A. Каждый баннер из этого множества соответствует какому-то подмножеству посетителей FA ⊆ X. Каждый посетитель может принадлежать нескольким подмножествам: например, он может быть программистом, любителем котиков и читателем фантастики. У вас есть набор тренировочных данных, на которых вы обучаете своей ML-оракул. Ваша задача найти такой баннер, который удовлетворяет вкусам большинства пользователей.
Так вот, группа математиков, опираясь на теорему Гёделя о неполноте, доказали, что эту невозможно доказать или опровергнуть саму возможность решения этой задачи. Это фундаментальное ограничение, которое нельзя обойти, используя общепринятые базовые аксиомы математики.
Конечно, не всё так грустно, даже если мы не знаем можно ли решить задачу в принципе. Очень часто достаточно найти подходящую эвристику, чтобы получить не оптимальный, но достаточно хороший ответ. Однако это первый случай, когда мы упёрлись в доказано непреодолимую машинным обучением стену.
#математика #ML #интеллект #доказательство #IT
https://nplus1.ru/news/2019/01/21/machine-not-always-learning
Представьте, что у вас есть сайт, который посещает большая популяция людей X. Вы хотите разместить на сайте рекламный баннер из множества A. Каждый баннер из этого множества соответствует какому-то подмножеству посетителей FA ⊆ X. Каждый посетитель может принадлежать нескольким подмножествам: например, он может быть программистом, любителем котиков и читателем фантастики. У вас есть набор тренировочных данных, на которых вы обучаете своей ML-оракул. Ваша задача найти такой баннер, который удовлетворяет вкусам большинства пользователей.
Так вот, группа математиков, опираясь на теорему Гёделя о неполноте, доказали, что эту невозможно доказать или опровергнуть саму возможность решения этой задачи. Это фундаментальное ограничение, которое нельзя обойти, используя общепринятые базовые аксиомы математики.
Конечно, не всё так грустно, даже если мы не знаем можно ли решить задачу в принципе. Очень часто достаточно найти подходящую эвристику, чтобы получить не оптимальный, но достаточно хороший ответ. Однако это первый случай, когда мы упёрлись в доказано непреодолимую машинным обучением стену.
#математика #ML #интеллект #доказательство #IT
https://nplus1.ru/news/2019/01/21/machine-not-always-learning
nplus1.ru
Доказана неразрешимость одной из моделей машинного обучения
Математики совместно со специалистами в области компьютерных наук доказали неразрешимость одной из моделей машинного обучения. Соответствующая статья опубликована в журнале Nature Machine Intelligence.
Обычно трудно понять, что происходит внутри нейронной сети. Чаще всего разработчики обращаются с ней как с чёрным ящиком, регулируя гиперпараметры (число итераций обучения, алгоритм обучения, функцию ошибки и т.д.), пытаясь найти баланс между недо- и переобучением системы.
К счастью, для одного из самых популярных и расхайпованных видов нейронных сетей — свёрточных – существует способ заглянуть внутрь чертогов разума машины и посмотреть как искусственный ̶и̶д̶и̶о̶т̶ интеллект видит входные данные, в данном случае – картинки.
Почитайте несложную статью с примерами кода, вполне доходчиво и легко для повторения
#ML #машинное_обучение #habr #AI #IT
https://habr.com/ru/post/436838/
К счастью, для одного из самых популярных и расхайпованных видов нейронных сетей — свёрточных – существует способ заглянуть внутрь чертогов разума машины и посмотреть как искусственный ̶и̶д̶и̶о̶т̶ интеллект видит входные данные, в данном случае – картинки.
Почитайте несложную статью с примерами кода, вполне доходчиво и легко для повторения
#ML #машинное_обучение #habr #AI #IT
https://habr.com/ru/post/436838/
Хабр
Понимание сверточных нейронных сетей через визуализации в PyTorch
В нашу эру, машины успешно достигли 99% точности в понимании и определении признаков и объектов на изображениях. Мы сталкиваемся с этим повседневно, например: распознавание лиц в камере смартфонов,...
Любопытные нейронные сетки и сумасшедшие оракулы
Идея обучения с подкреплением состоит в том, что интеллектуальный агент не обучается на готовых примерах правильных ответов, а получает вознаграждение за правильное поведение, когда даёт правильный ответ. Одной из проблем этого метода является создание системы наказаний и вознаграждений — нередко ИИ взламывает её, выдавая формально правильные, но абсурдные по сути решения. Например, в задаче типа "помести красный кубик над синим" трясёт стол пока синий кубик не упадёт на пол.
Следующим шагом в развитии обучения с подкреплением стала выработка любопытства у ИИ: агенту дают вознаграждение в случае, если он находит новую, не существующую ранее ситуацию. Однако у этого подхода обнаружился интересный недостаток: стоит ИИ найти источник случайного шума, как он мгновенно зависает на нём (совершенно не напоминает меня и Twitter, да): предсказать рандомный мусор невозможно, поэтому такое поведение поощряется любопытством агента. Учёные остроумно продемонстрировали это, поместив в виртуальный лабиринт с агентом экран со случайными видео с YouTube. Агент мгновенно залип на котиков и отказался от исследования окружающего мира.
Разработчики из OpenAI создали улучшенную методику обучения нейронных сетей с вознаграждением за «любопытство»: они включили в состав ИИ случайно сгенерированную нейросеть (этакого чокнутого оракула), и стали подавать на её вход данные с окружения. Агент же получал награды как за открытия в окружающем его мире, так и за обнаружение экзотических ответов от внутренней сетки-оракула. Таким в случае зависания на телевизоре награда от внутренней сети снижалась, и агенту приходилось срываться с места и искать новые интересности.
Используя этот подход, который получил название Random Network Distillation, учёные смогли обучить ИИ стабильно проходить 20-22 комнаты из 22 в игре Montezuma’s Revenge, которая считается одной из самых сложных игр для ИИ (как указывают авторы, более ранние попытки обрывались на 1-3 комнатах).
Хотите знать больше? Прочтите статью в блоге OpenAI )
#ML #информатика #обучение
https://blog.openai.com/reinforcement-learning-with-prediction-based-rewards/
Идея обучения с подкреплением состоит в том, что интеллектуальный агент не обучается на готовых примерах правильных ответов, а получает вознаграждение за правильное поведение, когда даёт правильный ответ. Одной из проблем этого метода является создание системы наказаний и вознаграждений — нередко ИИ взламывает её, выдавая формально правильные, но абсурдные по сути решения. Например, в задаче типа "помести красный кубик над синим" трясёт стол пока синий кубик не упадёт на пол.
Следующим шагом в развитии обучения с подкреплением стала выработка любопытства у ИИ: агенту дают вознаграждение в случае, если он находит новую, не существующую ранее ситуацию. Однако у этого подхода обнаружился интересный недостаток: стоит ИИ найти источник случайного шума, как он мгновенно зависает на нём (совершенно не напоминает меня и Twitter, да): предсказать рандомный мусор невозможно, поэтому такое поведение поощряется любопытством агента. Учёные остроумно продемонстрировали это, поместив в виртуальный лабиринт с агентом экран со случайными видео с YouTube. Агент мгновенно залип на котиков и отказался от исследования окружающего мира.
Разработчики из OpenAI создали улучшенную методику обучения нейронных сетей с вознаграждением за «любопытство»: они включили в состав ИИ случайно сгенерированную нейросеть (этакого чокнутого оракула), и стали подавать на её вход данные с окружения. Агент же получал награды как за открытия в окружающем его мире, так и за обнаружение экзотических ответов от внутренней сетки-оракула. Таким в случае зависания на телевизоре награда от внутренней сети снижалась, и агенту приходилось срываться с места и искать новые интересности.
Используя этот подход, который получил название Random Network Distillation, учёные смогли обучить ИИ стабильно проходить 20-22 комнаты из 22 в игре Montezuma’s Revenge, которая считается одной из самых сложных игр для ИИ (как указывают авторы, более ранние попытки обрывались на 1-3 комнатах).
Хотите знать больше? Прочтите статью в блоге OpenAI )
#ML #информатика #обучение
https://blog.openai.com/reinforcement-learning-with-prediction-based-rewards/