Нейрофизиолог Михаил Бурцев о глубоких нейронных сетях, механике машинного перевода и нейросетевых моделях seq2seq
#ml #it #нейросети #видео
https://youtu.be/5vxCIdHZWoA

Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера #физика #постнаука #подкаст #ml

Физик Денис Деркач о фотографиях, нейронных сетях и машинном обучении в обработке данных экспериментов Большого адронного коллайдера #физика #ml #подкаст #постнаука https://goo.gl/vkwu1P

@alexanderdyakonov очень понятно и со вкусом объясняет что такое логистическая фукция ошибки, как её готовить и зачем она нужна
Вообще его блог можно уже издавать отдельной книгой как методичку по #ML, всем категорически рекомендую

#моделирование #математика #машинное_обучение
https://alexanderdyakonov.wordpress.com/2018/03/12/логистическая-функция-ошибки/

После выхода Большого адронного коллайдера на проектную мощность и открытия бозона Хиггса в физике наступил кризис: главная теория физики частиц — Стандартная модель — была завершена, никаких значимых отклонений от ее предсказаний обнаружено не было, и внятного ответа на вопрос, куда идти, никто не предлагал. Ученым надо было решать, где искать новую физику, новую, более общую теорию. При этом все низко висящие плоды давно были сорваны, любой серьезный эксперимент потребовал бы гигантских вложений, а кто сегодня пойдет на эти расходы вслепую, без малейшего намека на возможность успеха?

Можно попытаться сменить «фронт» и искать процессы, которые не требуют высоких энергий, но происходят очень редко. Именно поэтому российский физик Андрей Голутвин, долгие годы работавший в ЦЕРНе, и его коллеги из НИТУ «МИСиС», Яндекса и других организаций придумали экономичный проект для поисков в новом направлении. В эксперименте SHiP будут искать следы неизвестных частиц, в том числе частиц темной материи, в отфильтрованном магнитными полями, пятиметровым слоем бетона и металла потоке частиц от ускорителя SPS. Возможно, огромная светимость — большое число рождающихся частиц — позволит увидеть новую физику быстрее, чем высокие энергии на мощных ускорителях.

#физика #частицы #машинное_обучение #Yandex #ML #ох_летит_частица #ускоритель #эксперимент
https://nplus1.ru/material/2018/06/19/ship-sps

Группа американских учёных обучила искусственную нейронную сетку распознавать рукописные цифры, а потом распечатала набор из пяти дифракционных решёток – по одной на каждый слой – которые вместе создают оптический аналог обученной нейросети.

Подавая на вход изображения цифр и других символов, на выходе можно получить максимум яркости в той области, которая соответствует одной из цифр. Грубо говоря, можно представить себе, что пластинка на выходе системы разделена на 9 клеток, каждая для своей цифры, и свет выходит из той клетки, которая соответствует показываемой нейросети картинке.

В общем, мало того, что идея очень крутая сама по себе, в самый раз для научной фантастики, так ещё и исследовательский образец достиг неплохой точности в 86%. По сути получился чисто оптический вычислительный прибор, на основе которого можно реализовать базовые логические элементы.

Не знаю, как вас, а мне такие новости ненадолго возвращают время, которое я проводил в библиотеке с бумажными книгами, набитыми фантастикой и советскими научно-популярными энциклопедиями – небольшое ощущение чуда.

#вычисления #3Dпечать #оптический_компьютер #симуляция #физика #нейросети #ML
https://nplus1.ru/news/2018/07/27/diffractive-neural-network

В октябре должна состоятся первая продажа предмета искуccтва, созданного «Искусственным Интеллектом». В СМИ уже пошла волна восторженных статей и заметок, восхваляющих достижения IT в целом и искины в частности 😠 .

Наверное, я больше разделяю точку зрения Себранта, считающего современные «интеллекты» скорее инструментами и помощниками для профессионалов, какими стали редакторы графики для художников. А ведь было время, когда Photoshop считали убийцей «мясных» творцов, ещё раньше таким должен был стать фотоаппарат. В конце концов, мы же не перестали играть в шахматы после того, как программы стали обыгрывать лучших гроссмейтеров?

А статья интересная, почитайте

#ML #искин #искусство #экономика #общество
https://habr.com/post/425551/

Наконец-то математики всерьёз взялись за машинное обучение.

Представьте, что у вас есть сайт, который посещает большая популяция людей X. Вы хотите разместить на сайте рекламный баннер из множества A. Каждый баннер из этого множества соответствует какому-то подмножеству посетителей FA ⊆ X. Каждый посетитель может принадлежать нескольким подмножествам: например, он может быть программистом, любителем котиков и читателем фантастики. У вас есть набор тренировочных данных, на которых вы обучаете своей ML-оракул. Ваша задача найти такой баннер, который удовлетворяет вкусам большинства пользователей.

Так вот, группа математиков, опираясь на теорему Гёделя о неполноте, доказали, что эту невозможно доказать или опровергнуть саму возможность решения этой задачи. Это фундаментальное ограничение, которое нельзя обойти, используя общепринятые базовые аксиомы математики.

Конечно, не всё так грустно, даже если мы не знаем можно ли решить задачу в принципе. Очень часто достаточно найти подходящую эвристику, чтобы получить не оптимальный, но достаточно хороший ответ. Однако это первый случай, когда мы упёрлись в доказано непреодолимую машинным обучением стену.

#математика #ML #интеллект #доказательство #IT
https://nplus1.ru/news/2019/01/21/machine-not-always-learning

Обычно трудно понять, что происходит внутри нейронной сети. Чаще всего разработчики обращаются с ней как с чёрным ящиком, регулируя гиперпараметры (число итераций обучения, алгоритм обучения, функцию ошибки и т.д.), пытаясь найти баланс между недо- и переобучением системы.

К счастью, для одного из самых популярных и расхайпованных видов нейронных сетей — свёрточных – существует способ заглянуть внутрь чертогов разума машины и посмотреть как искусственный ̶и̶д̶и̶о̶т̶ интеллект видит входные данные, в данном случае – картинки.

Почитайте несложную статью с примерами кода, вполне доходчиво и легко для повторения
#ML #машинное_обучение #habr #AI #IT
https://habr.com/ru/post/436838/

Любопытные нейронные сетки и сумасшедшие оракулы

Идея обучения с подкреплением состоит в том, что интеллектуальный агент не обучается на готовых примерах правильных ответов, а получает вознаграждение за правильное поведение, когда даёт правильный ответ. Одной из проблем этого метода является создание системы наказаний и вознаграждений — нередко ИИ взламывает её, выдавая формально правильные, но абсурдные по сути решения. Например, в задаче типа "помести красный кубик над синим" трясёт стол пока синий кубик не упадёт на пол.

Следующим шагом в развитии обучения с подкреплением стала выработка любопытства у ИИ: агенту дают вознаграждение в случае, если он находит новую, не существующую ранее ситуацию. Однако у этого подхода обнаружился интересный недостаток: стоит ИИ найти источник случайного шума, как он мгновенно зависает на нём (совершенно не напоминает меня и Twitter, да): предсказать рандомный мусор невозможно, поэтому такое поведение поощряется любопытством агента. Учёные остроумно продемонстрировали это, поместив в виртуальный лабиринт с агентом экран со случайными видео с YouTube. Агент мгновенно залип на котиков и отказался от исследования окружающего мира.

Разработчики из OpenAI создали улучшенную методику обучения нейронных сетей с вознаграждением за «любопытство»: они включили в состав ИИ случайно сгенерированную нейросеть (этакого чокнутого оракула), и стали подавать на её вход данные с окружения. Агент же получал награды как за открытия в окружающем его мире, так и за обнаружение экзотических ответов от внутренней сетки-оракула. Таким в случае зависания на телевизоре награда от внутренней сети снижалась, и агенту приходилось срываться с места и искать новые интересности.

Используя этот подход, который получил название Random Network Distillation, учёные смогли обучить ИИ стабильно проходить 20-22 комнаты из 22 в игре Montezuma’s Revenge, которая считается одной из самых сложных игр для ИИ (как указывают авторы, более ранние попытки обрывались на 1-3 комнатах).

Хотите знать больше? Прочтите статью в блоге OpenAI )

#ML #информатика #обучение

https://blog.openai.com/reinforcement-learning-with-prediction-based-rewards/