Дропаут ускоряет обучение глубоких моделей (by META)

Раньше считалось, что с дропаутом лосс наоборот падает медленнее, и это своего рода цена за спасение от переобучения — но оказалось, что это не так.

Eсли применять дропаут только в самом начале обучения, а потом отключать, то можно не только спастись от оверфиттинга, но и ускорить сходимость модели!

Это позволяет лучше синхронизировать градиенты на large-scale датасетах, что приводит к стабильному long-term выигрышу на всех архитектурах.

Статья, GitHub

#ps #neuro #func #data #opinion

Обучение нейро-сети - это множественные однотипные вычисления определëнного уравнения, где на условно кривой поверхности (функции) нужно вычислить точку с максимально возможным минимумом.

На картинке выше приведëн лишь наглядный пример, который призван объяснить проблематику оптимизации расчëтов.
На практике же, такое поле представляет визуально из себя сложный ландшафт, со своими оврагами, горами, холмами и колодцами. И уже на таком ландшафте тратится огромное кол-во итераций вычислений, что бы найти максимально приближенную к минимуму точку.

И это только небольшой эпизод в обучении. Сами эти ландшафты (функции) как раз из себя представляют данные, которые уже связаны с нейронами сетью и определяют между собой весами уровни влияния в зависимости от поступающих в сеть данных.

Так вот идея о том, что можно использовать распределëнные вычисления для такого обучения не лишена смысла. Однако вычисления хэш-сумм для того же биткойна сюда не притянешь. Так как вычислять нужно определëнную функцию, формируемую определëнными данными, продвигаясь по градиентному спуску.

В сети биткойна входными данными является только предыдущий блок, то есть вся сеть наперебой считает правильные хеши, которые криптографически согласуются только с прошлым элементом в цепочке.

А для расчëтов обучения нейро-сети входные данные определяет разнообразный контент (тексты, пиксели, статистика и т.д.)

Так что, биток и ему подобные PoW просто впустую тратят ресурс лишь для того, что бы все поверили в то, что миллионы мух не могут ошибаться 😆 Потому как фактически вычислить следующий корректный блок в сети битка может даже и ваша мобилка.

#mem #yt #n42 #comp

В последнее время заметные медийные фигуры чаще стали использовать число 42 в своих сообщениях.

"Автостопом по галактике" рассказывает о форме виртуальности для поиска ответа на "основной вопрос" и о "великом думателе", суперкомпьютере, который предложил мега-проект по следующей итерации поиска ответа.

В виду нынешнего ажиотажа вокруг обучения нейро-сетей, больших лингвистических моделей и разговоров об ИИ, эта отсылка к числу 42 начала набирать новую популярность.

Вместо тысячи слов 😉😁
https://www.youtube.com/watch?v=D5O0vqatpXg

#ripple #xrp #table #odl #sales

Таблица продаж и покупок XRP компанией Ripple

https://twitter.com/LeoHadjiloizou/status/1651675868614258704

#ledger #spy #opinion

Ledger live
Весьма странно, что приложению нужно общаться с компанией производителем Ledger по API во время создания нового счëта на монетку.

На скрине ошибка связи скорее всего. И если б не она, то и видно б даже не было, что приложение куда-то стучит.

Чисто технически, создать, открыть новый адрес (счëт) для того же xlm можно без проблем имея только холодный кошелëк.

Что передаëт? Сливает данные об открываемых адресах и то, что они открыты именно на Ledger?

Значит компания знает все счета и все монетки, которыми вы управляете через ваш холодный кошелëк... а значит и знает сколько вы храните в общем и чего, ваш ip адрес (вашу локацию), отпечатки вашего устройства (компьютера).

И этого уже может быть достаточно, что бы идентифицировать вас. Так как с этого компьютера вы же заходите и в социалки скорее всего, и в почту, и много где ещë оставляете свои следы.

#energy #vs #top #hbar

Hedera заявила, что их сеть потребляет 0,000003 кВ/ч за одну транзакцию. Результат впечатляющий, явный лидер для проекта на криптографии.
Источник: https://hedera.com/ucl-blockchain-energy

Добавил парочку XLM и XRP 😏
Для TON не нашёл цифр, везде говорят что "энерго-эффективен" и точка.

Так же, проверяя данные из таблицы, вижу расхождения. В разных источниках приводятся разные цифры для сетей из списка в этом сравнении.

Очень многое в потреблении этих kWh зависит от процессоров, сетевого оборудования, плат и блоков питания, на которых делают эти тесты. Новые поколения процессоров, как правило, потребляют меньше энергии на те же действия. Потому и цифры везде разные.

Ripple такой замер делала давненько: в 2019 году.
https://xrptoken.insure/carbon-calculator.html

Хорошо описано как делают подобные замеры потребления энергии на транзакции на примере Stellar

#tv #media #news #opinion #vs

Обвëртки разные, но конфетки одинаковые.
Вы вольны выбирать что смотреть и что слушать. У вас есть свобода выбора и воли. Ведь есть?🤨

#ps
Так же и по новостям на крипторынках 😆

#music #alphavile #symphony #bdmp

Alphaville
Eternally Yours
Symphonic Version (Single Edit)

Sounds like a Melody

2022

---

Совершенно другое звучание, когда уже забытый, казалось бы, попс играет с оркестром.