Блокнот Техника [📌📒📟]
1.11K subscribers
2.46K photos
192 videos
11 files
785 links
Блокнот. Заметки, наблюдения, мысли.

Open Source: Основано на открытых источниках.

Всë представленное здесь - только для ознакомления. Всë написанное - есть плод моих фантазий и мыслей.

Достоверность публикуемого не гарантируется. Проверяйте сами.
Download Telegram
AbstractDL
Дропаут ускоряет обучение глубоких моделей (by META) Раньше считалось, что с дропаутом лосс наоборот падает медленнее, и это своего рода цена за спасение от переобучения — но оказалось, что это не так. Eсли применять дропаут только в самом начале обучения…
#ps #neuro #func #data #opinion

Обучение нейро-сети - это множественные однотипные вычисления определëнного уравнения, где на условно кривой поверхности (функции) нужно вычислить точку с максимально возможным минимумом.

На картинке выше приведëн лишь наглядный пример, который призван объяснить проблематику оптимизации расчëтов.
На практике же, такое поле представляет визуально из себя сложный ландшафт, со своими оврагами, горами, холмами и колодцами. И уже на таком ландшафте тратится огромное кол-во итераций вычислений, что бы найти максимально приближенную к минимуму точку.

И это только небольшой эпизод в обучении. Сами эти ландшафты (функции) как раз из себя представляют данные, которые уже связаны с нейронами сетью и определяют между собой весами уровни влияния в зависимости от поступающих в сеть данных.

Так вот идея о том, что можно использовать распределëнные вычисления для такого обучения не лишена смысла. Однако вычисления хэш-сумм для того же биткойна сюда не притянешь. Так как вычислять нужно определëнную функцию, формируемую определëнными данными, продвигаясь по градиентному спуску.

В сети биткойна входными данными является только предыдущий блок, то есть вся сеть наперебой считает правильные хеши, которые криптографически согласуются только с прошлым элементом в цепочке.

А для расчëтов обучения нейро-сети входные данные определяет разнообразный контент (тексты, пиксели, статистика и т.д.)

Так что, биток и ему подобные PoW просто впустую тратят ресурс лишь для того, что бы все поверили в то, что миллионы мух не могут ошибаться 😆 Потому как фактически вычислить следующий корректный блок в сети битка может даже и ваша мобилка.
2
#stat #stats #blocknote #data

2025-03-22

Статистика блокнота

Любопытны были некоторые странички в последнее время... Они были и во времени и в тренде и с уникальным кэфом... Они привлекли внимание 😁

📔 @tech_di
👍231
#shuman #resonance #time #timeframe #data

Кто-нибудь пробовал составить карту за месяца и лета графиков возмущения частот по резонансу Шумана? 😉

https://t.iss.one/tech_di/s/58
🔥42👍1