В Японии запустили эволюцию мертвого разума.
Изобретен способ совершенствования «потомства» моделей генеративного ИИ, схожий с размножением и естественным отбором
Японский стартап Sakana AI использовал технику «слияния моделей», объединяющую существующие модели генеративного ИИ в сотни моделей нового поколения (модели-потомки) [0]. Эволюционный алгоритм отбирает среди потомков лучших и повторяет на них «слияние моделей». В результате этой эволюции через сотни поколений получаются превосходные модели [1].
Ключевой критерий эволюционного отбора - поиск наилучших способов объединения моделей - «родителей»: как с точки зрения их конструкции (архитектуры), так и того, как они «думают» (их параметров).
Напр., выведенная таким путем модель EvoLLM-JP с 7 млрд параметров (языковая модель с хорошим знанием японского языка и математическими способностями) в ряде тестов превосходит существующие модели с 70 млрд параметров.
Кроме этой модели, путем «разведения» существующих моделей с открытым исходным кодом для создания оптимизированного «потомства», были созданы:
✔️ EvoSDXL-JP: диффузионная модель для высокоскоростной визуализации
✔️ EvoVLM-JP: языковая модель Vision для японского текста и изображений.
Колоссальный интерес к методу Sakana AI вызван тем, что это новый альтернативный путь обучения ИИ.
• Хотя метод «слияния моделей» весьма эффективен для развития LLM из-за его экономической эффективности, в настоящее время он опирается на человеческую интуицию и знание предметной области, что ограничивает его потенциал.
• Предложенный же Sakana AI эволюционный подход, преодолевает это ограничение, автоматически обнаруживая эффективные комбинации различных моделей с открытым исходным кодом, используя их коллективный разум, не требуя обширных дополнительных обучающих данных или вычислений.
В контексте этой работы важно понимать следующее.
В настоящее время, из-за острой необходимости преодоления сверхгигантских требований к вычислительной мощности при разработке более крупных моделей, разработана концепция «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном).
В основе концепции «смертных вычислений» гипотеза о том, что обучение «бессмертного» компьютера требует на порядки большей вычислительной мощности, чем «смертного» (пример - биологический мозг). Поэтому предлагаются два способа сделать компьютер «смертным», и тем решить проблему сверхгигантской вычислительной мощи.
Предложенный же японцами подход может способствовать решению этой проблемы для «бессмертных» (т.е. по сути мертвых) вычислителей, путем запуска эволюции мертвого разума (подробней см. [2 и 3]).
0 https://telegra.ph/file/c006a48b075398d3494bc.gif
1 https://sakana.ai/evolutionary-model-merge/
2 https://arxiv.org/abs/2403.13187
3 https://www.youtube.com/watch?v=BihyfzOidDI
#LLM #Эволюция #Разум #СмертныеВычисления
Изобретен способ совершенствования «потомства» моделей генеративного ИИ, схожий с размножением и естественным отбором
Японский стартап Sakana AI использовал технику «слияния моделей», объединяющую существующие модели генеративного ИИ в сотни моделей нового поколения (модели-потомки) [0]. Эволюционный алгоритм отбирает среди потомков лучших и повторяет на них «слияние моделей». В результате этой эволюции через сотни поколений получаются превосходные модели [1].
Ключевой критерий эволюционного отбора - поиск наилучших способов объединения моделей - «родителей»: как с точки зрения их конструкции (архитектуры), так и того, как они «думают» (их параметров).
Напр., выведенная таким путем модель EvoLLM-JP с 7 млрд параметров (языковая модель с хорошим знанием японского языка и математическими способностями) в ряде тестов превосходит существующие модели с 70 млрд параметров.
Кроме этой модели, путем «разведения» существующих моделей с открытым исходным кодом для создания оптимизированного «потомства», были созданы:
✔️ EvoSDXL-JP: диффузионная модель для высокоскоростной визуализации
✔️ EvoVLM-JP: языковая модель Vision для японского текста и изображений.
Колоссальный интерес к методу Sakana AI вызван тем, что это новый альтернативный путь обучения ИИ.
• Хотя метод «слияния моделей» весьма эффективен для развития LLM из-за его экономической эффективности, в настоящее время он опирается на человеческую интуицию и знание предметной области, что ограничивает его потенциал.
• Предложенный же Sakana AI эволюционный подход, преодолевает это ограничение, автоматически обнаруживая эффективные комбинации различных моделей с открытым исходным кодом, используя их коллективный разум, не требуя обширных дополнительных обучающих данных или вычислений.
В контексте этой работы важно понимать следующее.
В настоящее время, из-за острой необходимости преодоления сверхгигантских требований к вычислительной мощности при разработке более крупных моделей, разработана концепция «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном).
В основе концепции «смертных вычислений» гипотеза о том, что обучение «бессмертного» компьютера требует на порядки большей вычислительной мощности, чем «смертного» (пример - биологический мозг). Поэтому предлагаются два способа сделать компьютер «смертным», и тем решить проблему сверхгигантской вычислительной мощи.
Предложенный же японцами подход может способствовать решению этой проблемы для «бессмертных» (т.е. по сути мертвых) вычислителей, путем запуска эволюции мертвого разума (подробней см. [2 и 3]).
0 https://telegra.ph/file/c006a48b075398d3494bc.gif
1 https://sakana.ai/evolutionary-model-merge/
2 https://arxiv.org/abs/2403.13187
3 https://www.youtube.com/watch?v=BihyfzOidDI
#LLM #Эволюция #Разум #СмертныеВычисления
