MAMBA для начинающих: Нейронка, которая лучше и быстрее, чем Трансформеры
Мамба — архитектура нейронной сети, конкурирующая с трансформерами.
Основываясь на улучшенных рекуррентных нейронных сетях (RNN), Мамба использует линейные функции, позволяющие эффективно обрабатывать большие объёмы данных с минимальными вычислительными затратами.
Разработка показала интересные результаты даже на моделях с несколькими миллиардами параметров.
Мамба способна работать с более крупными контекстами при меньшем объеме расчетов, чем трансформеры, что делает её особенно ценной для задач, требующих обработки большого массива информации.
Проблемы с исчезающими градиентами, характерные для RNN, в Мамбе решаются через инициализацию весов и настройку параметров угла и магнитуды.
Интересный подход. Есть, правда, проблемы с распараллеливанием, но для общего развития ролик полезный.
#CNN, #RNN, #Mamba
-------
@tsingular
Мамба — архитектура нейронной сети, конкурирующая с трансформерами.
Основываясь на улучшенных рекуррентных нейронных сетях (RNN), Мамба использует линейные функции, позволяющие эффективно обрабатывать большие объёмы данных с минимальными вычислительными затратами.
Разработка показала интересные результаты даже на моделях с несколькими миллиардами параметров.
Мамба способна работать с более крупными контекстами при меньшем объеме расчетов, чем трансформеры, что делает её особенно ценной для задач, требующих обработки большого массива информации.
Проблемы с исчезающими градиентами, характерные для RNN, в Мамбе решаются через инициализацию весов и настройку параметров угла и магнитуды.
Интересный подход. Есть, правда, проблемы с распараллеливанием, но для общего развития ролик полезный.
#CNN, #RNN, #Mamba
-------
@tsingular
NeuralOS: операционная система на нейросетях
Исследователи создали NeuralOS — первую попытку симуляции операционной системы через нейросети. Система предсказывает кадры экрана в ответ на действия пользователя: движения мыши, клики, нажатия клавиш.
Архитектура объединяет рекуррентную нейросеть для отслеживания состояния компьютера и диффузионную модель для рендеринга интерфейса. Обучение прошло на записях Ubuntu XFCE с случайными и реалистичными взаимодействиями.
Попробовать можно на neural-os.com. Пока точно работают мышь и запуск приложений, с клавиатурой сложнее. Но это шаг к полностью адаптивным нейроинтерфейсам будущего.
Кстати, неплохо продолжает вот эту мою мысль
#NeuralOS #diffusion #RNN
------
@tsingular
Исследователи создали NeuralOS — первую попытку симуляции операционной системы через нейросети. Система предсказывает кадры экрана в ответ на действия пользователя: движения мыши, клики, нажатия клавиш.
Архитектура объединяет рекуррентную нейросеть для отслеживания состояния компьютера и диффузионную модель для рендеринга интерфейса. Обучение прошло на записях Ubuntu XFCE с случайными и реалистичными взаимодействиями.
Попробовать можно на neural-os.com. Пока точно работают мышь и запуск приложений, с клавиатурой сложнее. Но это шаг к полностью адаптивным нейроинтерфейсам будущего.
Кстати, неплохо продолжает вот эту мою мысль
#NeuralOS #diffusion #RNN
------
@tsingular
🤔7👍5🔥3