Ученые представили эффективную модель StreamingLLM для обучения языковых моделей
- Ученые из MIT, Meta AI и Carnegie Mellon предложили фреймворк StreamingLLM для обучения языковых моделей на бесконечной длине последовательности без дорогостоящей донастройки.
- Предложенный метод позволяет решить проблему деградации работы языковых моделей при встрече с последовательностями, превышающими их корпус обучения.
- StreamingLLM использует тенденцию моделей сохранять исходные токены как "точки внимания", позволяя снизить перплексию и достигать скорости декодирования в 22 раза быстрее, чем при использовании предыдущих техник.
#StreamingLLM, #языковыемодели, #MetaAI
https://notes.aimodels.fyi/llm-infinite-context-window-streamingllm/
- Ученые из MIT, Meta AI и Carnegie Mellon предложили фреймворк StreamingLLM для обучения языковых моделей на бесконечной длине последовательности без дорогостоящей донастройки.
- Предложенный метод позволяет решить проблему деградации работы языковых моделей при встрече с последовательностями, превышающими их корпус обучения.
- StreamingLLM использует тенденцию моделей сохранять исходные токены как "точки внимания", позволяя снизить перплексию и достигать скорости декодирования в 22 раза быстрее, чем при использовании предыдущих техник.
#StreamingLLM, #языковыемодели, #MetaAI
https://notes.aimodels.fyi/llm-infinite-context-window-streamingllm/
AIModels.fyi
LLMs can be extended to infinite sequence lengths without fine-tuning
LLMs trained with a finite attention window can be extended to infinite sequence lengths without any fine-tuning.
Meta* создаёт новую лабораторию для разработки суперинтеллекта
Meta* запускает специальное подразделение для создания искусственного суперинтеллекта - Fundamental AI Research (FAIR).
Новая лаборатория будет заниматься прорывными исследованиями в области ИИ, способного превзойти человеческие когнитивные способности во всех областях.
Марк Цукерберг заявил, что компания инвестирует миллиарды долларов в разработку следующего поколения ИИ-систем.
Лаборатория будет работать параллельно с существующими проектами Llama, но сосредоточится на долгосрочных целях создания универсального суперинтеллекта.
ASI так или иначе будет создан уже очень скоро.
*Meta - запрещенная в РФ организация
#MetaAI #Superintelligence #ASI
———
@tsingular
Meta* запускает специальное подразделение для создания искусственного суперинтеллекта - Fundamental AI Research (FAIR).
Новая лаборатория будет заниматься прорывными исследованиями в области ИИ, способного превзойти человеческие когнитивные способности во всех областях.
Марк Цукерберг заявил, что компания инвестирует миллиарды долларов в разработку следующего поколения ИИ-систем.
Лаборатория будет работать параллельно с существующими проектами Llama, но сосредоточится на долгосрочных целях создания универсального суперинтеллекта.
ASI так или иначе будет создан уже очень скоро.
*Meta - запрещенная в РФ организация
#MetaAI #Superintelligence #ASI
———
@tsingular
❤🔥3⚡1