Обзор локальных архитектур для больших языковых моделей. Часть 3/4
3️⃣ RISC-V
Архитектура RISC-V — открытый набор инструкций (ISA), позволяющий разрабатывать кастомные процессоры без лицензионных отчислений. В отличие от закрытых решений типа ARM (хотя и там появляется опенсорс), RISC-V дает полную свободу модификации и оптимизации под конкретные задачи, что критично для Edge AI-решений.
Главные преимущества RISC-V перед ARM:
👉 Открытость — разработчики могут адаптировать ISA под любые нужды, не заботясь о лицензировании.
👉 Модульность и кастомизация — можно брать определенный набор инструкций и расширений под конкретное решение, ничего лишнего.
👉 Энергоэффективность — микропроцессор RISC-V на 5 ГГц «ест» всего 1 Вт при напряжении 1,1В, т.е. менее 1% рабочего энергопотребления чипа Intel Xeon.
👉 Экономичность — отсутствие лицензионных платежей снижает себестоимость чипов.
Есть и недостатки:
➖ Недостаточная зрелость технологии. RISC-V — относительно новая архитектура по сравнению с той же ARM. Отсюда несбалансированность, дефекты команд, небольшой выбор инструментов, библиотек и документации для разработчиков, ограниченная поддержка операционных систем, приложений и драйверов.
➖ Относительно низкая производительность для AI-решений. Процессоры RISC-V показывают пока невысокий инференс даже на оптимизированных LLM типа TinyLlama 1.1B — 1-5 TOPS на выходе.
И все-таки архитектура стремительно наращивает популярность. Зрелость — дело наживное, целые лаборатории работают над оптимизацией алгоритмов и созданием софтверной экосистемы. Благодаря опенсорсу сложилось огромное комьюнити независимых разработчиков. Да и лидеры не отстают: консорциум RISC-V International, контролирующий технологию, включает уже почти 400 научных и коммерческих организаций, включая китайский Институт вычислительных технологий, Google, Qualcomm, Western Digital, Hitachi, Samsung, Huawei, ZTE, Tencent и Alibaba Cloud.
Почему? Смотрите выше. Если ARM хороша для многофункциональных мобильных устройств, то RISC-V — идеальный вариант для специализированных нишевых решений. А ниш очень много.
Где особо востребована архитектура RISC-V?
👉 Везде, где нужны не огромные LLM, а оптимизированные и заранее обученные малые модели:
• интернет вещей,
• промышленная робототехника,
• беспилотный транспорт,
• машинное зрение,
• интеллектуальные системы безопасности
• с/х автоматика (умные теплицы и пр.)
Здесь RISC-V обеспечивает нужное быстродействие, автономность, дешевизну и защищенность.
👉 Популярной сферой применения RISC-V являются периферийные шлюзы ИИ, например системы управления датчиками «умного дома» и другой потребительской робототехники, рынок которой постоянно расширяется.
👉 Отдельная тема — применение RISC-V в военной и аэрокосмической отрасли, над чем давно работают в Китае, США и Европе.
👉 Более того: на CPU RISC-V строят вычислительные кластеры для облачных дата-центров. Даже ноутбуки выпускают со специальными фреймворками и нейромодулями (NPU), позволяющими подключать локальные API LLM и разгонять инференс до 40 терафлопс. Но это скорее экзотика, с ARM здесь не поконкурируешь.
📈 Динамика рынка чипов RISC-V
По некоторым оценкам, начиная с 2024 года объемы поставок процессоров RISC-V будут в среднем расти на 50% ежегодно. К 2030-му годовой объем поставок чипов RISC-V для Edge AI (исключая TinyML) достигнет 129 миллионов, заняв 25% рынка процессоров. Из этого количества 70% составят поставки для личных и рабочих устройств и шлюзов Edge AI.
Некоторые энтузиасты спешат объявить RISC-V «ARM-киллером» и «геймчейнджером на рынке EdgeAI». На самом деле это просто еще одна технология, для которой пришло время и сформировался спрос. Развитие ИИ подстегнуло интерес к архитектуре, а развитие архитектуры становится драйвером для дальнейшего развития периферийных AI-устройств.
#EdgeAI #внедрениеAI #LLM #RISCV #SLM
🚀 ©ТехноТренды
3️⃣ RISC-V
Архитектура RISC-V — открытый набор инструкций (ISA), позволяющий разрабатывать кастомные процессоры без лицензионных отчислений. В отличие от закрытых решений типа ARM (хотя и там появляется опенсорс), RISC-V дает полную свободу модификации и оптимизации под конкретные задачи, что критично для Edge AI-решений.
Главные преимущества RISC-V перед ARM:
👉 Открытость — разработчики могут адаптировать ISA под любые нужды, не заботясь о лицензировании.
👉 Модульность и кастомизация — можно брать определенный набор инструкций и расширений под конкретное решение, ничего лишнего.
👉 Энергоэффективность — микропроцессор RISC-V на 5 ГГц «ест» всего 1 Вт при напряжении 1,1В, т.е. менее 1% рабочего энергопотребления чипа Intel Xeon.
👉 Экономичность — отсутствие лицензионных платежей снижает себестоимость чипов.
Есть и недостатки:
➖ Недостаточная зрелость технологии. RISC-V — относительно новая архитектура по сравнению с той же ARM. Отсюда несбалансированность, дефекты команд, небольшой выбор инструментов, библиотек и документации для разработчиков, ограниченная поддержка операционных систем, приложений и драйверов.
➖ Относительно низкая производительность для AI-решений. Процессоры RISC-V показывают пока невысокий инференс даже на оптимизированных LLM типа TinyLlama 1.1B — 1-5 TOPS на выходе.
И все-таки архитектура стремительно наращивает популярность. Зрелость — дело наживное, целые лаборатории работают над оптимизацией алгоритмов и созданием софтверной экосистемы. Благодаря опенсорсу сложилось огромное комьюнити независимых разработчиков. Да и лидеры не отстают: консорциум RISC-V International, контролирующий технологию, включает уже почти 400 научных и коммерческих организаций, включая китайский Институт вычислительных технологий, Google, Qualcomm, Western Digital, Hitachi, Samsung, Huawei, ZTE, Tencent и Alibaba Cloud.
Почему? Смотрите выше. Если ARM хороша для многофункциональных мобильных устройств, то RISC-V — идеальный вариант для специализированных нишевых решений. А ниш очень много.
Где особо востребована архитектура RISC-V?
👉 Везде, где нужны не огромные LLM, а оптимизированные и заранее обученные малые модели:
• интернет вещей,
• промышленная робототехника,
• беспилотный транспорт,
• машинное зрение,
• интеллектуальные системы безопасности
• с/х автоматика (умные теплицы и пр.)
Здесь RISC-V обеспечивает нужное быстродействие, автономность, дешевизну и защищенность.
👉 Популярной сферой применения RISC-V являются периферийные шлюзы ИИ, например системы управления датчиками «умного дома» и другой потребительской робототехники, рынок которой постоянно расширяется.
👉 Отдельная тема — применение RISC-V в военной и аэрокосмической отрасли, над чем давно работают в Китае, США и Европе.
👉 Более того: на CPU RISC-V строят вычислительные кластеры для облачных дата-центров. Даже ноутбуки выпускают со специальными фреймворками и нейромодулями (NPU), позволяющими подключать локальные API LLM и разгонять инференс до 40 терафлопс. Но это скорее экзотика, с ARM здесь не поконкурируешь.
📈 Динамика рынка чипов RISC-V
По некоторым оценкам, начиная с 2024 года объемы поставок процессоров RISC-V будут в среднем расти на 50% ежегодно. К 2030-му годовой объем поставок чипов RISC-V для Edge AI (исключая TinyML) достигнет 129 миллионов, заняв 25% рынка процессоров. Из этого количества 70% составят поставки для личных и рабочих устройств и шлюзов Edge AI.
Некоторые энтузиасты спешат объявить RISC-V «ARM-киллером» и «геймчейнджером на рынке EdgeAI». На самом деле это просто еще одна технология, для которой пришло время и сформировался спрос. Развитие ИИ подстегнуло интерес к архитектуре, а развитие архитектуры становится драйвером для дальнейшего развития периферийных AI-устройств.
#EdgeAI #внедрениеAI #LLM #RISCV #SLM
🚀 ©ТехноТренды
⚡1❤1🔥1
Обзор локальных архитектур для больших языковых моделей. Часть 4/4
4️⃣ Сравнения и выводы
👉 Развитие ИИ остается ключевым драйвером роста для всех трех архитектур.
⚡️ ARM активно захватывает рынок процессоров, неумолимо вытесняя x86. Архитектура сейчас господствует в high-end сегменте (Apple M4, Snapdragon Elite от Qualcomm и т.п.).
⚡️ RISC-V догоняет лидера, усиливая свои позиции, причем не только в интернете вещей, но и в других отраслях, таких как транспорт и связь. Росту способствуют открытость архитектуры и низкая стоимость (прогноз: 20% рынка к 2027).
⚡️ Микро-ПК набирают популярность как настольная платформа для GenAI, обеспечивая приличный инференс на устройствах с низким энергопотреблением. Наличие модулей NPU/TPU становится стандартом даже в бюджетных SBC.
👉 Энергоэффективность CPU в Edge AI является сегодня определяющим трендом.
Здесь вне конкуренции RISC-V. Новый процессор Micro Magic на базе RISC-V выдает 55,000 баллов CoreMark на ватт при потреблении около 0.2 Вт.
Сравните с другими архитектурами:
• Apple M1 (ARM) — 100 баллов на ватт при энергопотреблении около 15 Вт;
• Intel Core i9-11980HK (x86) — те же 100 баллов, но при потреблении около 35 Вт.
В недавней работе, представленной на arXiv, исследуется ускорение вывода больших языковых моделей (LLM) на серверных платформах с архитектурой RISC-V. На стандартной модели Llama 7B инференс удалось разогнать до 6,63 и 13,07 токенов/с при генерации и предварительном заполнении, что в 4,3—5,5 раза быстрее по сравнению с базовым уровнем и вполне конкурентно с CPU на базе x86. При этом энергоэффективность возросла в 1,2 раза (55 токенов/с/мВт против 45 токенов/с/мВт).
Это исследование демонстрирует потенциал RISC-V в задачах, связанных с искусственным интеллектом, особенно в контексте энергоэффективных решений Edge AI.
👉 В целом, высокий спрос на GenAI и роботизацию кардинально меняет индустрию CPU для периферийных устройств. Уходят старые технологии, а новые диверсифицируются и совершенствуются, расширяя спектр доступных решений. При этом практический выбор архитектуры зависит от баланса между мощностью, энергопотреблением и поддержкой AI-ускорителей.
#EdgeAI #внедрениеAI #LLM #SBC #ARN #RISCV #инференс
🚀 ©ТехноТренды
4️⃣ Сравнения и выводы
👉 Развитие ИИ остается ключевым драйвером роста для всех трех архитектур.
⚡️ ARM активно захватывает рынок процессоров, неумолимо вытесняя x86. Архитектура сейчас господствует в high-end сегменте (Apple M4, Snapdragon Elite от Qualcomm и т.п.).
⚡️ RISC-V догоняет лидера, усиливая свои позиции, причем не только в интернете вещей, но и в других отраслях, таких как транспорт и связь. Росту способствуют открытость архитектуры и низкая стоимость (прогноз: 20% рынка к 2027).
⚡️ Микро-ПК набирают популярность как настольная платформа для GenAI, обеспечивая приличный инференс на устройствах с низким энергопотреблением. Наличие модулей NPU/TPU становится стандартом даже в бюджетных SBC.
👉 Энергоэффективность CPU в Edge AI является сегодня определяющим трендом.
Здесь вне конкуренции RISC-V. Новый процессор Micro Magic на базе RISC-V выдает 55,000 баллов CoreMark на ватт при потреблении около 0.2 Вт.
Сравните с другими архитектурами:
• Apple M1 (ARM) — 100 баллов на ватт при энергопотреблении около 15 Вт;
• Intel Core i9-11980HK (x86) — те же 100 баллов, но при потреблении около 35 Вт.
В недавней работе, представленной на arXiv, исследуется ускорение вывода больших языковых моделей (LLM) на серверных платформах с архитектурой RISC-V. На стандартной модели Llama 7B инференс удалось разогнать до 6,63 и 13,07 токенов/с при генерации и предварительном заполнении, что в 4,3—5,5 раза быстрее по сравнению с базовым уровнем и вполне конкурентно с CPU на базе x86. При этом энергоэффективность возросла в 1,2 раза (55 токенов/с/мВт против 45 токенов/с/мВт).
Это исследование демонстрирует потенциал RISC-V в задачах, связанных с искусственным интеллектом, особенно в контексте энергоэффективных решений Edge AI.
👉 В целом, высокий спрос на GenAI и роботизацию кардинально меняет индустрию CPU для периферийных устройств. Уходят старые технологии, а новые диверсифицируются и совершенствуются, расширяя спектр доступных решений. При этом практический выбор архитектуры зависит от баланса между мощностью, энергопотреблением и поддержкой AI-ускорителей.
#EdgeAI #внедрениеAI #LLM #SBC #ARN #RISCV #инференс
🚀 ©ТехноТренды
⚡1👍1👏1