Edge AI, или периферийный ИИ — принцип развертывания искусственного интеллекта на локальных микроустройствах или компактных компьютерах с низким энергопотреблением. Сегодня это один из главных векторов развития AI-индустрии, наряду с Cloud AI (облачными сервисами).

Рынок Edge AI бурно растет. В 2024 году он оценивался в $12,5 млрд и, по прогнозам, к 2034 году достигнет $109,4 млрд (среднегодовой темп роста — 24,8%, неплохо, хоть и медленнее «облаков»).

В чем преимущества локального AI над «облаком»?
👍 Скорость работы: на локалке модуль AI связан напрямую с источником данных, что позволяет ему принимать решения намного быстрее облачных систем, за счет минимальных задержек сигнала.
👍 Низкое энергопотребление, особенно с применением специальных оптимизирующих сопроцессоров типа NPU.
👍 Сокращение трафика: Edge AI обрабатывает данные без передачи в облако, за счет чего экономится много пропускной способности.
👍 Повышенная безопасность и конфиденциальность: по той же причине система с Edge AI гораздо менее уязвима для кибератак и утечек информации.
👍 Способность работать вообще без интернета, что может быть важно в удаленных районах, на море или в сельской местности.
👍 Экономия средств: производственное предприятие среднего размера, использующее периферийный ИИ для мониторинга оборудования, может ежегодно экономить до 1,2 миллиона долларов на облачном хранилище и пропускной способности.

Всё это делает Edge AI привлекательным решением для многих сфер применения ИИ:
👉 в промышленности и сельском хозяйстве (автономные станки, комбайны, мобильные AI-ассистенты)
👉 в логистике и на транспорте (умные дроны-перевозчики, складские роботы, беспилотные автомобили)
👉 в медицине (носимые и стационарные устройства с AI для диагностики и контроля)
👉 в городской инфраструктуре (системы контроля трафика и управления городскими службами)
👉 в «интернете вещей» (IoT) — голосовые помощники и интеллектуальные устройства, в т.ч. умные дома
👉 в космической, добывающей, энергетической и других отраслях.

Для развертывания LLM на малом или среднем предприятии локальная платформа тоже может быть выгоднее и безопаснее, чем облачный сервис или собственный кластер GPU. Особенно это актуально в розничной торговле, консалтинге, юриспруденции, гостиничном бизнесе.

Минусы Edge AI
🔻 Низкая производительность периферийных устройств по сравнению с облачными системами.
🔻 Возможность ошибок и сбоев из-за ограниченных ресурсов и проблем с подключением к сети.
🔻 Ограниченная масштабируемость и сложность управления большим количеством устройств.

Ограниченность ресурсов преодолевается путем комбинации разных чипов, оптимизации инференса и разработки более экономных алгоритмов ML, что позволяет размещать вполне функциональные GenAI-модели на слабых устройствах вроде смартфонов или часов.

Там, где это имеет значение (например, при управлении «роем» мобильных роботов), создаются гибридные системы, сочетающие индивидуальные ИИ c единым центром принятия решений, или же формируются распределенные экосистемы. Например, на днях Intel презентовала Edge AI Suites и Open Edge Platform — набор инструментов и модульную платформу для массового внедрения GenAI на локальных устройствах.

Развитие трендов
Если мы посмотрим в будущее после 2025 года, то увидим несколько новых тенденций, связанных с Edge AI:
🔸 Микро-LLM: фреймворки типа TinyML сделают ИИ доступным на крошечных устройствах.
🔸 Edge-AI маркетплейсы: на торговых площадках будут предлагать заранее обученные модели и готовые к использованию периферийные AI-приложения.
🔸 Развитие мобильных сетей. Технологии 5G-Advanced и 6G обеспечат терабитные скорости передачи данных, открывая новые перспективы для смартфонов с ИИ, очков с дополненной реальностью и роевой робототехники. Кстати, на прошедшей недавно MWC'25 в Барселоне Edge AI был одной из главных тем.
🔸 Квантовый компьютинг. А вот когда настанет цифровой коммунизм и квантовые компьютеры займут нишу современных ПК, для периферийного ИИ придут совсем уж золотые времена 😉 Но это уже совсем другая история...

#EdgeAI #внедрениеAI #LLM

🚀 ©ТехноТренды

Обзор локальных архитектур для больших языковых моделей. Часть 1/4

Один из главных современных AI-трендов — конвергенция развития больших языковых моделей и вычислительных мощностей. Модели оптимизируются, а устройства совершенствуются. Появляется всё больше возможностей для запуска LLM с миллиардами параметров на периферийных устройствах (Edge AI), без необходимости подключаться к облаку высокопроизводительных GPU-серверов.

О том, как эволюционируют LLM, мы уже писали не раз (тыц, тыц, тыц, тыц). Давайте посмотрим, какие решения предлагают разработчики оборудования.

1️⃣ SBC (Single Board Computers), или одноплатные компьютеры

Одноплатники отличаются тем, что их конфигурация заточена под минимальное энергопотребление, обеспечивая при этом приличное быстродействие. Часто в них встроены NPU (Neural Processing Unit) — специализированные сопроцессоры для решений вида Edge AI. Появление SSD-накопителей, новых скоростных микроконтроллеров и AI-ускорителей сделало эту платформу очень перспективной для домашней или офисной работы с LLM.

Несколько интересных SBC на начало 2025 года:

🔸 Orange Pi 5 Plus — универсальный, очень мощный мини-ПК с новейшим чипом RK3588. Хоть и не обладает специализированным AI‑ускорителем, но имеет встроенный графический процессор и NPU с умеренными показателями.
⚡️ Показатели: вычислительная мощность ~8 TOPS (триллионов операций в секунду, или терафлопс), инференс ~25 токенов в секунду, энергопотребление ~7-10Вт.

🔸 Raspberry Pi 5 Plus — популярный инструмент с тем же чипом RK3588 для самостоятельной разработки и обучения LLM. Благодаря интеграции AI-ускорителя Hailo-8L или Hailo-8 может запускать модели среднего размера.
⚡️ Показатели: ~26 TOPS, ~35 токенов/сек, ~8-12Вт.

🔸 NVIDIA Jetson Orin Nano Super (на базе NVIDIA Jetson Orin Nano) — решение, оптимизированное для работы с нейронными сетями на базе архитектуры Ampere, обеспечивает высокий инференс, но отличается повышенным энергопотреблением.
⚡️ Показатели: ~40 TOPS, ~45 токенов/сек, ~25Вт.

Скорость выше 10 токенов в секунду превосходит скорость чтения большинства людей, т.е. работа приложений воспринимается практически без задержек. Как видим, одноплатные компьютеры на оптимизированных LLM сегодня могут обеспечить достаточно комфортный инференс для повседневных задач.

• Подробнее об актуальных AI-конфигурациях SBC

#EdgeAI #внедрениеAI #LLM #SBC

🚀 ©ТехноТренды

Обзор локальных архитектур для больших языковых моделей. Часть 2/4

2️⃣ ARM

ARM (Advanced RISC Machine) — это семейство архитектур процессоров, основанных на принципах RISC (Reduced Instruction Set Computing). Процессоры ARM широко используются в различных сценариях обучения (ML) и эксплуатации больших языковых моделей. Их преимущество — высокая энергоэффективность. Чипы потребляют на 30–50% меньше энергии по сравнению с CPU x86, что делает их идеальными для мобильных устройств, где важны срок работы без подзарядки и низкое тепловыделение.

Имея сервер ARM с четырьмя ядрами и 8 ГБ оперативной памяти, можно запускать различные сценарии использования GenAI, например, проводить обучение чат-бота модели Llama-3.1-8B. Команда llama.cpp представила новый двоичный формат под названием GGUF, использующий методы сжатия и квантования, которые снижают потребность в вычислительных ресурсах и объеме ОЗУ. При этом инференс остается на очень приличном уровне — более 300 TPS (токенов в секунду).

Связка ARM и NPU дает еще больше мощности с сохранением энергоэффективности.

Недавний хайп вокруг DeepSeek и последовавшая за этим дискуссия о том, насколько необходима для ИИ облачная инфраструктура, привлекли новое внимание к Edge AI. Свежие заявления руководителей Qualcomm и Arm показывают явный оптимизм: LLM быстро совершенствуются, становятся разнообразнее — а значит, возникает всё больше возможностей для их развертывания на ПК, смартфонах и устройствах IoT («интернета вещей»).

Естественно, лидеры рынка наперегонки «осваивают поляну». Конкуренция просто бешеная.

🔸 Oracle и Ampere объявили о сотрудничестве в оптимизации llama.cpp для работы с CPU Ampere Arm 64, используя методологию GGUF. На процессоре Arm A1 с 40 OCPU скорость инференса приближается к 40 TPS.

🔸 Компания Arm форсирует проникновение на рынок с целой серией решений на базе передовой платформы Armv9, специально заточенной под обслуживание LLM на IoT-устройствах. Платформа обеспечивает в 8 раз более высокую производительность машинного обучения (ML) по сравнению с прошлогодним Cortex-M85.

🔸 Китайцы из Radxa продвигают новинку Radxa Orion O6 mini-ITX — по сути одноплатник с 12-ядерным процессором Cix P1 Armv9 SoC, GPU Arm Immortalis-G720 и AI-ускорителем на 30 TOPS. Конфигурация догоняет по производительности Apple M1.

🔸 Apple, в свою очередь, продолжает идти в отрыв, выкатив очередную имбу — чип M3 Ultra: CPU с AI-ускорителем, самый мощный в истории Apple встроенный графический процессор, 32-ядерный NPU + программные оболочки Apple Intelligence и Mac Studio. В результате пользователи получают возможность запускать LLM с более чем 600 млрд параметров непосредственно на своем домашнем «Маке».

🔸 Quallcomm вступает в соревнование с Apple, расширяя линейку ARM-процессоров для бюджетных ПК и ноутбуков. Новая версия Snapdragon X с интегрированным нейромодулем (NPU) может обрабатывать до 45 TOPS, что делает ноутбуки совместимыми с AI-приложениями, например с Microsoft Copilot+.

🔸 AMD, желая наверстать свое отставание и потеснить Qualcomm, разрабатывает собственный ARM-процессор Sound Wave с мощным NPU.

🔸 Nvidia тоже объявила о выпуске первого чипа на архитектуре ARM. Релиз планируется на сентябрь 2025 года.

🔸 В конкуренцию с грандами врываются и стартапы. Прошлым летом на краудфандинговой платформе Crowdsupply мгновенно собрали средства на разработку модульного AI-friendly лэптопа GenBook RK3588 с интегрированным NPU мощностью 6 TOPS. В апреле новинка уже выйдет в продажу.

🔸 А где здесь Intel? А она, как тот господин подпоручик, единственная идет «в ногу» и упорно допиливает архитектуру x86, добиваясь сопоставимой с ARM энергоэффективности. Но упорство явно не в плюс: технология морально устарела, и компания теряет контракты. Производители ПК массово переходят на ARM.

Как говорится, зацените движ. Драйвер роста здесь очевиден: устройства на ARM-процессорах становятся всё более востребованными именно как платформа EdgeAI. А значит, конвергенция технологий в этом сегменте продолжится.

#EdgeAI #внедрениеAI #LLM #ARM #IoT

🚀 ©ТехноТренды

Обзор локальных архитектур для больших языковых моделей. Часть 3/4

3️⃣ RISC-V

Архитектура RISC-V — открытый набор инструкций (ISA), позволяющий разрабатывать кастомные процессоры без лицензионных отчислений. В отличие от закрытых решений типа ARM (хотя и там появляется опенсорс), RISC-V дает полную свободу модификации и оптимизации под конкретные задачи, что критично для Edge AI-решений.

Главные преимущества RISC-V перед ARM:
👉 Открытость — разработчики могут адаптировать ISA под любые нужды, не заботясь о лицензировании.
👉 Модульность и кастомизация — можно брать определенный набор инструкций и расширений под конкретное решение, ничего лишнего.
👉 Энергоэффективность — микропроцессор RISC-V на 5 ГГц «ест» всего 1 Вт при напряжении 1,1В, т.е. менее 1% рабочего энергопотребления чипа Intel Xeon.
👉 Экономичность — отсутствие лицензионных платежей снижает себестоимость чипов.

Есть и недостатки:
➖ Недостаточная зрелость технологии. RISC-V — относительно новая архитектура по сравнению с той же ARM. Отсюда несбалансированность, дефекты команд, небольшой выбор инструментов, библиотек и документации для разработчиков, ограниченная поддержка операционных систем, приложений и драйверов.
➖ Относительно низкая производительность для AI-решений. Процессоры RISC-V показывают пока невысокий инференс даже на оптимизированных LLM типа TinyLlama 1.1B — 1-5 TOPS на выходе.

И все-таки архитектура стремительно наращивает популярность. Зрелость — дело наживное, целые лаборатории работают над оптимизацией алгоритмов и созданием софтверной экосистемы. Благодаря опенсорсу сложилось огромное комьюнити независимых разработчиков. Да и лидеры не отстают: консорциум RISC-V International, контролирующий технологию, включает уже почти 400 научных и коммерческих организаций, включая китайский Институт вычислительных технологий, Google, Qualcomm, Western Digital, Hitachi, Samsung, Huawei, ZTE, Tencent и Alibaba Cloud.

Почему? Смотрите выше. Если ARM хороша для многофункциональных мобильных устройств, то RISC-V — идеальный вариант для специализированных нишевых решений. А ниш очень много.

Где особо востребована архитектура RISC-V?
👉 Везде, где нужны не огромные LLM, а оптимизированные и заранее обученные малые модели:
• интернет вещей,
• промышленная робототехника,
• беспилотный транспорт,
• машинное зрение,
• интеллектуальные системы безопасности
• с/х автоматика (умные теплицы и пр.)
Здесь RISC-V обеспечивает нужное быстродействие, автономность, дешевизну и защищенность.
👉 Популярной сферой применения RISC-V являются периферийные шлюзы ИИ, например системы управления датчиками «умного дома» и другой потребительской робототехники, рынок которой постоянно расширяется.
👉 Отдельная тема — применение RISC-V в военной и аэрокосмической отрасли, над чем давно работают в Китае, США и Европе.
👉 Более того: на CPU RISC-V строят вычислительные кластеры для облачных дата-центров. Даже ноутбуки выпускают со специальными фреймворками и нейромодулями (NPU), позволяющими подключать локальные API LLM и разгонять инференс до 40 терафлопс. Но это скорее экзотика, с ARM здесь не поконкурируешь.

📈 Динамика рынка чипов RISC-V
По некоторым оценкам, начиная с 2024 года объемы поставок процессоров RISC-V будут в среднем расти на 50% ежегодно. К 2030-му годовой объем поставок чипов RISC-V для Edge AI (исключая TinyML) достигнет 129 миллионов, заняв 25% рынка процессоров. Из этого количества 70% составят поставки для личных и рабочих устройств и шлюзов Edge AI.

Некоторые энтузиасты спешат объявить RISC-V «ARM-киллером» и «геймчейнджером на рынке EdgeAI». На самом деле это просто еще одна технология, для которой пришло время и сформировался спрос. Развитие ИИ подстегнуло интерес к архитектуре, а развитие архитектуры становится драйвером для дальнейшего развития периферийных AI-устройств.

#EdgeAI #внедрениеAI #LLM #RISCV #SLM

🚀 ©ТехноТренды

Обзор локальных архитектур для больших языковых моделей. Часть 4/4

4️⃣ Сравнения и выводы

👉 Развитие ИИ остается ключевым драйвером роста для всех трех архитектур.
⚡️ ARM активно захватывает рынок процессоров, неумолимо вытесняя x86. Архитектура сейчас господствует в high-end сегменте (Apple M4, Snapdragon Elite от Qualcomm и т.п.).
⚡️ RISC-V догоняет лидера, усиливая свои позиции, причем не только в интернете вещей, но и в других отраслях, таких как транспорт и связь. Росту способствуют открытость архитектуры и низкая стоимость (прогноз: 20% рынка к 2027).
⚡️ Микро-ПК набирают популярность как настольная платформа для GenAI, обеспечивая приличный инференс на устройствах с низким энергопотреблением. Наличие модулей NPU/TPU становится стандартом даже в бюджетных SBC.

👉 Энергоэффективность CPU в Edge AI является сегодня определяющим трендом.
Здесь вне конкуренции RISC-V. Новый процессор Micro Magic на базе RISC-V выдает 55,000 баллов CoreMark на ватт при потреблении около 0.2 Вт.
Сравните с другими архитектурами:
• Apple M1 (ARM) — 100 баллов на ватт при энергопотреблении около 15 Вт;
• Intel Core i9-11980HK (x86) — те же 100 баллов, но при потреблении около 35 Вт.

В недавней работе, представленной на arXiv, исследуется ускорение вывода больших языковых моделей (LLM) на серверных платформах с архитектурой RISC-V. На стандартной модели Llama 7B инференс удалось разогнать до 6,63 и 13,07 токенов/с при генерации и предварительном заполнении, что в 4,3—5,5 раза быстрее по сравнению с базовым уровнем и вполне конкурентно с CPU на базе x86. При этом энергоэффективность возросла в 1,2 раза (55 токенов/с/мВт против 45 токенов/с/мВт).

Это исследование демонстрирует потенциал RISC-V в задачах, связанных с искусственным интеллектом, особенно в контексте энергоэффективных решений Edge AI.

👉 В целом, высокий спрос на GenAI и роботизацию кардинально меняет индустрию CPU для периферийных устройств. Уходят старые технологии, а новые диверсифицируются и совершенствуются, расширяя спектр доступных решений. При этом практический выбор архитектуры зависит от баланса между мощностью, энергопотреблением и поддержкой AI-ускорителей.

#EdgeAI #внедрениеAI #LLM #SBC #ARN #RISCV #инференс

🚀 ©ТехноТренды