Согласно программе «Цифровая экономика», до 31 июля 2019 года в России должны принять федеральный закон, регулирующий правоотношения в сфере киберфизических систем.
Согласно материалам исследования, агентство должно осуществлять контрольно-надзорные функции на рынке робототехники и искусственного интеллекта, вести учет и лицензировать роботов, формировать стратегию развития индустрии и проводить мониторинг отрасли, собирать статистику о российском рынке и координировать работу специальной нишевой торговой площадки в области робототехники.
#роботы #iot
Согласно материалам исследования, агентство должно осуществлять контрольно-надзорные функции на рынке робототехники и искусственного интеллекта, вести учет и лицензировать роботов, формировать стратегию развития индустрии и проводить мониторинг отрасли, собирать статистику о российском рынке и координировать работу специальной нишевой торговой площадки в области робототехники.
#роботы #iot
Обзор локальных архитектур для больших языковых моделей. Часть 2/4
2️⃣ ARM
ARM (Advanced RISC Machine) — это семейство архитектур процессоров, основанных на принципах RISC (Reduced Instruction Set Computing). Процессоры ARM широко используются в различных сценариях обучения (ML) и эксплуатации больших языковых моделей. Их преимущество — высокая энергоэффективность. Чипы потребляют на 30–50% меньше энергии по сравнению с CPU x86, что делает их идеальными для мобильных устройств, где важны срок работы без подзарядки и низкое тепловыделение.
Имея сервер ARM с четырьмя ядрами и 8 ГБ оперативной памяти, можно запускать различные сценарии использования GenAI, например, проводить обучение чат-бота модели Llama-3.1-8B. Команда llama.cpp представила новый двоичный формат под названием GGUF, использующий методы сжатия и квантования, которые снижают потребность в вычислительных ресурсах и объеме ОЗУ. При этом инференс остается на очень приличном уровне — более 300 TPS (токенов в секунду).
Связка ARM и NPU дает еще больше мощности с сохранением энергоэффективности.
Недавний хайп вокруг DeepSeek и последовавшая за этим дискуссия о том, насколько необходима для ИИ облачная инфраструктура, привлекли новое внимание к Edge AI. Свежие заявления руководителей Qualcomm и Arm показывают явный оптимизм: LLM быстро совершенствуются, становятся разнообразнее — а значит, возникает всё больше возможностей для их развертывания на ПК, смартфонах и устройствах IoT («интернета вещей»).
Естественно, лидеры рынка наперегонки «осваивают поляну». Конкуренция просто бешеная.
🔸 Oracle и Ampere объявили о сотрудничестве в оптимизации llama.cpp для работы с CPU Ampere Arm 64, используя методологию GGUF. На процессоре Arm A1 с 40 OCPU скорость инференса приближается к 40 TPS.
🔸 Компания Arm форсирует проникновение на рынок с целой серией решений на базе передовой платформы Armv9, специально заточенной под обслуживание LLM на IoT-устройствах. Платформа обеспечивает в 8 раз более высокую производительность машинного обучения (ML) по сравнению с прошлогодним Cortex-M85.
🔸 Китайцы из Radxa продвигают новинку Radxa Orion O6 mini-ITX — по сути одноплатник с 12-ядерным процессором Cix P1 Armv9 SoC, GPU Arm Immortalis-G720 и AI-ускорителем на 30 TOPS. Конфигурация догоняет по производительности Apple M1.
🔸 Apple, в свою очередь, продолжает идти в отрыв, выкатив очередную имбу — чип M3 Ultra: CPU с AI-ускорителем, самый мощный в истории Apple встроенный графический процессор, 32-ядерный NPU + программные оболочки Apple Intelligence и Mac Studio. В результате пользователи получают возможность запускать LLM с более чем 600 млрд параметров непосредственно на своем домашнем «Маке».
🔸 Quallcomm вступает в соревнование с Apple, расширяя линейку ARM-процессоров для бюджетных ПК и ноутбуков. Новая версия Snapdragon X с интегрированным нейромодулем (NPU) может обрабатывать до 45 TOPS, что делает ноутбуки совместимыми с AI-приложениями, например с Microsoft Copilot+.
🔸 AMD, желая наверстать свое отставание и потеснить Qualcomm, разрабатывает собственный ARM-процессор Sound Wave с мощным NPU.
🔸 Nvidia тоже объявила о выпуске первого чипа на архитектуре ARM. Релиз планируется на сентябрь 2025 года.
🔸 В конкуренцию с грандами врываются и стартапы. Прошлым летом на краудфандинговой платформе Crowdsupply мгновенно собрали средства на разработку модульного AI-friendly лэптопа GenBook RK3588 с интегрированным NPU мощностью 6 TOPS. В апреле новинка уже выйдет в продажу.
🔸 А где здесь Intel? А она, как тот господин подпоручик, единственная идет «в ногу» и упорно допиливает архитектуру x86, добиваясь сопоставимой с ARM энергоэффективности. Но упорство явно не в плюс: технология морально устарела, и компания теряет контракты. Производители ПК массово переходят на ARM.
Как говорится, зацените движ. Драйвер роста здесь очевиден: устройства на ARM-процессорах становятся всё более востребованными именно как платформа EdgeAI. А значит, конвергенция технологий в этом сегменте продолжится.
#EdgeAI #внедрениеAI #LLM #ARM #IoT
🚀 ©ТехноТренды
2️⃣ ARM
ARM (Advanced RISC Machine) — это семейство архитектур процессоров, основанных на принципах RISC (Reduced Instruction Set Computing). Процессоры ARM широко используются в различных сценариях обучения (ML) и эксплуатации больших языковых моделей. Их преимущество — высокая энергоэффективность. Чипы потребляют на 30–50% меньше энергии по сравнению с CPU x86, что делает их идеальными для мобильных устройств, где важны срок работы без подзарядки и низкое тепловыделение.
Имея сервер ARM с четырьмя ядрами и 8 ГБ оперативной памяти, можно запускать различные сценарии использования GenAI, например, проводить обучение чат-бота модели Llama-3.1-8B. Команда llama.cpp представила новый двоичный формат под названием GGUF, использующий методы сжатия и квантования, которые снижают потребность в вычислительных ресурсах и объеме ОЗУ. При этом инференс остается на очень приличном уровне — более 300 TPS (токенов в секунду).
Связка ARM и NPU дает еще больше мощности с сохранением энергоэффективности.
Недавний хайп вокруг DeepSeek и последовавшая за этим дискуссия о том, насколько необходима для ИИ облачная инфраструктура, привлекли новое внимание к Edge AI. Свежие заявления руководителей Qualcomm и Arm показывают явный оптимизм: LLM быстро совершенствуются, становятся разнообразнее — а значит, возникает всё больше возможностей для их развертывания на ПК, смартфонах и устройствах IoT («интернета вещей»).
Естественно, лидеры рынка наперегонки «осваивают поляну». Конкуренция просто бешеная.
🔸 Oracle и Ampere объявили о сотрудничестве в оптимизации llama.cpp для работы с CPU Ampere Arm 64, используя методологию GGUF. На процессоре Arm A1 с 40 OCPU скорость инференса приближается к 40 TPS.
🔸 Компания Arm форсирует проникновение на рынок с целой серией решений на базе передовой платформы Armv9, специально заточенной под обслуживание LLM на IoT-устройствах. Платформа обеспечивает в 8 раз более высокую производительность машинного обучения (ML) по сравнению с прошлогодним Cortex-M85.
🔸 Китайцы из Radxa продвигают новинку Radxa Orion O6 mini-ITX — по сути одноплатник с 12-ядерным процессором Cix P1 Armv9 SoC, GPU Arm Immortalis-G720 и AI-ускорителем на 30 TOPS. Конфигурация догоняет по производительности Apple M1.
🔸 Apple, в свою очередь, продолжает идти в отрыв, выкатив очередную имбу — чип M3 Ultra: CPU с AI-ускорителем, самый мощный в истории Apple встроенный графический процессор, 32-ядерный NPU + программные оболочки Apple Intelligence и Mac Studio. В результате пользователи получают возможность запускать LLM с более чем 600 млрд параметров непосредственно на своем домашнем «Маке».
🔸 Quallcomm вступает в соревнование с Apple, расширяя линейку ARM-процессоров для бюджетных ПК и ноутбуков. Новая версия Snapdragon X с интегрированным нейромодулем (NPU) может обрабатывать до 45 TOPS, что делает ноутбуки совместимыми с AI-приложениями, например с Microsoft Copilot+.
🔸 AMD, желая наверстать свое отставание и потеснить Qualcomm, разрабатывает собственный ARM-процессор Sound Wave с мощным NPU.
🔸 Nvidia тоже объявила о выпуске первого чипа на архитектуре ARM. Релиз планируется на сентябрь 2025 года.
🔸 В конкуренцию с грандами врываются и стартапы. Прошлым летом на краудфандинговой платформе Crowdsupply мгновенно собрали средства на разработку модульного AI-friendly лэптопа GenBook RK3588 с интегрированным NPU мощностью 6 TOPS. В апреле новинка уже выйдет в продажу.
🔸 А где здесь Intel? А она, как тот господин подпоручик, единственная идет «в ногу» и упорно допиливает архитектуру x86, добиваясь сопоставимой с ARM энергоэффективности. Но упорство явно не в плюс: технология морально устарела, и компания теряет контракты. Производители ПК массово переходят на ARM.
Как говорится, зацените движ. Драйвер роста здесь очевиден: устройства на ARM-процессорах становятся всё более востребованными именно как платформа EdgeAI. А значит, конвергенция технологий в этом сегменте продолжится.
#EdgeAI #внедрениеAI #LLM #ARM #IoT
🚀 ©ТехноТренды
Arm
Deploy a Large Language Model (LLM) chatbot with llama.cpp using KleidiAI on Arm servers: Run a Large Language model (LLM) chatbot…
This is an introductory topic for developers interested in running LLMs on Arm-based servers.
Городская инфраструктура для IoT в 2025 году
Несмотря на снижение интереса к термину «интернет вещей» в последние несколько лет, масштабирование IoT-технологий в городской инфраструктуре набирает обороты. Технология уже прошла от хайпа к принятию в отрасли и повсеместному использованию. Сегодня ключевую роль в этом процессе играет NB‑IoT — технология узкополосной сотовой связи с низким энергопотреблением (LPWAN), предназначенная для работы с большим количеством маломощных устройств на больших расстояниях.
С 7 октября 2024 года протокол NB‑IoT утвержден в качестве российского национального стандарта, обновив собой существующий ГОСТ, разработанный в 2020 году.
NB-IoT использует часть стандарта LTE (Long-Term Evolution). Узкая полоса пропускания (200 кГц или менее) позволяет NB‑IoT качественно работать в условиях высокого уровня помех и шума, что делает этот стандарт идеальным выбором для интернета вещей #IoT, которому требуется низкая пропускная способность, длительное время автономной работы и низкая стоимость подключения.
👉 Одно из ключевых преимуществ NB-IoT — способность обеспечивать связь на больших расстояниях: до 10 км в городской черте и до 40 км на открытой местности, что значительно больше, чем у других технологий LPWAN. Это делает его эффективным в целом ряде сфер:
• «умный город»,
• доставка,
• здравоохранение,
• сельское хозяйство,
• сервисные роботы,
• промышленная автоматизация,
• отслеживание объектов (например, домашних питомцев или личного транспорта),
• мониторинг окружающей среды и др.
👉 Еще одним ключевым преимуществом NB-IoT является энергоэффективность: технология значительно снижает потребление энергии конечными устройствами. С другой стороны, если протокол работает в лицензированном спектре частот, устройства должны часто синхронизироваться с сетью, что расходует батарею.
Другие преимущества NB-IoT:
👉 Высокая плотность соединения. NB-IoT предназначен для поддержки до 100 тысяч устройств в одной ячейке, что в десятки раз превышает возможности существующих стандартов мобильной связи.
👉 Быстрое обновление сети. Технология NB-IoT обратно совместима с существующими сетями 4G и 5G, что упрощает ее интеграцию в существующую инфраструктуру.
👉 Низкая стоимость по сравнению с другими технологиями связи для интернета вещей. Эта особенность делает NB-IoT привлекательным для решений, требующих большого количества устройств.
👉 Скорость передачи данных. Средняя скорость в сетях NB-IoT — 200 Кбит/с, что достаточно много и подходит для сложных задач, таких как управление роем роботов.
👉 Улучшенный охват. Протокол обеспечивает улучшенное покрытие и качество сигнала, что делает его идеальным в отдаленных районах или под землей.
👉 Надежность. Протокол использует передовые методы исправления ошибок, что обеспечивает точную и бесперебойную передачу данных даже в сложных условиях.
👉 Повышенная безопасность, включая аутентификацию и шифрование, для защиты устройств от киберугроз.
Примеры использования NB-IoT:
🔸Умные датчики, которые применяются для снижения уровня травматизма на производстве. Носимые устройства отслеживают местоположение сотрудника и оповещают о его перемещении в опасную зону.
🔸SIM-карты с поддержкой NB-IoT, встраиваемые в городские терминалы проката, например, велосипедов или самокатов. Таким образом можно не только защитить транспорт от угона, но и получать актуальную информацию о его техническом состоянии.
🔸 Интеллектуальные системы для роботов геологоразведки, позволяющие вести подземные изыскания в удаленных местностях.
🚀 Кстати, с января 2025 года в РФ принят еще один стандарт для устройств IoT — протокол спутниковой связи на основе технологий LoRa и LoRaWAN, регулирующий обмен данными в низкоорбитальных системах и их совместимость с наземными системами интернета вещей. Это особенно важно для контроля и управления роботизированными комплексами и БПЛА различного назначения за пределами прямой видимости, в том числе в труднодоступных районах.
#ГОСТ #интернет_вещей #роботизация_промышленности #умный_дом #умный_город
🚀 ©ТехноТренды
Несмотря на снижение интереса к термину «интернет вещей» в последние несколько лет, масштабирование IoT-технологий в городской инфраструктуре набирает обороты. Технология уже прошла от хайпа к принятию в отрасли и повсеместному использованию. Сегодня ключевую роль в этом процессе играет NB‑IoT — технология узкополосной сотовой связи с низким энергопотреблением (LPWAN), предназначенная для работы с большим количеством маломощных устройств на больших расстояниях.
С 7 октября 2024 года протокол NB‑IoT утвержден в качестве российского национального стандарта, обновив собой существующий ГОСТ, разработанный в 2020 году.
NB-IoT использует часть стандарта LTE (Long-Term Evolution). Узкая полоса пропускания (200 кГц или менее) позволяет NB‑IoT качественно работать в условиях высокого уровня помех и шума, что делает этот стандарт идеальным выбором для интернета вещей #IoT, которому требуется низкая пропускная способность, длительное время автономной работы и низкая стоимость подключения.
👉 Одно из ключевых преимуществ NB-IoT — способность обеспечивать связь на больших расстояниях: до 10 км в городской черте и до 40 км на открытой местности, что значительно больше, чем у других технологий LPWAN. Это делает его эффективным в целом ряде сфер:
• «умный город»,
• доставка,
• здравоохранение,
• сельское хозяйство,
• сервисные роботы,
• промышленная автоматизация,
• отслеживание объектов (например, домашних питомцев или личного транспорта),
• мониторинг окружающей среды и др.
👉 Еще одним ключевым преимуществом NB-IoT является энергоэффективность: технология значительно снижает потребление энергии конечными устройствами. С другой стороны, если протокол работает в лицензированном спектре частот, устройства должны часто синхронизироваться с сетью, что расходует батарею.
Другие преимущества NB-IoT:
👉 Высокая плотность соединения. NB-IoT предназначен для поддержки до 100 тысяч устройств в одной ячейке, что в десятки раз превышает возможности существующих стандартов мобильной связи.
👉 Быстрое обновление сети. Технология NB-IoT обратно совместима с существующими сетями 4G и 5G, что упрощает ее интеграцию в существующую инфраструктуру.
👉 Низкая стоимость по сравнению с другими технологиями связи для интернета вещей. Эта особенность делает NB-IoT привлекательным для решений, требующих большого количества устройств.
👉 Скорость передачи данных. Средняя скорость в сетях NB-IoT — 200 Кбит/с, что достаточно много и подходит для сложных задач, таких как управление роем роботов.
👉 Улучшенный охват. Протокол обеспечивает улучшенное покрытие и качество сигнала, что делает его идеальным в отдаленных районах или под землей.
👉 Надежность. Протокол использует передовые методы исправления ошибок, что обеспечивает точную и бесперебойную передачу данных даже в сложных условиях.
👉 Повышенная безопасность, включая аутентификацию и шифрование, для защиты устройств от киберугроз.
Примеры использования NB-IoT:
🔸Умные датчики, которые применяются для снижения уровня травматизма на производстве. Носимые устройства отслеживают местоположение сотрудника и оповещают о его перемещении в опасную зону.
🔸SIM-карты с поддержкой NB-IoT, встраиваемые в городские терминалы проката, например, велосипедов или самокатов. Таким образом можно не только защитить транспорт от угона, но и получать актуальную информацию о его техническом состоянии.
🔸 Интеллектуальные системы для роботов геологоразведки, позволяющие вести подземные изыскания в удаленных местностях.
🚀 Кстати, с января 2025 года в РФ принят еще один стандарт для устройств IoT — протокол спутниковой связи на основе технологий LoRa и LoRaWAN, регулирующий обмен данными в низкоорбитальных системах и их совместимость с наземными системами интернета вещей. Это особенно важно для контроля и управления роботизированными комплексами и БПЛА различного назначения за пределами прямой видимости, в том числе в труднодоступных районах.
#ГОСТ #интернет_вещей #роботизация_промышленности #умный_дом #умный_город
🚀 ©ТехноТренды
TAdviser.ru
В России утвержден ГОСТ на технологию интернета вещей NB-IoT
Класс беспроводных телематических устройств, передающих данные по радиоканалу; основной принцип — цифровая передача данных на сверхузкой частотной полосе на низких скоростях. Особенность технологии — большая дальность передачи сигнала от конечного устройства…
👍3❤1🔥1
Современные AI-ускорители: плюсы, минусы и перспективы нейронных и тензорных процессоров. Часть 1/3
👉 В спецификациях устройств сегодня часто встречаются сочетания «NPU acceleration» или «TPU coprocessor». Что это за очередные волшебные слова из трех букв? Давайте разбираться.
Быстрое развитие искусственного интеллекта и больших языковых моделей (LLM) предъявляет растущие требования к производительности при обработке огромных массивов данных и к энергоэффективности «железа». Традиционные CPU не умеют в параллельные вычисления, а GPU умеют, но стоят дорого и потребляют много энергии. Передовые архитектуры, такие как ASIC, ARM и RISC-V, гораздо экономичнее, но имеют ограничения по производительности в задачах, связанных с обучением и развертыванием GenAI. Поэтому их всё чаще дополняют специализированными ускорителями — нейронными (NPU) и тензорными (TPU) процессорами.
Рассмотрим обе эти архитектуры, а потом сделаем некоторые практические выводы и прогнозы.
1️⃣ NPU (Neural Processing Unit)
Нейронные процессоры называются так, потому что их архитектура имитирует нейронную сеть человеческого мозга, за счет чего хорошо справляется с параллельными вычислениями. NPU также способны обучаться на основе накопленных данных, чтобы со временем находить оптимальные решения, что полезно для глубокого машинного обучения (ML).
Первые NPU, выпущенные в 2015 году, были основаны на свёрточных нейронных сетях (CNN) и предназначались для использования в сфере аудио- и речевых технологий ИИ. С тех пор архитектура постоянно развивается параллельно с развитием ИИ, особенно в области вывода данных на периферийных устройствах (Edge AI). Ключевые производители NPU — Huawei, Nvidia, Intel, Qualcomm, Apple.
Задачи ИИ в основном сводятся к обсчету слоев нейронной сети — скалярной, векторной и тензорной математике — с последующей нелинейной функцией активации. NPU разработан так, чтобы оптимизировать рабочие нагрузки при решении этих задач, а значит, потреблять меньше энергии. Этому способствуют его технические особенности: кэш-память на кристалле, память с высокой пропускной способностью и т.п.
👉 Применение NPU
Современные NPU способны выполнять триллионы операций в секунду, и активно конкурируют с графическими процессорами там, где важна компактность, автономность и экономичность.
Уже существует довольно много решений, где модулем NPU усилен основной процессор на базе ARM и RISC-V: смартфоны, планшеты, SBC. Применяются нейропроцессоры и отдельно в устройствах Edge AI: носимых устройствах, «мозгах» роботов, инфраструктуре «умных» городов и пр.
Еще более перспективны NPU в гетерогенных вычислениях, где их функционал сочетается с центральным и графическим процессорами. Несколько примеров:
🔸 Обработка изображений и видео в системах видеонаблюдения или медиаиндустрии. CPU управляет общей логикой приложения, потоками данных и интерфейсами; GPU в реальном времени выполняет преобразование изображений, фильтрацию, кодирование/декодирование видеопотока; NPU отвечает за работу ИИ, например, при распознавании, добавлении или удалении объектов на видео.
🔸 Финансовые технологии (FinTech). CPU управляет бизнес-логикой и взаимодействием с пользователем; GPU занимается анализом данных, отслеживанием трендов; NPU — финансовым прогнозированием, оценкой кредитных рисков, выявлением мошенничества, анализом корреляционных моделей.
🔸 Медицина и биоинформатика (анализ генетических данных, диагностика, прогнозирование заболеваний). CPU управляет процессами обработки информации, взаимодействием с базами данных; GPU анализирует изображения с МРТ и других медицинских устройств; NPU используется для машинного обучения и классификации данных, например, для ранней диагностики заболеваний «по картинке».
🔸 Гетерогенные связки с участием NPU востребованы и в таких областях, как виртуальная реальность, беспилотный транспорт, игровая индустрия.
#NPU #ML #IoT #EdgeAI
👉 В спецификациях устройств сегодня часто встречаются сочетания «NPU acceleration» или «TPU coprocessor». Что это за очередные волшебные слова из трех букв? Давайте разбираться.
Быстрое развитие искусственного интеллекта и больших языковых моделей (LLM) предъявляет растущие требования к производительности при обработке огромных массивов данных и к энергоэффективности «железа». Традиционные CPU не умеют в параллельные вычисления, а GPU умеют, но стоят дорого и потребляют много энергии. Передовые архитектуры, такие как ASIC, ARM и RISC-V, гораздо экономичнее, но имеют ограничения по производительности в задачах, связанных с обучением и развертыванием GenAI. Поэтому их всё чаще дополняют специализированными ускорителями — нейронными (NPU) и тензорными (TPU) процессорами.
Рассмотрим обе эти архитектуры, а потом сделаем некоторые практические выводы и прогнозы.
1️⃣ NPU (Neural Processing Unit)
Нейронные процессоры называются так, потому что их архитектура имитирует нейронную сеть человеческого мозга, за счет чего хорошо справляется с параллельными вычислениями. NPU также способны обучаться на основе накопленных данных, чтобы со временем находить оптимальные решения, что полезно для глубокого машинного обучения (ML).
Первые NPU, выпущенные в 2015 году, были основаны на свёрточных нейронных сетях (CNN) и предназначались для использования в сфере аудио- и речевых технологий ИИ. С тех пор архитектура постоянно развивается параллельно с развитием ИИ, особенно в области вывода данных на периферийных устройствах (Edge AI). Ключевые производители NPU — Huawei, Nvidia, Intel, Qualcomm, Apple.
Задачи ИИ в основном сводятся к обсчету слоев нейронной сети — скалярной, векторной и тензорной математике — с последующей нелинейной функцией активации. NPU разработан так, чтобы оптимизировать рабочие нагрузки при решении этих задач, а значит, потреблять меньше энергии. Этому способствуют его технические особенности: кэш-память на кристалле, память с высокой пропускной способностью и т.п.
👉 Применение NPU
Современные NPU способны выполнять триллионы операций в секунду, и активно конкурируют с графическими процессорами там, где важна компактность, автономность и экономичность.
Уже существует довольно много решений, где модулем NPU усилен основной процессор на базе ARM и RISC-V: смартфоны, планшеты, SBC. Применяются нейропроцессоры и отдельно в устройствах Edge AI: носимых устройствах, «мозгах» роботов, инфраструктуре «умных» городов и пр.
Еще более перспективны NPU в гетерогенных вычислениях, где их функционал сочетается с центральным и графическим процессорами. Несколько примеров:
🔸 Обработка изображений и видео в системах видеонаблюдения или медиаиндустрии. CPU управляет общей логикой приложения, потоками данных и интерфейсами; GPU в реальном времени выполняет преобразование изображений, фильтрацию, кодирование/декодирование видеопотока; NPU отвечает за работу ИИ, например, при распознавании, добавлении или удалении объектов на видео.
🔸 Финансовые технологии (FinTech). CPU управляет бизнес-логикой и взаимодействием с пользователем; GPU занимается анализом данных, отслеживанием трендов; NPU — финансовым прогнозированием, оценкой кредитных рисков, выявлением мошенничества, анализом корреляционных моделей.
🔸 Медицина и биоинформатика (анализ генетических данных, диагностика, прогнозирование заболеваний). CPU управляет процессами обработки информации, взаимодействием с базами данных; GPU анализирует изображения с МРТ и других медицинских устройств; NPU используется для машинного обучения и классификации данных, например, для ранней диагностики заболеваний «по картинке».
🔸 Гетерогенные связки с участием NPU востребованы и в таких областях, как виртуальная реальность, беспилотный транспорт, игровая индустрия.
#NPU #ML #IoT #EdgeAI
👍3❤1🔥1
Современные AI-ускорители: плюсы, минусы и перспективы нейронных и тензорных процессоров. Часть 2/3
Возвращаемся к теме, которую начали позавчера. Сегодня поговорим о тензорных процессорах.
2️⃣ TPU (Tensor Processing Unit)
TPU — специализированная интегральная схема (вариант архитектуры ASIC), разработанная компанией Google специально для нейронных сетей. Тензорные процессоры (сюрприз!) оптимизированы под работу с тензорами — многомерными массивами данных, которые составляют основу большинства современных моделей глубокого обучения.
👉 Ключевые особенности TPU:
• Наличие матричного умножителя (MXU) — модуля, который с невероятной скоростью выполняет операции умножения матриц и векторов, что очень важно для обучения и инференса LLM или распознавания изображений.
• SparseCore — специализированный ускоритель для обработки сверхбольших встраиваемых моделей, которые часто используются в продвинутых задачах ранжирования и рекомендаций.
• Запатентованная топология интерконнекта (способ связывания узлов в вычислительном кластере, который в случае с TPU обеспечивает высокую скорость при минимальных задержках отклика).
⚡️ При этом TPU весьма энергоэффективны. Производительность в расчете на ватт в рабочем режиме у процессоров семейства Google TPU в 25–80 раз выше, чем у CPU или GPU. Отдельный сопроцессор Edge TPU может выполнять 4 триллиона операций в секунду (4 TOPS), потребляя всего 2 Вт энергии.
👉 Примеры использования TPU
Если NPU чаще встречаются в мобильных и встроенных системах, то TPU чаще используются в облачных вычислениях и крупных вычислительных кластерах.
• Google начала применять тензорные процессоры в 2015 году для собственных исследований в области машинного обучения, а впоследствии — для оптимизации фреймворка Google Tensorflow. Популярность фреймворка также способствовала успеху архитектуры.
• TPU использовались для извлечения текста из фотографий Google Street View, а в «Google Фото» один тензорный процессор мог обрабатывать более 100 миллионов фотографий в день.
• В 2018 году «корпорация добра» сделала TPU общедоступными через свою облачную платформу Google Cloud. Такие продукты Google, как Gmail, Поиск и Переводчик, работают на специализированных облачных TPU.
👉 Применяются эти ускорители и в устройствах Edge AI. Например, чипами TPU оснащаются вычислительные шлюзы (Intelligent edge computing gateway). Это устройства, которые обеспечивают мощную производительность периферийных вычислений для интеллектуального анализа данных и машинного зрения на базе ИИ.
Некоторые области применения таких шлюзов:
🔸 Промышленность: сбор, вычисления и передача данных на интеллектуальных фабриках.
🔸 Энергетика: мониторинг расхода и обработка данных для управления энергией на электростанциях.
🔸 «Умный город»: энергетический мониторинг зданий, сооружений и заводов.
🔸 Интернет вещей: сбор и пересылка данных, удаленный мониторинг и управление, а также проникновение в интранет для полевых ПЛК, систем управления дронами, различных контроллеров, датчиков приборов.
#TPU #ML #IoT #EdgeAI #Google
🚀 ©ТехноТренды
Возвращаемся к теме, которую начали позавчера. Сегодня поговорим о тензорных процессорах.
2️⃣ TPU (Tensor Processing Unit)
TPU — специализированная интегральная схема (вариант архитектуры ASIC), разработанная компанией Google специально для нейронных сетей. Тензорные процессоры (сюрприз!) оптимизированы под работу с тензорами — многомерными массивами данных, которые составляют основу большинства современных моделей глубокого обучения.
👉 Ключевые особенности TPU:
• Наличие матричного умножителя (MXU) — модуля, который с невероятной скоростью выполняет операции умножения матриц и векторов, что очень важно для обучения и инференса LLM или распознавания изображений.
• SparseCore — специализированный ускоритель для обработки сверхбольших встраиваемых моделей, которые часто используются в продвинутых задачах ранжирования и рекомендаций.
• Запатентованная топология интерконнекта (способ связывания узлов в вычислительном кластере, который в случае с TPU обеспечивает высокую скорость при минимальных задержках отклика).
⚡️ При этом TPU весьма энергоэффективны. Производительность в расчете на ватт в рабочем режиме у процессоров семейства Google TPU в 25–80 раз выше, чем у CPU или GPU. Отдельный сопроцессор Edge TPU может выполнять 4 триллиона операций в секунду (4 TOPS), потребляя всего 2 Вт энергии.
👉 Примеры использования TPU
Если NPU чаще встречаются в мобильных и встроенных системах, то TPU чаще используются в облачных вычислениях и крупных вычислительных кластерах.
• Google начала применять тензорные процессоры в 2015 году для собственных исследований в области машинного обучения, а впоследствии — для оптимизации фреймворка Google Tensorflow. Популярность фреймворка также способствовала успеху архитектуры.
• TPU использовались для извлечения текста из фотографий Google Street View, а в «Google Фото» один тензорный процессор мог обрабатывать более 100 миллионов фотографий в день.
• В 2018 году «корпорация добра» сделала TPU общедоступными через свою облачную платформу Google Cloud. Такие продукты Google, как Gmail, Поиск и Переводчик, работают на специализированных облачных TPU.
👉 Применяются эти ускорители и в устройствах Edge AI. Например, чипами TPU оснащаются вычислительные шлюзы (Intelligent edge computing gateway). Это устройства, которые обеспечивают мощную производительность периферийных вычислений для интеллектуального анализа данных и машинного зрения на базе ИИ.
Некоторые области применения таких шлюзов:
🔸 Промышленность: сбор, вычисления и передача данных на интеллектуальных фабриках.
🔸 Энергетика: мониторинг расхода и обработка данных для управления энергией на электростанциях.
🔸 «Умный город»: энергетический мониторинг зданий, сооружений и заводов.
🔸 Интернет вещей: сбор и пересылка данных, удаленный мониторинг и управление, а также проникновение в интранет для полевых ПЛК, систем управления дронами, различных контроллеров, датчиков приборов.
#TPU #ML #IoT #EdgeAI #Google
🚀 ©ТехноТренды
Современные AI-ускорители: плюсы, минусы и перспективы нейронных и тензорных процессоров. Часть 3/3
Завершаем цикл постов (начало, продолжение). Сегодняшняя тема — интеграция AI-ускорителей с большими языковыми моделями на периферийных устройствах.
3️⃣ NPU, TPU и LLM: перспективы внедрения в Edge AI
Не все AI-ускорители могут работать с большими языковыми моделями. Чтобы чип мог «тянуть» LLM, он должен поддерживать нужные математические операции, такие как матричное умножение.
Традиционно с этим лучше всех справляются тензорные процессоры (TPU) — ради этого их и разработали. Но появились и интересные связки NPU+ARM, и даже решения на базе других платформ. Идет активный поиск баланса между мощностью и энергоэффективностью — ключевым параметром для Edge AI.
Рассмотрим несколько перспективных решений.
🔸 Ascend 910C — NPU от Huawei, который получил прозвище «убийца Nvidia A100». Чип рассчитан на обучение и инференс LLM, и может выдавать от 256 до 512 терафлопс на FP16 и INT8 соответственно. Правда, и потребляет немало — 350 Вт. Этим чипом, например, оборудованы одноплатные компьютеры Orange Pi AIPro 16Gb.
🔸 MLSoC — мультимодальный GenAI-чип от SiMa.ai, объединяющий процессоры ARM, NPU и DSP. Поддерживает фреймворки TensorFlow, PyTorch, ONNX и может запускать любую LLM на скорости 50-200 TOPS. В тестах типа MLPerf он оказался значительно быстрее, чем Nvidia Jetson Orin, при этом в разы энергоэффективнее.
🔸 SOPHON BM1684X — тензорный процессор, выпущенный китайской компанией SOPHGO. Поддерживает PyTorch, TensorFlow и другие основные фреймворки.
🔸 Hailo-10 — TPU для Edge AI от одноименного израильского производителя. Может запускать Llama2-7B со скоростью до 10 токенов в секунду, потребляя менее 5 Вт. Согласно тестам, обеспечивает вдвое более высокую производительность при вдвое меньшей мощности, чем Intel Core Ultra NPU.
🔸 Coral Edge TPU — семейство решений от Google. Плата M.2 с двумя TPU-процессорами для машинного обучения выполняет 4 TOPS при потреблении 2 Вт, т.е. 2 TOPS на ватт. Не так уж много, но для машинного зрения, например, вполне хватает. Один «Коралл» может обслуживать модели типа MobileNet v2 со скоростью почти 400 кадров в секунду.
🔸 Metis AI — ИИ-процессор на базе RISC-V от компании Axelera. Обеспечивает 214 TOPS при INT8 с эффективностью 15 TOPS/Вт —на 37% лучше, чем Nvidia Jetson AGX Orin. Карты PCIe AI Edge доступны в версиях с одним и несколькими чипами с общей производительностью до 856 TOPS.
👉 Комментарий по трендам, прогноз рынка
1️⃣ Как видим, разница между NPU и TPU применительно к большим языковым моделям не принципиальна. То и другое — больше про брендинг, чем про технологию. IT-гиганты разрабатывают чипы под собственные задачи, но некоторые спешат «застолбить» коммерчески-звучные названия типа тензоров.
2️⃣ Развитие всех типов AI-ускорителей движется в сторону улучшения совместимости с LLM. Тот же израильский Hailo планирует оснастить следующую версию своего процессора встроенной поддержкой LLM. Ведутся такие разработки и в России.
3️⃣ Прогнозируем установление нового стандарта: автономные устройства (дроны, роботы и т.д.), оборудованные AI-ускорителями, будут получать предустановленную LLM.
Что это даст? Способность к самообучению, снижение издержек, больше функционала и безопасности:
• беспилотные комбайны будут корректировать маршруты в зависимости от состояния посевов;
• складские роботы — оптимизировать пути объезда препятствий;
• спасательные дроны — анализировать видео в реальном времени при поиске объектов;
• промроботы — мгновенно реагировать на голосовые команды;
• медицинские сенсоры — диагностировать пациента без передачи конфиденциальных данных в «облако», и т.д.
По прогнозам, к 2030 году 75% уличных камер будут оснащены TinyLLM. А общий объем рынка Edge AI с LLM к 2028 году достигнет $142 млрд (CAGR с 2025 г. = 67%).
#тренды #прогноз #цифры #EdgeAI #LLM #NPU #TPU #IoT
🚀 ©ТехноТренды
Завершаем цикл постов (начало, продолжение). Сегодняшняя тема — интеграция AI-ускорителей с большими языковыми моделями на периферийных устройствах.
3️⃣ NPU, TPU и LLM: перспективы внедрения в Edge AI
Не все AI-ускорители могут работать с большими языковыми моделями. Чтобы чип мог «тянуть» LLM, он должен поддерживать нужные математические операции, такие как матричное умножение.
Традиционно с этим лучше всех справляются тензорные процессоры (TPU) — ради этого их и разработали. Но появились и интересные связки NPU+ARM, и даже решения на базе других платформ. Идет активный поиск баланса между мощностью и энергоэффективностью — ключевым параметром для Edge AI.
Рассмотрим несколько перспективных решений.
🔸 Ascend 910C — NPU от Huawei, который получил прозвище «убийца Nvidia A100». Чип рассчитан на обучение и инференс LLM, и может выдавать от 256 до 512 терафлопс на FP16 и INT8 соответственно. Правда, и потребляет немало — 350 Вт. Этим чипом, например, оборудованы одноплатные компьютеры Orange Pi AIPro 16Gb.
🔸 MLSoC — мультимодальный GenAI-чип от SiMa.ai, объединяющий процессоры ARM, NPU и DSP. Поддерживает фреймворки TensorFlow, PyTorch, ONNX и может запускать любую LLM на скорости 50-200 TOPS. В тестах типа MLPerf он оказался значительно быстрее, чем Nvidia Jetson Orin, при этом в разы энергоэффективнее.
🔸 SOPHON BM1684X — тензорный процессор, выпущенный китайской компанией SOPHGO. Поддерживает PyTorch, TensorFlow и другие основные фреймворки.
🔸 Hailo-10 — TPU для Edge AI от одноименного израильского производителя. Может запускать Llama2-7B со скоростью до 10 токенов в секунду, потребляя менее 5 Вт. Согласно тестам, обеспечивает вдвое более высокую производительность при вдвое меньшей мощности, чем Intel Core Ultra NPU.
🔸 Coral Edge TPU — семейство решений от Google. Плата M.2 с двумя TPU-процессорами для машинного обучения выполняет 4 TOPS при потреблении 2 Вт, т.е. 2 TOPS на ватт. Не так уж много, но для машинного зрения, например, вполне хватает. Один «Коралл» может обслуживать модели типа MobileNet v2 со скоростью почти 400 кадров в секунду.
🔸 Metis AI — ИИ-процессор на базе RISC-V от компании Axelera. Обеспечивает 214 TOPS при INT8 с эффективностью 15 TOPS/Вт —на 37% лучше, чем Nvidia Jetson AGX Orin. Карты PCIe AI Edge доступны в версиях с одним и несколькими чипами с общей производительностью до 856 TOPS.
👉 Комментарий по трендам, прогноз рынка
1️⃣ Как видим, разница между NPU и TPU применительно к большим языковым моделям не принципиальна. То и другое — больше про брендинг, чем про технологию. IT-гиганты разрабатывают чипы под собственные задачи, но некоторые спешат «застолбить» коммерчески-звучные названия типа тензоров.
2️⃣ Развитие всех типов AI-ускорителей движется в сторону улучшения совместимости с LLM. Тот же израильский Hailo планирует оснастить следующую версию своего процессора встроенной поддержкой LLM. Ведутся такие разработки и в России.
3️⃣ Прогнозируем установление нового стандарта: автономные устройства (дроны, роботы и т.д.), оборудованные AI-ускорителями, будут получать предустановленную LLM.
Что это даст? Способность к самообучению, снижение издержек, больше функционала и безопасности:
• беспилотные комбайны будут корректировать маршруты в зависимости от состояния посевов;
• складские роботы — оптимизировать пути объезда препятствий;
• спасательные дроны — анализировать видео в реальном времени при поиске объектов;
• промроботы — мгновенно реагировать на голосовые команды;
• медицинские сенсоры — диагностировать пациента без передачи конфиденциальных данных в «облако», и т.д.
По прогнозам, к 2030 году 75% уличных камер будут оснащены TinyLLM. А общий объем рынка Edge AI с LLM к 2028 году достигнет $142 млрд (CAGR с 2025 г. = 67%).
#тренды #прогноз #цифры #EdgeAI #LLM #NPU #TPU #IoT
🚀 ©ТехноТренды
👍1
По данным отчета ООН, в 2025 году мировая готовность к передовым технологиям — включая ИИ, IoT и блокчейн — по-прежнему демонстрирует резкий разрыв между развитыми и развивающимися странами. В лидерах — США, Швеция и Великобритания, а вот страны BRICS — Бразилия, Россия, Индия, Китай и Южная Африка — показывают разнонаправленные, но перспективные результаты.
📊 В инфографике — позиции стран по индексу готовности к передовым технологиям. Среди стран BRICS:
🇨🇳 Китай — 21 место, наивысший результат среди развивающихся стран.
🇷🇺 Россия — 33 место.
🇮🇳 Индия — 36 место.
🇧🇷 Бразилия — 38 место.
🇿🇦 ЮАР — 52 место.
Также в состав расширенного BRICS входят: 🇦🇪 ОАЭ (35), 🇮🇷 Иран (72), 🇮🇩 Индонезия (76), 🇪🇬 Египет (85) и 🇪🇹 Эфиопия (144). Эти страны демонстрируют растущие амбиции, но ограничены инфраструктурой, доступом к данным и нехваткой специалистов.
📉 Отчет подчеркивает: без укрепления инфраструктуры, кадрового потенциала и данных, развивающимся странам будет сложно не только догнать лидеров, но и избежать технологической зависимости. Особенно важно развивать национальные стратегии в области ИИ и наращивать международное сотрудничество.
#тренды #аналитика #ИИ #IoT #технологический_суверенитет
🚀 ©ТехноТренды
📊 В инфографике — позиции стран по индексу готовности к передовым технологиям. Среди стран BRICS:
🇨🇳 Китай — 21 место, наивысший результат среди развивающихся стран.
🇷🇺 Россия — 33 место.
🇮🇳 Индия — 36 место.
🇧🇷 Бразилия — 38 место.
🇿🇦 ЮАР — 52 место.
Также в состав расширенного BRICS входят: 🇦🇪 ОАЭ (35), 🇮🇷 Иран (72), 🇮🇩 Индонезия (76), 🇪🇬 Египет (85) и 🇪🇹 Эфиопия (144). Эти страны демонстрируют растущие амбиции, но ограничены инфраструктурой, доступом к данным и нехваткой специалистов.
📉 Отчет подчеркивает: без укрепления инфраструктуры, кадрового потенциала и данных, развивающимся странам будет сложно не только догнать лидеров, но и избежать технологической зависимости. Особенно важно развивать национальные стратегии в области ИИ и наращивать международное сотрудничество.
#тренды #аналитика #ИИ #IoT #технологический_суверенитет
🚀 ©ТехноТренды
👍2