Актуальные тренды в Embedded Machine Learning: что изучать разработчикам в 2024

📎 TinyML. TinyML — это направление, ориентированное на запуск моделей на микроконтроллерах (например, Arduino, ESP32) с минимальным энергопотреблением. Акцент делается на оптимизацию алгоритмов под устройства с памятью в десятки килобайт.

Что изучать: Фреймворки TensorFlow Lite Micro и Edge Impulse, которые упрощают развертывание моделей на MCU.

📎Квантование и сжатие моделей. Сокращение размера нейросетей без потери точности — ключевая задача. Техники посттренировочного квантования (8-битная) и дистилляция моделей становятся стандартом.

📎Аппаратные ускорители. Специализированные чипы (NPU, GPU) для ML-вычислений на краю сети (Edge AI) ускоряют инференс.

📎 Edge AI и локальная обработка данных. Отказ от облачных вычислений в пользу локальных решений снижает задержки и повышает безопасность. Например, камеры с распознаванием лиц напрямую на устройстве.

📎AutoML для Embedded. Автоматизация выбора архитектур моделей под конкретные устройства. Платформы вроде Qeexo AutoML генерируют код для микроконтроллеров.

Напоминаем, что актуальные даты тренингов можно найти на нашем официальном сайте - они регулярно обновляются.

А обо всех грядущих изменениях, если они происходят, мы сообщаем здесь 🙂

‼️ Хорошие новости: 27 февраля в 19.00 состоится новый вебинар от ЦПР РТСофт “Машинное зрение в промышленных системах”

Ссылка для регистрации: https://rtsoft-swdc.timepad.ru/event/3235162/

Распознавание кодов DataMatrix

Ввиду внедрения обязательной маркировки продукции, все большее и большее распространение получают коды DataMatrix. Подробнее о построении системы для распознавания таких кодов мы расскажем на нашем вебинаре, а сегодня поделимся основными фактами:

📎 Размер кода Data Matrix - от 10x10 до 144x144 с максимальной емкостью данных 3116 чисел или 1556 байт.
📎 Коды Data Matrix могут выдерживать до 25% повреждений, оставаясь читаемыми.
📎 Коды Data Matrix можно комбинировать с RFID для получения дополнительных преимуществ автоматизации, таких как считывание вне прямой видимости и одновременное считывание меток.

⚡️Напоминаем, что уже завтра, 27 февраля в 19.00, состоится наш новый вебинар “Машинное зрение в промышленных системах”

Успейте зарегистрироваться: https://rtsoft-swdc.timepad.ru/event/3235162/

☑️ Публикуем презентацию с прошедшего вебинара по машинному зрению!

Непосредственно записью вебинара поделимся немного позднее.

▶️Публикуем запись вебинара по машинному зрению!

Коллеги, делимся новыми датами тренингов на апрель и май 2025:

➡️Основы разработки встраиваемых систем на базе Embedded Linux - 16-17 апреля 2025

➡️Разработка драйверов Linux - 19-23 мая 2025

➡️Углубленный тренинг по загрузчику - 27-28 мая 2025

Для регистрации необходимо заполнить и отправить форму на сайте: https://linuxcourses.rtsoft.ru/

Открываем регистрацию на новый вебинар!

➡️4 апреля в 11.00 состоится новый вебинар от ЦПР РТСофт “Особенности CI/CD в Embedded проектах”

Ссылка для регистрации: https://rtsoft-swdc.timepad.ru/event/3306677/

‼️ Коллеги, по техническим причинам вебинар переносится на 17 апреля, 11.00. Ссылка для регистрации остается актуальной

Зачем нужен CI/CD в embedded проектах?

➡️ Сокращает время вывода продукта на рынок - автоматизация позволяет выводить на прод изменения по мере их готовности

➡️ Позволяет осуществлять контроль версий для всех артефактов - не только исходного кода, но и конфигураций среды, БД, документации

➡️ Улучшает качество продукта при помощи непрырывного тестирования - каждое изменение автоматически проверяется и, при необходимости, вносятся исправления

🔖 - сохраняйте, чтобы не потерять!

Напоминаем:

➡️17 апреля в 11.00 состоится новый вебинар от ЦПР РТСофт “Особенности CI/CD в Embedded проектах”

Ссылка для регистрации: https://rtsoft-swdc.timepad.ru/event/3306677/

ML для embedded: запуск CV-пайплайнов на платах

Машинное обучение всё чаще уезжает с серверов в сторону edge AI - то есть туда, откуда происходят исходные данные: камеры, сенсоры.
Переход на edge ML активно происходит при решении, к примеру, задач видеонаблюдения, промышленности.

Перед запуском нейросети на edge-устройстве важно провести профилирование - то есть процесс анализа производительности. на устройствах с RockChip NPU (нейропроцессорным блоком).

➡️ Для этого используется RKNN Toolkit Profiler — он показывает:
– Время на каждый слой
– Нагрузку на NPU / CPU
– FPS, задержки и узкие места

Зачем это нужно?
– Понять, стоит ли оптимизировать архитектуру
– Найти слабые места до продакшена
– Ускорить вывод фреймов и реакцию системы

Если вы работаете с нейросетями на устройствах Rockchip, то знакомы с SDK RKNN-Toolkit и RKNN-Toolkit2. Сегодня поговорим о различиях этих двух инструментов.

➡️RKNN-Toolkit и RKNN-Toolkit2 ориентированы на разные поколения чипов и задачи: RKNN-Toolkit - для более старых чипов, таких как RK3399Pro, RK1808, а RKNN-Toolkit2 предназначен для более новых (RK3566, RK3568, RK3588)

Также RKNN-Toolkit2 отличает переписанный и улучшенный, более гибкий пайплайн. При этом он не совместим со старыми устройствами.

Что касается RKNN-Toolkit, то его развитие остановилось и он более не поддерживается, в то время как вторая версия обновляется до сих пор.

#embedded_ML@rtsoftcourses

ML для обнаружения объектов и сопоставления с каталогом: что нужно знать

Задача часто может звучать так: найти объекты на изображениях и сопоставить их с каталогом. Рассмотрим краткие особенности решения.

В качестве baseline можно использовать foundation-модели Segment Anything и DINOv2: сначала на изображении автоматически генерируются сегментационные предложения, затем каждое из них сопоставляется с заранее отрендеренными CAD-шаблонами, используя сравнение cls-токенов DINOv2.

➡️ На стадии поиска объектов очень важно учитывать учитывать категории сегментации и метрики качества: в задачах сопоставления можно применять эмбеддинговые модели и методики zero-shot классификации, а повышать точность - через активное обучение и автоматическое обновление датасета по ошибочным предсказаниям.

#ML@rtsoftcourses

Открываем регистрацию на новый бесплатный вебинар “Обнаружение объектов и сопоставление с базой при помощи ML”!

Программа вебинара:

1. Постановка задачи
- поиск объектов
- сопоставление с каталогом

2. Бэйзлайн системы

3. Обнаружение объектов
- детектор на реальных данных
- детектор на синтетике
- сегментация на смешанных данных

4. Стадия поиска объектов
- категории сегментации
- метрики сети

5. Классификация объектов из католога

6. Масштабируемость ситемы

7. Метрики системы

8. Потенциальные способы повышения точности

➡️Когда: 15 мая в 11.00

Ссылка для регистрации: https://rtsoft-swdc.timepad.ru/event/3359507/

#ML@rtsoftcourses #вебинар