Исусственное и интеллект | iOs

Раз уж зашла тема про машинное обучение, давайте немного рассмотрим работу с этим инструментом, как её видят разработчики мобильных операционных систем. Поскольку объём весьма приличный, разобьём на несколько записей.
Компания Apple, как всегда, предлагает RTM инструменты, которые покрывают большую часть задач.

В коробочке есть почти всё:
- Обработка видео и аудио
- Распознавание и классификация образов
- Определение глубины и даже предсказание траектории
- Распознавание документов
- Перевод речи в текст и текста в речь
- Анализ и классификация звука
- Анализ и классификация текста
- Перевод языков на лету

На поверхности нам сразу предлагают все эти возможности - бери и используй.
Полный список готовых API здесь - https://developer.apple.com/machine-learning/api/#translation.

Чуть глубже есть концепт для тех, кто понимает, что происходит под капотом, и может работать с машинным обучением на более глубоком уровне - https://developer.apple.com/library/archive/documentation/Performance/Conceptual/vDSP_Programming_Guide/Introduction/Introduction.html.

Пока мы готовим следующее сообщение очень рекомендуем посмотреть видео от коллег из Droider, где они разобрали политику Apple и Google в отношении ресурсов мобильных устройств.

https://yandex.ru/video/preview/1147046363558397525

P.S. Это всё ещё к теме машинного обучения.

Исусственное и интеллект | iOs

Итак, мы тут решили перепечатать немного документации Apple для наглядности.

Шаг 1 - сбор данных.
Здесь нужно подготовить данные для обучения.

[
    {
        "filename": "image1.jpg",
        "annotations": ["window_sill", "aloe", "pot"]
    },
    {
        "filename": "image2.jpg",
        "annotations": ["cactus", "pot", "person"]
    }
]

Шаг 2 - ферментирование данных.
Здесь данные будут переведены в формат, с которым будем работать дальше

// Define an annotation.
struct AnnotatedFile: Decodable {
    var filename: String
    var annotations: Set<String>
}


// Specify the input directory.
let directoryURL = URL(filePath: "/path/to/files", directoryHint: .isDirectory)


// Decode the annotations.
let decoder = JSONDecoder()
let data = try Data(contentsOf: directory.appending(component: "annotations.json"))
let annotatedFiles = try decoder.decode([AnnotatedFile].self, from: data)


// Convert the annotations to an array of `AnnotatedFeature`.
let annotatedFeatures = annotatedFiles.map {
    AnnotatedFeature(
        feature: directory.appending(component: $0.filename),
        annotation: $0.annotations
    )
}

Шаг 3 - алгоритм обработки.
Здесь собирается pipeline обработки данных для обучения.

// List all the labels.
let labels = ["aloe", "cactus", "person", "pot", "window_sill"]


// Compose the estimator.
let estimator = ImageReader()
    .appending(ImageFeaturePrint())
    .appending(FullyConnectedNetworkMultiLabelClassifier<Float, String>(labels: labels))

Шаг 4 -обучение.

let (training, validation) = annotatedFeatures.annotatedFiles.randomSplit(by: 0.8)
let model = try await estimator.fitted(
    to: training,
    validateOn: validation
)

let predicted = try await model.prediction(from: testAnnotatedFiles)
let metrics = try MultiLabelClassificationMetrics(
    classifications: predicted.map(\.prediction),
    groundTruth: predicted.map(\.annotation),
    strategy: .balancedPrecisionAndRecall,
    labels: labels
)
print(metrics.meanAveragePrecision)

Шаг 5 - чёрный ящик.
И вот тут как раз то, о чём говорили - за нас уже подумали.

Экспортируем модель

// Export to Core ML
let modelURL = URL(filePath: "/path/to/model")
try model.export(to: modelURL)

И далее в игру вступает фирменный Big Thing от Apple.

import Vision
import CoreML


let handler = VNImageRequestHandler(url: URL(filePath: "image.jpg"))
let visionModel = try VNCoreMLModel(for: compiledModel)
let request = VNCoreMLRequest(model: visionModel)
try handler.perform([request])
if let observations = request.results as? [VNClassificationObservation] {
    // Filter observations using a target precision and recall.
    let filteredObservations = observations.filter {
        $0.hasMinimumPrecision(0.3, forRecall: 0.7)
    }
    // Use observations.
}

В итоге нам предложили полностью упакованный и фаршированный тулинг.

* На самом деле Google тоже недалеко ушёл, если только брать в рассчёт то, что TensorFlow появился именно внутри корпорации добра. Но это в следующих постах=)

Исусственное и интеллект | Android

Google абсолютно явно выделяет набор технологий, которые запускаются на устройстве, в Gemini Nano.
Собственно, базовый джентельменский набор на каждый день:
- Распознавание изображений
- Распознавание голоса
- Разбор и анализ текста (сообщения, почта, прочее)

Далее нас плавно отправляют к списку регионов, в которых доступны сервисы Gemini, построенные на мультимодальных сетях:
- Flash // Понятное дело, быстрый и лёгкий для критичных ко времени задач
- Pro // Сложные запросы вроде помощи в приготовлении еды, уходе за растениями и даже проведения исследований
- Ultra // Написание кода, решение сложных математических задач и тому прочее

Ставка на продуктивность (хотя, странно, что прибили Inbox) и лаконичность в устройстве и заявка на Victorinox с бесконечными на любой вкус.

На днях разберём пример кода, а пока хотим узнать, кто уже использует ИИ в своих приложениях?
Генезис Телеграм

У нас завтра будет интересный выпуск о промышленном дизайне. Рекомендуем посмотреть=)

Вашему вниманию в следующем эфире предстанет ведущий промышленный дизайнер компании notAnotherOne - Ян Важинский. Ян занимается дизайном с 2015 года и специализируется на создании пользовательской электроники.

Его работы отмечены престижными наградами Red Dot Design Award 2021 и iF Design Award 2021. Ян вдохновляется современными технологиями, искусством и культурой, что позволяет ему создавать продукты, которые не только отвечают потребностям пользователей, но и вызывают эмоциональный отклик. Его подход основан на учете потребностей пользователей и рынка, технической реализуемости и поиске инновационных решений.

https://vk.com/wall-54867651_23049

Genesis Meetup #3 | IoT

▼ Когда: 10.12.2024 (вторник) 18:30-21:30

▼ Где: Сбер Технохаб (Уральская 1, литера Ч)

▼ Регистрация: https://genxt.timepad.ru/event/3140421/

Программа встречи:

18.30 — 19.00 Сбор
19.00 — 19.05 Приветствие
19.05 — 19.35 Иван Липков (notAnotherOne) "Промышленный дизайн в сфере IoT"
19.40 — 20.10 Ксения Сизова (Red Bees) "Технология NB-IoT для умных устройств в РФ"
20.15 — 20.50 Никита Мошкалов (iiko) "Сборка стенда для HIL тестирования"
20.55 — 21.30 Свободное общение, кофе

Ждём всех в гости!

Генезис Телеграм
#genesis_meetup #genesis #генезис #встреча

Да там всё просто 19.11.2024 | Искусственное и интеллект

1. Что общего у разработки дизайна электроники и архитектуры
2. Всем пользователям угодить невозможно
3. Разработка электроники - это поиск баланса между условиями рынка, потребностями пользователя и технологическими возможностями
4. Чем опытнее промышленный дизайнер, тем он больше впитывает опыт специалистов разных направлений. И это дает ему большую свободу в работе.
5. Создание дизайна устройства - работа команды специалистов из разных сфер одновременно.
6. Дизайнер - не такой уж и художник. Компиляция и насмотренность помогает решать большинство практических задач.
7. Инновации. Про новые методы проектирования и незабываемый пользовательский опыт.
8. Эмоции от устройства - смесь бренда компании, функций для пользователя и характеристик целевой аудитории.
9. Дизайн-идея в устройстве может быть, а может и не быть.
10. Простые геометрические формы. Правило дизайна с минимальным количеством дизайна.
11. История про колористику - цветовая композиция от людей из разных географических локаций и культур.
Дизайнер всегда вкладывает немножко себя в идею девайса.
12. Культура разработки дизайна в России - это что-то новое для нас. Про необходимость гибкого подхода и приобретения быстрых навыков обучения.
13. Рекомендации гостя в части фильмов для погружения в мир промдизайна:
- Овеществление (Objectified)
- Гельветика (Helvetica)

В студии Национального Информационного Канала: Ксения Сизова и Ян Важинский, ведущий промышленный дизайнер компании notAnotherOne.

Подробнее на видео и в приложении Модного Радио.

Да там всё просто 10.12.2024 | Кочующие станки

1. Параллельный ввоз и вывоз
2. Как зарубежные компании торгуют в России
3. Причины дорожания продукции Китая
4. Потребительские товары, которые мы можем производить
5. Государственная поддержка производителей и как заморозить деньги на год
6. Состоние тяжёлой промышленности
7. Сборка производственной линии из набора станков
8. Выбор между лежащим на боку станком и новеньким из Китая
9. Переход от ввоза станков к производству - как, когда и зачем

В студии Национального Информационного Канала: Никита Мошкалов и Павел Гудзь, логист, основатель компании Importeq (импортек).

Подробнее на видео и в приложении Модного Радио.

Отчёт о лекции ОМП 16 ноября с 11:00 до 13:00 в Академии Штиглица

Исходный пост: https://t.iss.one/gen_xt/125

На лекцию пришло более 20 человек. Публичной записи также нет, но, уверяем вас, было интересно.

Презентации также легли в репозиторий сообщества и ждёт, пока их подберёт агент CI, но тот, зараза, ленится. Поэтому пока просто смотрите файлики.

Дизайн-система АврораОС:
https://gitverse.ru/gen_xt/AuditBlobs/content/master/slides/2024/11/Aurora-OS-design-system.pdf

Технологический стэк Аврора ОС:
https://gitverse.ru/gen_xt/AuditBlobs/content/master/slides/2024/11/Aurora-OS-technological-stack.pdf

Часть материалов оказалось непубличной и мы их не выкладываем. Спасибо всем докладчикам и гостям за тёплую встречу! Ждём всех на следующих мероприятиях=)

Спасибо Роману и Алексею за лекцию!
И всей команде ОМП за поддержку!

#genesis_meetup #genesis #генезис #встреча

Камрады, мы вынуждены перенести хакатон по техническим причинам.

▼ Когда: 14.02.2025 19:00 - 16.02.2025 21:00.

▼ Где: Бар Tara Brooch (2-ая Советская, д. 18).

▼ Формат: допускается очное и заочное участие.
2 дня в ирландской берлоге, поддерживаемые духом 🍀Святого Патрика, мы будем изобретать наш велосипед.

Ссылка на регистрацию: https://genxt.timepad.ru/dashboard/event/3129848/description/

#genesis #genesis_gadget #gadget_1