Устройство моделей Apple Intelligence

Чтобы не зависеть от сторонних решений, Apple использует собственный ML стек - AXLearn, Apple Silicon и CoreML.
Выпущено 5 моделей: крупная серверная модель смеси экспертов, модели для генерации Swift кода на устройствах и в облаке, модель генерации изображений.

Для специализации моделей под конкретные задачи используются адаптеры (LoRA, DoRA), - файн-тюн модули размером в несколько десятков мегабайт, заточенные под конкретную маленькую задачу, - работа с письмами, расстановка запятых, дружественный тон и т.д.

В Siri добавили семантический поиск с помощью векторной БД.

Модели обучены на данных веб-сканирования AppleBot, лицензированных и синтетических данных.

Для оптимизации применяются сжатие, совместное использование таблиц эмбеддингов и др. техники.

Интересный разбор внутренней архитектуры.

#Apple #Intelligence #архитектура
-------
@tsingular