#GPTNews Apple Vision Pro 😎

Основное:
🏕 Vision Pro управляется вашими глазами, руками и голосом. Выбор осуществляется нажатием пальцев, прокрутка - движением.

👨‍💻 Позволяет смотреть видео, играть в любимые игры для iOS, работать в нескольких приложениях одновременно и общаться с людьми в режиме реального времени.

🔮 Масштабирование и передвижение виртуальных приложений и элементов становятся простыми и интуитивно понятными.

🎭 Для видеозвонков создается реалистичный цифровой аватар пользователя, который позволяет общаться без необходимости надевать устройство на лицо. При этом мимика пользователя сохраняется.

👀 Глаза пользователя видны в режиме дополненной реальности и скрыты в режиме полного погружения.

🚶‍♀️ Устройство автоматически определяет, когда к пользователю подходит другой человек, и отображает его в виртуальной реальности, предупреждая о его присутствии.

💻 Устройство можно легко подключить к Mac по беспроводной связи, и тогда на виртуальном экране появится рабочий стол компьютера.

🎞 Разрешение дисплеев Vision Pro значительно превышает 4K, обеспечивая кристально чистое изображение на виртуальных экранах.

🧠 Гарнитура работает на двух процессорах: M2 и новом чипе R1, обеспечивая плавную и быструю работу.

🔊 В гарнитуре два динамика, создающие эффект звучания из окружающего пространства, а не из устройства.

⌛️ Время работы от батареи достигает двух часов.

🤑 Цена начинается от 3499 долларов (282 тысячи ₽). Старт продаж ожидается в начале 2024 года.

Сами посмотрите!

#GPTApplication Насколько быстро развиваются диффузионные модели? Настолько быстро! 🤖

К примеру, Вы можете оценить качество сгенерированных изображений на моем втором канале @gptwomen
В основном это 🔞

#GPTApplication LIV: Языковая ценность изображения для роботов 🤖

🤓 В статье Language-Image Value Learning представлен новый подход, который сочетает в себе reinforcement learning и mutual information constractive learning для обучения роботов зрительно-языковому представлению с использованием системы вознаграждений.

Основные выводы из статьи:

🗂 Можно использовать большие наборы видеоданных для обучения моделей. Затем модель самостоятельно может назначать вознаграждения (поощрение за правильные действия модели) отдельным кадрам в видео, где могут быть представлены роботы или люди, выполняющие определенные задачи в новых условиях.

🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.

👨‍💻 К примеру, робота из видео, готовящего сочный 🍔, тренировали на датасете EpicKitchen

Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах 🤖

#GPTEli5 Обучение роботов 🤖

🧠 Language-Image Value learning (LIV) - метод, который сочетает в себе обучение с подкреплением и контрастным обучением для модели, которая понимает как язык, так и информацию об изображении / видео для роботов.

🤓 Mutual Information Contrasive Learning (контрастное обучение) - метод, который обучает модель находить полезную информацию из разных источников (например, языка и изображения) путем максимизации взаимной информации между ними.

👨‍💻 Reinforcment learning (обучение с подкреплением) - обучение модели принимать решения на основе проб и ошибок, где она получает вознаграждения за правильные действия.