#GPTNews NVIDIA создает самоулучшающегося автономного агента в Minecraft с использованием GPT-4 👨‍💻

🤓 NVIDIA использовала GPT-4 для создания автономного AI агента, который перемещается по игре Minecraft, исследует мир и изучает сборки в верстаке (к примеру, как скрафтить топор).

🧠 GPT-4 здесь используется как самостоятельный центр принятия решений. Он не только принимает решения, что ему делать в игре, но и создает код для улучшения понимания мира и добавления новых навыков для его прохождения.

😐 А как агент понимает, что происходит в Minecraft?
GPT-4 не обладает видением (но если прикрутить cv, то все возможно 🥳). Все данные подаются в модель через текстовый запрос.

⚙️ Какие преимущества это дает разработчикам ПО и компьютерных игр?
Похоже, что GPT-4 теперь может автономно создавать, тестировать и оптимизировать код. Он решает, что ему нужно сделать, например:
"Создать каменный топор".
Затем он пишет код на JS, чтобы это произошло, проверяет, все ли работает, и затем добавляет код в библиотеку знаний, которую сможет использовать позже.

💡Можно ли это применить к рабочим задачам в реальной жизни?
Вместо действия «Создать топор» можно, к примеру, написать скрипт для «создания <дешборда> на языке <postgre>».
А вместо «убить моба» - «заполнить журнал в Jira».

📽️Видеообзор
📄Статья

#GPTStartups Автоматический поиск вакансий по резюме

Ввожу новую рубрику, где мы будем рассматривать свежие стартапы в области AI. Первый из них - проект с новостного канала HN 😎

🤓 Как работает?
hnresumetojobs.com сопоставляет ваше резюме с наиболее подходящими вакансиями из ежемесячного поста HN Who's Hiring.
Алгоритм работает путем использования OpenAI API эмбеддов, а потом ранжирует вакансии с использованием косинусного сходства (можно переключиться между максимальным внутренным произведением MIP или евклидовым расстоянием).

👨‍💻 Надеюсь, что это окажется полезным для всех, кто ищет работу! Ради интереса вставил свое резюме, мне подошли вакансии AI-Engineer Full-Stack и Hardcode frontent hacker 🤖

Попробуйте сами

#GPTNews Apple Vision Pro 😎

Основное:
🏕 Vision Pro управляется вашими глазами, руками и голосом. Выбор осуществляется нажатием пальцев, прокрутка - движением.

👨‍💻 Позволяет смотреть видео, играть в любимые игры для iOS, работать в нескольких приложениях одновременно и общаться с людьми в режиме реального времени.

🔮 Масштабирование и передвижение виртуальных приложений и элементов становятся простыми и интуитивно понятными.

🎭 Для видеозвонков создается реалистичный цифровой аватар пользователя, который позволяет общаться без необходимости надевать устройство на лицо. При этом мимика пользователя сохраняется.

👀 Глаза пользователя видны в режиме дополненной реальности и скрыты в режиме полного погружения.

🚶‍♀️ Устройство автоматически определяет, когда к пользователю подходит другой человек, и отображает его в виртуальной реальности, предупреждая о его присутствии.

💻 Устройство можно легко подключить к Mac по беспроводной связи, и тогда на виртуальном экране появится рабочий стол компьютера.

🎞 Разрешение дисплеев Vision Pro значительно превышает 4K, обеспечивая кристально чистое изображение на виртуальных экранах.

🧠 Гарнитура работает на двух процессорах: M2 и новом чипе R1, обеспечивая плавную и быструю работу.

🔊 В гарнитуре два динамика, создающие эффект звучания из окружающего пространства, а не из устройства.

⌛️ Время работы от батареи достигает двух часов.

🤑 Цена начинается от 3499 долларов (282 тысячи ₽). Старт продаж ожидается в начале 2024 года.

Сами посмотрите!

#GPTApplication Насколько быстро развиваются диффузионные модели? Настолько быстро! 🤖

К примеру, Вы можете оценить качество сгенерированных изображений на моем втором канале @gptwomen
В основном это 🔞

#GPTApplication LIV: Языковая ценность изображения для роботов 🤖

🤓 В статье Language-Image Value Learning представлен новый подход, который сочетает в себе reinforcement learning и mutual information constractive learning для обучения роботов зрительно-языковому представлению с использованием системы вознаграждений.

Основные выводы из статьи:

🗂 Можно использовать большие наборы видеоданных для обучения моделей. Затем модель самостоятельно может назначать вознаграждения (поощрение за правильные действия модели) отдельным кадрам в видео, где могут быть представлены роботы или люди, выполняющие определенные задачи в новых условиях.

🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.

👨‍💻 К примеру, робота из видео, готовящего сочный 🍔, тренировали на датасете EpicKitchen

Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах 🤖

#GPTEli5 Обучение роботов 🤖

🧠 Language-Image Value learning (LIV) - метод, который сочетает в себе обучение с подкреплением и контрастным обучением для модели, которая понимает как язык, так и информацию об изображении / видео для роботов.

🤓 Mutual Information Contrasive Learning (контрастное обучение) - метод, который обучает модель находить полезную информацию из разных источников (например, языка и изображения) путем максимизации взаимной информации между ними.

👨‍💻 Reinforcment learning (обучение с подкреплением) - обучение модели принимать решения на основе проб и ошибок, где она получает вознаграждения за правильные действия.