В свежем видео от Boston Dynamics инженеры прикрутили ChatGPT к робо-собакам Spot. Зрение работает на отдельных Visual Question Answering (VQA) моделях, так как API-доступа к GPT-4V ещё нет 😫 работает так: изображения с трёх камер сначала переводятся в текст, и затем подаются в промпт как описание окружения.

Также у собакена есть несколько голосов и связанных с ними персон. Есть тинейджер, путешественник во времени, поэт, подражающий Шэксприру, и другие. И все они кастомизируются лишь парой строк в промпте за 5 минут, ничего не нужно программировать вручную.

На видео показывается кейс гида по офису Boston Dynamics, с рассказом про отдельные места. Например, если попросить отвести вас к предкам Spot, то он приведёт вас в комнату со старыми образцами бегающих железок. Это также никто не программировал — машина сама П О Н И М А Е Т и интерпретирует ваши запросы 👏 эх, поскорее бы будущее

Смотреть: https://www.youtube.com/watch?v=djzOBZUFzTw