МедиаВОС
697 subscribers
29 photos
13 videos
2 files
1.64K links
Актуальная информация о деятельности ВОС и важные социальные новости
Download Telegram
Приложение Be My Eyes теперь доступно для Windows с 21 мая 2024 года

Be My AI, первый в мире визуальный помощник на основе искусственного интеллекта (ИИ) для незрячих и слабовидящих людей, стал доступен на любом ПК с Windows 10/11. Приложение можно установить через Microsoft Store совершенно бесплатно.

Спустя год с небольшим после успешного дебюта Be My AI в приложениях для Android и iOS, Be My Eyes делает очередной гигантский шаг вперёд, запуская приложение для Windows Desktop. Официально представленный на Microsoft Build Week в Сиэтле, этот инновационный инструмент переносит функцию Be My AI из приложений для iOS и Android на персональный компьютер, предоставляя пользователям новый способ получения высококачественных описаний визуальных объектов.

Приложение Be My Eyes предлагает ряд функций, разработанных для предоставления подробных описаний визуального контента незрячим и слабовидящим людям: от фотографий и графиков до снимков экрана. Приложение использует модель Vision от OpenAI GPT-4 для предоставления детальных описаний и визуального контента в более удобной форме.

С помощью приложения Be My Eyes для Windows незрячие и слабовидящие люди теперь могут получать описания элементов экрана, фотографий и диаграмм через основанные на ИИ естественные диалоги. Получая описания изображений и графики в удобном интерфейсе интерактивного чат-бота, приложение Be My Eyes можно использовать для выполнения множества задач.

Вот лишь несколько примеров:
1. Описание экрана: будь то интерфейс приложения или макет веб-страницы, теперь можно получать подробные описания, благодаря которым вам станут понятнее любые визуальные элементы,
2. Описание изображений, находящихся на вашем устройстве: от семейных фотографий до документов. Достаточно загрузить снимки в приложение Be My Eyes, и в ответ вы получите исчерпывающие описания в считанные секунды,
3. Описание изображений в интернете: просмотр веб-страниц становится ещё доступнее, так как приложение Be My Eyes описывает онлайн-изображения, гарантируя, что ни один визуальный образ не останется без описания,
4. Помощь в подготовке к видеозвонкам: используя подключённую или встроенную камеру, Be My Eyes может описать, как вы выглядите на экране, видно ли вас и достаточное ли освещение.

Be My Eyes выходит за рамки простого описания, позволяя пользователям задавать уточняющие вопросы и больше узнавать об описываемых объектах. Описание будет на английском языке – необходимо нажать команду «Перевести на русский».

Горячие клавиши в приложении:
Описать экран ctrl + alt + h
Сделать фото ctrl + alt + j
Описать контент из буфера обмена ctrl + alt + l
Описать локальный файл ctrl + alt + k.

Сообщает в социальной сети в «ВКонтакте» сообщество «Подкасты для незрячих»

#НовостиТехнологий
#Windows
#BeMyEyes
#Программы_для_незрячих
#Приложения_для_слепых
Новый чат GPT4o помогает незрячим на улице

Компания Open AI запустила новую версию чата GPT4o. Особенности этой версии ярче всего проявляются в мобильном приложении.

Сейчас с чатом можно общаться голосом по-новому, а именно, его можно перебивать. Не надо ждать, пока ответ чата прозвучит до конца.
Нейросетевые технологии синтеза и распознавания речи всё глубже интегрируются с языковой моделью, нейросеть всё больше становится мультимодальной. В результате, она учитывает не только текст, который произносит пользователь, но и интонацию, с которой он это делает.

Ещё более продвинутой стала и работа чата с изображениями. Теперь не надо самостоятельно нажимать кнопку для фотографирования, просто попросите чат посмотреть и подсказать что-либо и модель сама сделает снимки, реагируя на контекст беседы. Просто направляйте камеру устройства и задавайте вопросы в произвольной форме, как будто разговариваете с человеком.

При необходимости, чат делает серию снимков и, на их основе, может давать пояснения по поводу движущихся объектов. Например, может рассказать, что в озере плавают утки, плавают медленно, периодически одна из уток погружает голову в воду, вероятно, в поисках пищи, скажет о проезжающем такси и даже подскажет, когда помахать рукой, чтобы его остановить.

Очень радует, что компания Be My Eyes и Open AI продолжают сотрудничество, благодаря которому эти чудесные технологии используются для помощи незрячим людям.

Компания Open AI опубликовала видеоролик, демонстрирующий путешествие незрячего Энди по Лондону. Находясь на площади перед Букингемским дворцом, Энди спросил у чата, на месте ли монарх, чат рассказал Энди об утках и о том, что утки делают, а потом помог Энди поймать такси.

Новую модель GPT4o Энди тестирует в приложении Be My Eyes. В конце видео логотипы компаний Open AI и Be My Eyes.
Сделал перевод звуковой дорожки этого видео на русский с помощью нейросети Яндекса.

Оригинальное видео на английском смотрите по ссылке.

Сообщает в социальной сети в «ВКонтакте» сообщество «Подкасты для незрячих»

#НовостиТехнологий
#BeMyEyes
#Программы_для_незрячих
#Приложения_для_слепых