Армия клонов или полномасштабное наступление цифровых двойников в обучении
На фоне громких побед ChatGPT тема цифровых двойников в обучении, казалось бы, отошла на второй план? Ничуть – не так давно был анонсирован целый ворох решений в этом поле.
Пионером тут конечно же выступает Nvidia. Прошлый год RnD компании потратил на изучение восприятия 3D аватаров пользователями.
Было установлено, что «роботизация» реалистичного лица воспринимается несколько хуже чем анимированный персонаж на основе того же лица.
Несмотря на это Synthesia (видео ) напротив, делает упор на реалистичность. Их решение снабдило аватаров от Nvidia живой мимикой. Теперь они могут подмигивать, поднимать брови, хмуриться, двигать головой для отрицания или согласия, а также коротко многозначительно кивать.
Кстати многие подозревают что на CES 2023 спикерами с презентации Nvidia были именно эти аватары топ менеджеров компании а не живые люди. Ссылка .
Посмотрите — чёткие паузы, ровный голос и повторяющиеся жесты.
В 2023 году NVIDIA предоставила ранний доступ к инструментарию по работе с аватарами в том числе с уклоном в мультяшность. Avatars Cloud Engine (сокращённо — ACE) (видео).
ACE это набор инструментов:
• Video-to-animation — создание анимации на основе ИИ-анализа видео;
• Audio2Face (https://youtu.be/h3xT_F_tEuU) — анимация лица с помощью речи из аудиофайла;
• Audio2Gesture (https://youtu.be/o6hhCRlTa9o) — перевод голосовых команд в ростовую анимацию;
• Video-to-2D-portrait-face-animation — анимация рисунков людей или портретов с помощью видео;
• Text-to-speech (https://developer.nvidia.com/riva) — перевод текста в синтезированную ИИ речь.
В качестве первых партнёров к Nvidia уже присоединились Epic Games c MetaHuman Creator и Ready Player Me.
Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека. Пример на видео – слева 1 фото и текстовое описание.
На выходе модель дает рендер 3D головы человека. С помощью изменения текстового описания можно редактировать то, как как аватар будет выглядеть.
Статья 1 и 2. Сайт проекта.
Не сказать что сама тема 3D аватаров так уж нова - на рынке существует уже ряд решений и от Realsoft (ссылка на видео) и от iClone (ссылка)
Но тем не менее именно за последний год тема 3D аватаров реальных людей получила активное развитие и в этом году с высокой долей вероятности мы увидим полноценные решения в области цифровых двойников и в образовании.
И наша лаборатория (ссылка на проект) и целый ряд российских стартапов уже начал активную работу в этом поле. Будем следить за их успехами.
#ARVR #newtech
На фоне громких побед ChatGPT тема цифровых двойников в обучении, казалось бы, отошла на второй план? Ничуть – не так давно был анонсирован целый ворох решений в этом поле.
Пионером тут конечно же выступает Nvidia. Прошлый год RnD компании потратил на изучение восприятия 3D аватаров пользователями.
Было установлено, что «роботизация» реалистичного лица воспринимается несколько хуже чем анимированный персонаж на основе того же лица.
Несмотря на это Synthesia (видео ) напротив, делает упор на реалистичность. Их решение снабдило аватаров от Nvidia живой мимикой. Теперь они могут подмигивать, поднимать брови, хмуриться, двигать головой для отрицания или согласия, а также коротко многозначительно кивать.
Кстати многие подозревают что на CES 2023 спикерами с презентации Nvidia были именно эти аватары топ менеджеров компании а не живые люди. Ссылка .
Посмотрите — чёткие паузы, ровный голос и повторяющиеся жесты.
В 2023 году NVIDIA предоставила ранний доступ к инструментарию по работе с аватарами в том числе с уклоном в мультяшность. Avatars Cloud Engine (сокращённо — ACE) (видео).
ACE это набор инструментов:
• Video-to-animation — создание анимации на основе ИИ-анализа видео;
• Audio2Face (https://youtu.be/h3xT_F_tEuU) — анимация лица с помощью речи из аудиофайла;
• Audio2Gesture (https://youtu.be/o6hhCRlTa9o) — перевод голосовых команд в ростовую анимацию;
• Video-to-2D-portrait-face-animation — анимация рисунков людей или портретов с помощью видео;
• Text-to-speech (https://developer.nvidia.com/riva) — перевод текста в синтезированную ИИ речь.
В качестве первых партнёров к Nvidia уже присоединились Epic Games c MetaHuman Creator и Ready Player Me.
Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека. Пример на видео – слева 1 фото и текстовое описание.
На выходе модель дает рендер 3D головы человека. С помощью изменения текстового описания можно редактировать то, как как аватар будет выглядеть.
Статья 1 и 2. Сайт проекта.
Не сказать что сама тема 3D аватаров так уж нова - на рынке существует уже ряд решений и от Realsoft (ссылка на видео) и от iClone (ссылка)
Но тем не менее именно за последний год тема 3D аватаров реальных людей получила активное развитие и в этом году с высокой долей вероятности мы увидим полноценные решения в области цифровых двойников и в образовании.
И наша лаборатория (ссылка на проект) и целый ряд российских стартапов уже начал активную работу в этом поле. Будем следить за их успехами.
#ARVR #newtech
Дзен.Видео
Дизайн Образования - авторский блог Андрея Комиссарова | Цифровые двойники от Synthesia
Synthesia делает упор на реалистичность снабдила аватаров от Nvidia живой мимикой. Теперь они могут подмигивать, поднимать брови, хмуриться, двигать…
Для тех у кого нет доступа к ChatGPT...
Звездная команда PhD (гляньте интереса ради на слайд команды) из Quora, Meta и Gmail собрала весьма полезный ии-поисковик, отвечающий на вопросы в стиле Quora или Stackoverflow.
Perplexity AI - это новый инструмент для общения с искусственным интеллектом, который действует как чрезвычайно мощная поисковая система.
Когда пользователь вводит вопрос, модель просматривает Интернет, чтобы дать ответ. И что хорошего в этом инструменте, так это его способность отображать источник информации, которую он предоставляет.
Веб-сайт имеет настройки, аналогичные Google. В нем есть центральная панель основного поиска, где вы в основном задаете ИИ любой вопрос. Однако Perplexity AI имеет преимущество. Похоже, он способен предоставлять информацию в режиме реального времени.
Когда его спросили, в какой день был выпущен Samsung Galaxy S23, ИИ удалось дать правильный ответ. Это довольно выдающийся результат, учитывая, что выпуск смартфона состоялся только на этой неделе.
Отдельно есть поиск по Twitter - птичий SQL.
Крайне полезная штука для тех из вас, кто так и не смог получить доступа к ChatGPT, потому как этот инструмент
а) Бесплатен и б) не дискриминирует Российские ip адреса
К слову ChatGPT имеет весьма ограниченные знания о событиях, произошедших после 2021 года, и не имеет возможности ссылаться на свои источники в той степени, в какой это может сделать Perplexity AI.
Больше по теме на канале Дизайн Образования
#ai #newtech
Звездная команда PhD (гляньте интереса ради на слайд команды) из Quora, Meta и Gmail собрала весьма полезный ии-поисковик, отвечающий на вопросы в стиле Quora или Stackoverflow.
Perplexity AI - это новый инструмент для общения с искусственным интеллектом, который действует как чрезвычайно мощная поисковая система.
Когда пользователь вводит вопрос, модель просматривает Интернет, чтобы дать ответ. И что хорошего в этом инструменте, так это его способность отображать источник информации, которую он предоставляет.
Веб-сайт имеет настройки, аналогичные Google. В нем есть центральная панель основного поиска, где вы в основном задаете ИИ любой вопрос. Однако Perplexity AI имеет преимущество. Похоже, он способен предоставлять информацию в режиме реального времени.
Когда его спросили, в какой день был выпущен Samsung Galaxy S23, ИИ удалось дать правильный ответ. Это довольно выдающийся результат, учитывая, что выпуск смартфона состоялся только на этой неделе.
Отдельно есть поиск по Twitter - птичий SQL.
Крайне полезная штука для тех из вас, кто так и не смог получить доступа к ChatGPT, потому как этот инструмент
а) Бесплатен и б) не дискриминирует Российские ip адреса
К слову ChatGPT имеет весьма ограниченные знания о событиях, произошедших после 2021 года, и не имеет возможности ссылаться на свои источники в той степени, в какой это может сделать Perplexity AI.
Больше по теме на канале Дизайн Образования
#ai #newtech
ИИ и анализ данных в спорте. Учителям физкультуры приготовиться...
Пока мы с вами обсуждаем ИИ в образовании, в профессиональном спорте уже приличное время применяются нейронки для анализа, подведения статистики и выявления нарушений. В одном из каналов посвященных ИИ был детальный пост про то какие именно типы ИИ и с какой целью применяются на олимпийских играх.
Мне встретилась пара крайне интересных стартапов в этом поле.
Стартап jabbr.ai (видео выше) фокусируется на анализе бокса.
Для каждого боксера ведётся 50 различных метрик: удары, работа ногами, баланс, и т.д. Удивительно, как много всякой статистики можно вытащить нейронками.
Другой российский стартап - Fora Vision fora.vision
предлагает вариант автоматизации уроков физкультуры через компьютерное зрение. ИИ отслеживает качество выполнения заданий и избавляет преподавателя от рутинной работы в классе с большим количеством учеников. Также неплохо подходит для индивидуальных домашних занятий без преподавателя.
Интересно будет понаблюдать за развитием технологий в этом поле, Конечно такие сервисы не могут полностью заменить преподавателй физкультуры, но как минимум повысить прозрачность того что происходит на уроках для родителей учащихся они точно в состоянии.
#predmet #ai #newtech
Пока мы с вами обсуждаем ИИ в образовании, в профессиональном спорте уже приличное время применяются нейронки для анализа, подведения статистики и выявления нарушений. В одном из каналов посвященных ИИ был детальный пост про то какие именно типы ИИ и с какой целью применяются на олимпийских играх.
Мне встретилась пара крайне интересных стартапов в этом поле.
Стартап jabbr.ai (видео выше) фокусируется на анализе бокса.
Для каждого боксера ведётся 50 различных метрик: удары, работа ногами, баланс, и т.д. Удивительно, как много всякой статистики можно вытащить нейронками.
Другой российский стартап - Fora Vision fora.vision
предлагает вариант автоматизации уроков физкультуры через компьютерное зрение. ИИ отслеживает качество выполнения заданий и избавляет преподавателя от рутинной работы в классе с большим количеством учеников. Также неплохо подходит для индивидуальных домашних занятий без преподавателя.
Интересно будет понаблюдать за развитием технологий в этом поле, Конечно такие сервисы не могут полностью заменить преподавателй физкультуры, но как минимум повысить прозрачность того что происходит на уроках для родителей учащихся они точно в состоянии.
#predmet #ai #newtech
Сopilot X а github и переводчик языков программирования: первый шаг к замене программиста на AI
В дополнение к недавнему посту со списком вытесняемых профессий.
Команда GitHub Next решила прокачать GitHub Copilot, чтобы он стал AI-помощником на всех этапах разработки.
Они не только использовали GPT-4 от OpenAI, но и добавили чат и голосовые функции для Copilot, интегрировали его с пул-реквестами, командной строкой и документацией. Короче полный фарш. Все это обозвали Copilot X.
Copilot Chat не просто предлагает код - он анализирует написанный разработчиком код, ошибки.
Разработчик получает подробный анализ и объяснения блоков кода, может генерировать юнит-тесты и даже исправлять ошибки.
Есть чат-интерфейс, с AI ответами на вопросы о документации, включая языки, фреймворки и технологии.
Также стоит отметить GitHub Copilot CLI для командной строки.
Разработчики проводят много времени в терминале, и даже опытным иногда приходится листать страницы мануалов, чтобы вспомнить точный синтаксис команд. Вот здесь на помощь приходит Copilot CLI, который компонует команды и циклы, манипулирует сложными флагами, чтобы облегчить страданья разработчика.
С Copilot X, разработчики смогут увольнять некоторых коллег, ведь AI-помощник возьмет на себя их рутинные задачи. Разработка станет не только продуктивнее, но и дешевле веселее!
Ну и в качестве вишенки на торте – вышел переводчик с одного языка программиования на другой.
Попробовать можно ТУТ.
Конечно полностью заменить программистов такие инструменты не смогут, но существенно проредить ряды - вполне...
#ai #profnav #newtech
В дополнение к недавнему посту со списком вытесняемых профессий.
Команда GitHub Next решила прокачать GitHub Copilot, чтобы он стал AI-помощником на всех этапах разработки.
Они не только использовали GPT-4 от OpenAI, но и добавили чат и голосовые функции для Copilot, интегрировали его с пул-реквестами, командной строкой и документацией. Короче полный фарш. Все это обозвали Copilot X.
Copilot Chat не просто предлагает код - он анализирует написанный разработчиком код, ошибки.
Разработчик получает подробный анализ и объяснения блоков кода, может генерировать юнит-тесты и даже исправлять ошибки.
Есть чат-интерфейс, с AI ответами на вопросы о документации, включая языки, фреймворки и технологии.
Также стоит отметить GitHub Copilot CLI для командной строки.
Разработчики проводят много времени в терминале, и даже опытным иногда приходится листать страницы мануалов, чтобы вспомнить точный синтаксис команд. Вот здесь на помощь приходит Copilot CLI, который компонует команды и циклы, манипулирует сложными флагами, чтобы облегчить страданья разработчика.
С Copilot X, разработчики смогут увольнять некоторых коллег, ведь AI-помощник возьмет на себя их рутинные задачи. Разработка станет не только продуктивнее, но и дешевле веселее!
Ну и в качестве вишенки на торте – вышел переводчик с одного языка программиования на другой.
Попробовать можно ТУТ.
Конечно полностью заменить программистов такие инструменты не смогут, но существенно проредить ряды - вполне...
#ai #profnav #newtech
Цифровой инструментарий на уроках физики
Забавная и полезная штука - видеоанализ от Vernier - дельная дополненная реальность простыми средствами.
Для iOS устройств известный производитель цифровых лабораторий Vernier много лет назад выпустил замечательное приложение - Video Physics.
Снимаете видео любого движущегося предмета на неподвижную камеру - размечаете точками положения предмета через равные промежутки времени и определяете масштаб кадра, накладывая линейку и - о чудо! - прокручивая видео, вы видите добавленную реальность - точки траектории, а также программа сразу накладывает их на графики в координаты и скорости в двух измерениях.
Via Сергей Ловягин и Обучение физике и STEM-образование
https://vk.com/physics.stem
#predmet #newtech #ARVR
Забавная и полезная штука - видеоанализ от Vernier - дельная дополненная реальность простыми средствами.
Для iOS устройств известный производитель цифровых лабораторий Vernier много лет назад выпустил замечательное приложение - Video Physics.
Снимаете видео любого движущегося предмета на неподвижную камеру - размечаете точками положения предмета через равные промежутки времени и определяете масштаб кадра, накладывая линейку и - о чудо! - прокручивая видео, вы видите добавленную реальность - точки траектории, а также программа сразу накладывает их на графики в координаты и скорости в двух измерениях.
Via Сергей Ловягин и Обучение физике и STEM-образование
https://vk.com/physics.stem
#predmet #newtech #ARVR
"Опасность" ChatGPT и практические кейсы ИИ и в образовании (выступление на конференции)
На прошедшей не так давно конференции "BIG data & AI" меня пригласили выступить на тему генеративного Искусственного Интеллекта и кейсов наиболее интересного применения смарт алгоритмов в сегодняшнем образовании.
В частности рассмотреть "за" и "против" применения генеративного искусственного интеллекта в образовании (ChatGPT и им подобные), поделиться отечественными и зарубежными практиками применения алгоритмов на основе ИИ для обучения специалистов, в том числе для внутрикорпоративного "апгрейда" кадров, рассказать о новейших разработках в этой области и кейсах из собственной практики.
Получилось весьма интересно, особенно порадовали философские вопросы в конце :)
Вот 🖥 полное выступление 🖥
А вот детальные тайм коды.
0:00 ChatGPT - overview
2:07 Недостатки и особенности принятия решений ChatGPT
3:48 Perplexity.ai: ИИ-поисковая система и инструмент прозрачного принятия решений
5:21 Как улучшить образовательный опыт в МООК с помощью ИИ
6:21 “Цифровой фантом преподавателя” от Университета 20.35
8:00 Нужен ли пользователям цифровой 3D-двойник преподавателя?
9:21 Уход от анализа текста: ансамбль алгоритмов для анализа аудио-рефлексий
10:03 Применение Telegram-бота в анализе рефлексий и их обработка
12:14 Компоненты коммуникации в речи: что они могут нам сказать?
13:18 Анализ чистоты коммуникаций: тошнотность, водность и речевые хезитации
13:36 Ценность анализа коммуникаций с точки зрения педагогического дизайна
15:46 Визуализация командных показателей в обучении
16:54 Взаимооценка участников команды: что мы можем извлечь ценного из анализа
19:03 Как анализировать командную ценность “интровертов” на данных?
22:15 Не изжило ли себя оффлайн-образование в эпоху ИИ и цифровых технологий?
23:57 Зачем собирать и ранжировать отзывы обучающихся: ценность User Generated Content
Для интересующихся полная запись выступлений всех спикеров конференции доступна (увы не бесплатно)
💽ЗДЕСЬ💽
#AI #newtech #lxpd #metod
На прошедшей не так давно конференции "BIG data & AI" меня пригласили выступить на тему генеративного Искусственного Интеллекта и кейсов наиболее интересного применения смарт алгоритмов в сегодняшнем образовании.
В частности рассмотреть "за" и "против" применения генеративного искусственного интеллекта в образовании (ChatGPT и им подобные), поделиться отечественными и зарубежными практиками применения алгоритмов на основе ИИ для обучения специалистов, в том числе для внутрикорпоративного "апгрейда" кадров, рассказать о новейших разработках в этой области и кейсах из собственной практики.
Получилось весьма интересно, особенно порадовали философские вопросы в конце :)
Вот 🖥 полное выступление 🖥
А вот детальные тайм коды.
0:00 ChatGPT - overview
2:07 Недостатки и особенности принятия решений ChatGPT
3:48 Perplexity.ai: ИИ-поисковая система и инструмент прозрачного принятия решений
5:21 Как улучшить образовательный опыт в МООК с помощью ИИ
6:21 “Цифровой фантом преподавателя” от Университета 20.35
8:00 Нужен ли пользователям цифровой 3D-двойник преподавателя?
9:21 Уход от анализа текста: ансамбль алгоритмов для анализа аудио-рефлексий
10:03 Применение Telegram-бота в анализе рефлексий и их обработка
12:14 Компоненты коммуникации в речи: что они могут нам сказать?
13:18 Анализ чистоты коммуникаций: тошнотность, водность и речевые хезитации
13:36 Ценность анализа коммуникаций с точки зрения педагогического дизайна
15:46 Визуализация командных показателей в обучении
16:54 Взаимооценка участников команды: что мы можем извлечь ценного из анализа
19:03 Как анализировать командную ценность “интровертов” на данных?
22:15 Не изжило ли себя оффлайн-образование в эпоху ИИ и цифровых технологий?
23:57 Зачем собирать и ранжировать отзывы обучающихся: ценность User Generated Content
Для интересующихся полная запись выступлений всех спикеров конференции доступна (увы не бесплатно)
💽ЗДЕСЬ💽
#AI #newtech #lxpd #metod
YouTube
Генеративный ИИ в образовании
Двойник преподавателя, фантом преподавателя… встречайте : дублер преподавателя.
Один из основных RnD проектов над которым я сейчас работаю (в свободное от основной работы время) это цифровой фантом преподавателя – ансамбль алгоритмов, способный в дополнение к любому онлайн курсу обеспечить виртуальное «общение» с лектором, представленным в виде нейросети, предобученной на его материалах. Я писал об этом ранее .
Цифровые двойники уже активно занимают свою нишу, позволяя знаменитостям «проводить больше времени с детьми». Как например в случае чешской топ-модели Евы Герциговой (на видео выше).
В отличие от «цифрового двойника», где основным является внешний вид и похожесть виртуального аватара, для фантома наоборот важны – неброскость подачи при удобстве и содержательном наполнении.
Как показывают UX исследования, пока 3D репрезентация человека все еще не идеальна, бОльшая часть пользователей не особо жаждет взаимодействовать с ней. Во многом в этом виновата задержка серверной обработки, вызывающая «паузы» в поведении аватара, которые в общении с обычным человеком вызвали бы фрустрацию.
Но вот появился еще один – альтернативный вариант.
Это цифровой дублер - эдакий гибрид – лицо спикера на «чужом» реальном живом теле. Такой двойник двигается и говорит без задержек, а лицо на него натягивается подобно маске.
Решение на технологии сродни Дипфейку и создается оно буквально в пару кликов.
Для это нужно просто скачать приложение SwapFace, там нажать "Video FaceSwap", выбрать видео, а потом фотку с лицом. Готово, пользуйся. Сервис бесплатный, хотя в день доступно всего 20 генераций.
🏳️ Создание игр, игропрактика и гейм дизайн на канале Игрострой
🏳️ ИИ, дата центричный педдизайн, нейрофизиология и игропедагогика на канале Дизайн Образования
#twin #ai #newtech
Один из основных RnD проектов над которым я сейчас работаю (в свободное от основной работы время) это цифровой фантом преподавателя – ансамбль алгоритмов, способный в дополнение к любому онлайн курсу обеспечить виртуальное «общение» с лектором, представленным в виде нейросети, предобученной на его материалах. Я писал об этом ранее .
Цифровые двойники уже активно занимают свою нишу, позволяя знаменитостям «проводить больше времени с детьми». Как например в случае чешской топ-модели Евы Герциговой (на видео выше).
В отличие от «цифрового двойника», где основным является внешний вид и похожесть виртуального аватара, для фантома наоборот важны – неброскость подачи при удобстве и содержательном наполнении.
Как показывают UX исследования, пока 3D репрезентация человека все еще не идеальна, бОльшая часть пользователей не особо жаждет взаимодействовать с ней. Во многом в этом виновата задержка серверной обработки, вызывающая «паузы» в поведении аватара, которые в общении с обычным человеком вызвали бы фрустрацию.
Но вот появился еще один – альтернативный вариант.
Это цифровой дублер - эдакий гибрид – лицо спикера на «чужом» реальном живом теле. Такой двойник двигается и говорит без задержек, а лицо на него натягивается подобно маске.
Решение на технологии сродни Дипфейку и создается оно буквально в пару кликов.
Для это нужно просто скачать приложение SwapFace, там нажать "Video FaceSwap", выбрать видео, а потом фотку с лицом. Готово, пользуйся. Сервис бесплатный, хотя в день доступно всего 20 генераций.
#twin #ai #newtech
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Игрострой !
Нейросеть для озвучки текста (с придыханиями, смехом и песнями)
Вышел алгоритм Bark для озвучки текста: в отличии от других доступных алгоритмов, этот умеет и придыхания, и копирование голоса (правда в дисклеймере написано, что эта функция ограничена из-за этических рисков), и даже в пение (!), причем на разных языках. Правда в связи с высоким спросом демо работает не очень быстро.
Главное достижение данной модели - она может передавать помимо текста – эмоции, которые в тексте дополнительно прописываются промптами.
Для тех, кто хочет попробовать сам, добавляйте их к тексту:
📣 [laughter] или [laughs] - и диктор засмеется во время озвучки,
📣 [sighs] или [gasps] - озвучит вздох или испуг,
📣 [music] - будет музыкальная вставка (не очень хорошо работает),
📣 [clears throat] - и диктор прочистит горло,
📣 — или ... и нейронка "запнется", как человек,
📣 ♪ и нейронка попробует напеть текст, работает не очень стабильно.
📣 А если выделить капсом, то алгоритм сделает акцент на этом слове.
На видео выше пример такой озвучки женским голосом на английском
✨ Потестировать онлайн | Исходный код на гитхабе
Как это может быть применено в играх и в образовании?
✔️ качественная замена авточтеца для звуковых отрывков (упражнения и аудиокниги)
✔️ озвучка всех диалогов NPC в играх
✔️ примеры произношения для иностранных языков
✔️ озвучка интерактивных элементов корпоративных онлайн тренингов
А какие альтернативные варианты применения нейросети предложите вы?
В общем и целом это элемент ооочень существенной экономии бюджетов озвучки. Правда как и прочие ИИ-усиленные решения он «подвигает» на рынке определенную профессию. В данном случае под ударом оказываются актеры озвучки…
На данный момент это пожалуй самая сильная заявка на «Лучший опенсорс алгоритм озвучки 2023»
🏳️ Создание игр, игропрактика и гейм дизайн на канале Игрострой
🏳️ ИИ, дата центричный педдизайн, нейрофизиология и игропедагогика на канале Дизайн Образования
#ai #newtech #audio #lxpd
Вышел алгоритм Bark для озвучки текста: в отличии от других доступных алгоритмов, этот умеет и придыхания, и копирование голоса (правда в дисклеймере написано, что эта функция ограничена из-за этических рисков), и даже в пение (!), причем на разных языках. Правда в связи с высоким спросом демо работает не очень быстро.
Главное достижение данной модели - она может передавать помимо текста – эмоции, которые в тексте дополнительно прописываются промптами.
Для тех, кто хочет попробовать сам, добавляйте их к тексту:
На видео выше пример такой озвучки женским голосом на английском
✨ Потестировать онлайн | Исходный код на гитхабе
Как это может быть применено в играх и в образовании?
А какие альтернативные варианты применения нейросети предложите вы?
В общем и целом это элемент ооочень существенной экономии бюджетов озвучки. Правда как и прочие ИИ-усиленные решения он «подвигает» на рынке определенную профессию. В данном случае под ударом оказываются актеры озвучки…
На данный момент это пожалуй самая сильная заявка на «Лучший опенсорс алгоритм озвучки 2023»
#ai #newtech #audio #lxpd
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
«Это Жжж неспроста» или необъяснимое поведение искусственного интеллекта
Вышла интересная новость: Разработчики GPT не понимают, как модель смогла «неожиданно» выучить китайский, на который ее не тренировали. Это подтверждается скрупулезным тестированием SuperCLUE benchmark.
Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла
Совершенно необъяснимым является тот факт, что:
📣 GPT порвал все китайские модели в тестах на понимание особенностей китайского языка: понимание китайских идиом, знание классической китайской литературы и поэзии, умение разбираться в тонкостях китайской иероглифики;
📣 но при этом китайскому языку GPT почти не учили (это «почти» заключается в том, что для обучения GPT3 был использован корпус из 181 млрд английских слов и лишь 190 млн китайских, что составляет 900-кратную разницу (линк)
Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.
«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом» - пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.
В его дата сете конечно же есть не только китайский. Там более -менее равновзвешенная смесь из большинства языков мира, и чем старше модель тем их больше. То есть GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.
Вполне возможно… это начало принципиально новой эры…
PS: а меж тем бот напоминатор праздников сообщает что сегодня таки-праздник. Ни много ни мало:
🏳️ Сегодня День конца средневековья 🏳️ .
PPS: А если вы вдруг тоже любите языки и хотите невзначай окунуться во вселенную лингвистических изысков, то по этой ссылке вам откроется доступ к грамматикам большинства языков мира :)
🏳️ ИИ, дата центричный педдизайн, на канале Дизайн Образования
#ai #newtech
Вышла интересная новость: Разработчики GPT не понимают, как модель смогла «неожиданно» выучить китайский, на который ее не тренировали. Это подтверждается скрупулезным тестированием SuperCLUE benchmark.
Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла
Совершенно необъяснимым является тот факт, что:
Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.
«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом» - пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.
В его дата сете конечно же есть не только китайский. Там более -менее равновзвешенная смесь из большинства языков мира, и чем старше модель тем их больше. То есть GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.
Вполне возможно… это начало принципиально новой эры…
PS: а меж тем бот напоминатор праздников сообщает что сегодня таки-праздник. Ни много ни мало:
PPS: А если вы вдруг тоже любите языки и хотите невзначай окунуться во вселенную лингвистических изысков, то по этой ссылке вам откроется доступ к грамматикам большинства языков мира :)
#ai #newtech
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Игрострой !
Новое слово в VR, AR, MixR: Apple представила свой хедсет - Apple Vision Pro
Как видно из исследований, люди все еще не особо жаждут надолго зависатьс ведром на голове в VR шлеме в полном отрыве от реальности. Мы еще не готовы к полному эскейпизму, мы все еще слишком телесные, слишком земные. Наша зона комфорта все еще на материальном плане.
Киберпанк еще не наступил. Именно поэтому лопнул пузырь Метавселенных раздутый Цукербергом. Но...
Умные дяди быстро поняли в чем дело и переобулись на ходу. Взяли курс на смешанную реальность - элементы VR в повседневной жизни. Ведь дело тут не в привлекательных приложениях и не в прелестях переноса обычной работы в метавселенную. На этом витке технологий победит тот, кто сделает самый удобный, простой и дешевый девайс для смешанной реальности.
И вот пошла жара. Очки Magic Leap и Microsoft- Holo Lens с фокусом на MixR.
А теперь вышел из тени и Apple, представив VR хедсет - Apple Vision Pro.
Основная идея это Крутой pass-through (это когда ты видишь реальный мир, и на него наложены виртуальные объкты)
Странно правда что за кабель торчит из очков сзади. Далеко с ними не убежишь, но возможно это просто первый прототип.
Тренд на MixR весьма значим не только в игровой индустрии, но и в образовании, ведь он позволяет совершенно по новому выстраивать образовательно-игровые пространства. Вот например товарищ создает AR-головоломку с жидкостью (на видео). Он демонстрирует реальную физику жидкостей с игровой механикой порталов.
Здесь важен не только сам факт добавления в урок нового интерактивного медиа, но и развитие нового пространственного мышления у учащихся.
Подождать осталось совсем немного когда цена очков станет общедоступной а пока это целых $3499, зато уже в следующем году появятся в продаже.
🏳️ Создание игр, игропрактика и гейм дизайн на канале Игрострой
🏳️ ИИ, дата центричный педдизайн, нейрофизиология и игропедагогика на канале Дизайн Образования
#arvr #newtech
Как видно из исследований, люди все еще не особо жаждут надолго зависать
Киберпанк еще не наступил. Именно поэтому лопнул пузырь Метавселенных раздутый Цукербергом. Но...
Умные дяди быстро поняли в чем дело и переобулись на ходу. Взяли курс на смешанную реальность - элементы VR в повседневной жизни. Ведь дело тут не в привлекательных приложениях и не в прелестях переноса обычной работы в метавселенную. На этом витке технологий победит тот, кто сделает самый удобный, простой и дешевый девайс для смешанной реальности.
И вот пошла жара. Очки Magic Leap и Microsoft- Holo Lens с фокусом на MixR.
А теперь вышел из тени и Apple, представив VR хедсет - Apple Vision Pro.
Основная идея это Крутой pass-through (это когда ты видишь реальный мир, и на него наложены виртуальные объкты)
Странно правда что за кабель торчит из очков сзади. Далеко с ними не убежишь, но возможно это просто первый прототип.
Тренд на MixR весьма значим не только в игровой индустрии, но и в образовании, ведь он позволяет совершенно по новому выстраивать образовательно-игровые пространства. Вот например товарищ создает AR-головоломку с жидкостью (на видео). Он демонстрирует реальную физику жидкостей с игровой механикой порталов.
Здесь важен не только сам факт добавления в урок нового интерактивного медиа, но и развитие нового пространственного мышления у учащихся.
Подождать осталось совсем немного когда цена очков станет общедоступной а пока это целых $3499, зато уже в следующем году появятся в продаже.
#arvr #newtech
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM