🔎 Исследователи Google предложили заменить метод ранжирования поисковых результатов большой языковой моделью, такой как BERT, GPT-3 или их будущей версией.
По словам инженеров, вместо поиска информации в огромном списке веб-страниц пользователи смогут задавать вопросы, а языковая модель, обученная на этих страницах, напрямую отвечать на них.
🤔 Однако языковые модели все еще плохо работают с техническими и узкоспециализированными документами. Они также смещены в сторону английского языка.
Исследователи отметили, что большие языковые модели появились относительно недавно и они планируют работать над решением этих и других проблем.
#Google #GPT3 #BERT
По словам инженеров, вместо поиска информации в огромном списке веб-страниц пользователи смогут задавать вопросы, а языковая модель, обученная на этих страницах, напрямую отвечать на них.
🤔 Однако языковые модели все еще плохо работают с техническими и узкоспециализированными документами. Они также смещены в сторону английского языка.
Исследователи отметили, что большие языковые модели появились относительно недавно и они планируют работать над решением этих и других проблем.
#Google #GPT3 #BERT
This media is not supported in your browser
VIEW IN TELEGRAM
🗣 Microsoft на конференции Build 2021 анонсировала первый коммерческий продукт на основе языковой модели GPT-3. Им стал инструмент для автозаполнения кода на платформе для low-code разработки Power Apps.
GPT-3 работает в облаке Azure, а обучалась модель с помощью Azure Machine Learning.
📅 Сервис станет доступен в рамках публичного тестирования до конца июня 2021 года. В будущем Microsoft планирует расширить использования GPT-3 на другие инструменты для разработчиков.
#Microsoft #GPT3
GPT-3 работает в облаке Azure, а обучалась модель с помощью Azure Machine Learning.
📅 Сервис станет доступен в рамках публичного тестирования до конца июня 2021 года. В будущем Microsoft планирует расширить использования GPT-3 на другие инструменты для разработчиков.
#Microsoft #GPT3
🔎 Американские ученые провели исследование и выяснили, что языковые модели чаще отдают предпочтение «токсичным» комментариям вместо «безопасных».
Авторы создали набор данных ToxiChat из 2000 тредов с Reddit и расширили его комментариями, сгенерированными алгоритмами GPT-3 и DialoGPT.
Исследователи наняли работников из Amazon Mechanical Turk для разметки собранных фраз как «безопасные» или «оскорбительные». Комментарии считались токсичными, если они были грубыми или неуважительными по отношению к отдельному человеку или группе людей. Разметчики также отмечали ответы на предыдущие высказывания в ветке как «согласен», «не согласен» или «нейтрально».
📊 По данным исследования, 42% пользователей платформы поддержали «токсичные» комментарии, тогда как только 13% людей отдали предпочтение «безопасным». Ученые также обнаружили, что языковые модели GPT-3 и DialoGPT имитировали это поведение и в два раза чаще соглашались с оскорбительными ответами.
#исследование #NLP #GPT3
Авторы создали набор данных ToxiChat из 2000 тредов с Reddit и расширили его комментариями, сгенерированными алгоритмами GPT-3 и DialoGPT.
Исследователи наняли работников из Amazon Mechanical Turk для разметки собранных фраз как «безопасные» или «оскорбительные». Комментарии считались токсичными, если они были грубыми или неуважительными по отношению к отдельному человеку или группе людей. Разметчики также отмечали ответы на предыдущие высказывания в ветке как «согласен», «не согласен» или «нейтрально».
📊 По данным исследования, 42% пользователей платформы поддержали «токсичные» комментарии, тогда как только 13% людей отдали предпочтение «безопасным». Ученые также обнаружили, что языковые модели GPT-3 и DialoGPT имитировали это поведение и в два раза чаще соглашались с оскорбительными ответами.
#исследование #NLP #GPT3
✍️ GPT-3 написал диссертацию о самом себе. Ученые отправили «работу» на рецензию в один из научных журналов.
Шведская исследовательница Альмира Османович Тунстрем попросила алгоритм написать диссертацию в 500 слов о GPT-3, а также добавить в текст ссылки и цитаты. По ее словам, спустя два часа система завершила работу над документом, указав проверенные цитаты в нужных местах и правильном контексте.
💬 Тунстрем предположила, что эксперимент позволит изменить систему финансирования академического сообщества в зависимости от количества публикаций. По ее словам, ИИ-помощник сможет генерировать новую статью каждый день.
#GPT3 #исследование
Шведская исследовательница Альмира Османович Тунстрем попросила алгоритм написать диссертацию в 500 слов о GPT-3, а также добавить в текст ссылки и цитаты. По ее словам, спустя два часа система завершила работу над документом, указав проверенные цитаты в нужных местах и правильном контексте.
💬 Тунстрем предположила, что эксперимент позволит изменить систему финансирования академического сообщества в зависимости от количества публикаций. По ее словам, ИИ-помощник сможет генерировать новую статью каждый день.
#GPT3 #исследование
👾 Пользователи Twitter с помощью уязвимости атаковали бота, работающего на языковой модели GPT-3. Автоматизированный аккаунт позволял искать удаленную работу.
Ранее исследовательница данных Райли Гудсайд обнаружила способность запрашивать у GPT-3 «злонамеренные входные данные», которые заставляют модель игнорировать предыдущие направления и вместо этого делать что-то другое. На следующий день эксперт в области ИИ Саймон Уиллисон опубликовал обзор эксплойта в своем блоге.
Спустя четыре дня после обнаружения уязвимости сотни пользователей Twitter перенаправили бота на повторение «возмутительных и нелепых фраз». Разработчикам пришлось отключить аккаунт.
#безопасность #GPT3
Ранее исследовательница данных Райли Гудсайд обнаружила способность запрашивать у GPT-3 «злонамеренные входные данные», которые заставляют модель игнорировать предыдущие направления и вместо этого делать что-то другое. На следующий день эксперт в области ИИ Саймон Уиллисон опубликовал обзор эксплойта в своем блоге.
Спустя четыре дня после обнаружения уязвимости сотни пользователей Twitter перенаправили бота на повторение «возмутительных и нелепых фраз». Разработчикам пришлось отключить аккаунт.
#безопасность #GPT3