🔎 Исследователи Google предложили заменить метод ранжирования поисковых результатов большой языковой моделью, такой как BERT, GPT-3 или их будущей версией.

По словам инженеров, вместо поиска информации в огромном списке веб-страниц пользователи смогут задавать вопросы, а языковая модель, обученная на этих страницах, напрямую отвечать на них.

🤔 Однако языковые модели все еще плохо работают с техническими и узкоспециализированными документами. Они также смещены в сторону английского языка.

Исследователи отметили, что большие языковые модели появились относительно недавно и они планируют работать над решением этих и других проблем.

#Google #GPT3 #BERT

🗣 Microsoft на конференции Build 2021 анонсировала первый коммерческий продукт на основе языковой модели GPT-3. Им стал инструмент для автозаполнения кода на платформе для low-code разработки Power Apps.

GPT-3 работает в облаке Azure, а обучалась модель с помощью Azure Machine Learning.

📅 Сервис станет доступен в рамках публичного тестирования до конца июня 2021 года. В будущем Microsoft планирует расширить использования GPT-3 на другие инструменты для разработчиков.

#Microsoft #GPT3

🔎 Американские ученые провели исследование и выяснили, что языковые модели чаще отдают предпочтение «токсичным» комментариям вместо «безопасных».

Авторы создали набор данных ToxiChat из 2000 тредов с Reddit и расширили его комментариями, сгенерированными алгоритмами GPT-3 и DialoGPT.

Исследователи наняли работников из Amazon Mechanical Turk для разметки собранных фраз как «безопасные» или «оскорбительные». Комментарии считались токсичными, если они были грубыми или неуважительными по отношению к отдельному человеку или группе людей. Разметчики также отмечали ответы на предыдущие высказывания в ветке как «согласен», «не согласен» или «нейтрально».

📊 По данным исследования, 42% пользователей платформы поддержали «токсичные» комментарии, тогда как только 13% людей отдали предпочтение «безопасным». Ученые также обнаружили, что языковые модели GPT-3 и DialoGPT имитировали это поведение и в два раза чаще соглашались с оскорбительными ответами.

#исследование #NLP #GPT3

✍️ GPT-3 написал диссертацию о самом себе. Ученые отправили «работу» на рецензию в один из научных журналов.

Шведская исследовательница Альмира Османович Тунстрем попросила алгоритм написать диссертацию в 500 слов о GPT-3, а также добавить в текст ссылки и цитаты. По ее словам, спустя два часа система завершила работу над документом, указав проверенные цитаты в нужных местах и правильном контексте.

💬 Тунстрем предположила, что эксперимент позволит изменить систему финансирования академического сообщества в зависимости от количества публикаций. По ее словам, ИИ-помощник сможет генерировать новую статью каждый день.

#GPT3 #исследование

👾 Пользователи Twitter с помощью уязвимости атаковали бота, работающего на языковой модели GPT-3. Автоматизированный аккаунт позволял искать удаленную работу.

Ранее исследовательница данных Райли Гудсайд обнаружила способность запрашивать у GPT-3 «злонамеренные входные данные», которые заставляют модель игнорировать предыдущие направления и вместо этого делать что-то другое. На следующий день эксперт в области ИИ Саймон Уиллисон опубликовал обзор эксплойта в своем блоге.

Спустя четыре дня после обнаружения уязвимости сотни пользователей Twitter перенаправили бота на повторение «возмутительных и нелепых фраз». Разработчикам пришлось отключить аккаунт.

#безопасность #GPT3