Нечем занять вечер? Приходите через полчаса на премьеру моей новой лекции с амбициозным названием "What's next for OpenAI?"

https://www.youtube.com/watch?v=tJ1xjP17OZs
(релиз в 20:30 МСК, длительность лекции 74 минуты)

Поговорим про SuperAlignment (писал про него тут), про видение OpenAI касательно "искусственного интеллекта" (что они под этим подразумевают и какие штуковины оно сможет делать), а также про целых ВОСЕМЬ направлений исследований и разработки, которые помогут Sam Altman и компании на пути к решению проблемы Alignment.

Лекция нетехническая, можно смотреть её даже если вы не обучаете модели и не умеете писать код.

А скоро ещё статья выйдет по смежной теме...

Осень, серость, стрессы, то да сё.
Подписчик принёс плагин для VSCode, который заставит вас улыбнуться: vscode-pets

Добавляет окошко в среду программирования, в котором "живут" маленькие животные (и не только). Можно поиграть с ними мышкой, можно просто отвести взгляд от только что набранного кода и немного расслабиться. А можно и мячик кинуть!

Скидывайте скриншоты в комментарии, какую животину вы завели себе!

На Wired вышел лонг про самую стильную, судя по превью, AI команду. Оставлю ссылку для всех интересующихся тут, вечером почитаю сам и, быть может, перескажу основные и неочевидные моменты.

Ссылка: https://www.wired.com/story/what-openai-really-wants/

(название статьи подозрительно схоже с моей последней лекцией. Если ещё не смотрели - то вперёд!)


Как же я ЛЮБЛЮ OPENAI😄❤️❤️, вот они слева направо:
Намджун, Чонгук, Чингачгук, Гойко Митич, Джин, Юнги
Люблю вас❤️❤️❤️

🔺 Новые открытые LLM #ml_news

Вот так пролетает пара недель, а за это время столько всего нового вышло.

➕ Persimmon 8B

Adept выпустили открытую языковую модель под фруктовым названием Persimmon с 8 миллиардами параметров. Контекст у модели 16k токенов, причем обучалась она сразу на такой длине, а не на более короткой с последующим расширением. Видела она 737B токенов (75% текст, 25% код). Выглядит необычно, будем смотреть.

Пост, GitHub.

➕ Falcon 180B

TII из Арабских Эмиратов продолжают обучать и выкладывать свои модели. На этот раз обучили огромную модель на датасете REFINEDWEB. Показали этой модели аж 3.5T токенов. В моменте получилась самая лучшая открытая модель, которая бьет Llama 70B и ChatGPT-3.5 на MMLU.

Пост, HF, Демо

➕ Code Llama 7B, 13B, 34B

Meta дообучила модели Llama 2 дополнительно на 500B токенов кода. Затем дополнительно сделали Code Llama – Python (+100B токенов) и Code Llama – Instruct. Получились лучшие на сегодняшний день PLP модели. 7B и 13B обучались с FIM (могут заполнять код в середине документа).

Пост, GitHub

➕ Qwen-VL 7B (+ Chat version)

Китайские исследователи обучили мультимодальную сеть на основе своей же Qwen 7B, которая видела 2.2T токенов. За счет большого количества увиденных токенов (в основном это китайский и английский) модель бьет все аналогичные картиночно-текстовые модели. Для Chat версии собрали Colab.

GitHub, HF, Colab

Starship Flight 2

120-метровая машина стоит на ~10-метровом пусковом столе. Почти заряжена и готова к бою полёту.

Совсем скоро, возможно уже в следующем году, вся конструкция будет садиться в мааааленькую специально отведённую для этого зону с минимальной погрешностью.

В Веб-версии ChatGPT у некоторых пользователей появилась новая фича. Вместо одного ответа на их промпт одновременно генерируется два ответа, и предлагается выбрать лучший.

Подобное было реализовано почти сразу на релизе GPT-4, но только после нажатия кнопки перегенерации, когда есть явный запрос вида "мне не понравилось, давай ещё разок". А сейчас вот прямо сразу в чате.

Очевидно, что эти данные пойдут для дообучения текущих моделей и обучения будущих, ибо основной способ тренировки, RLHF (который я разбирал в этой лекции), опирается как раз таки на парные ответы, пытаясь оперировать оценкой вида "левый лучше правого". Чаще генерируй то что нравится больше, а то что не нравится - реже, и дело в шляпе!

Страшно представить, насколько впереди OpenAI в разрезе количества собранных данных относительно других конкурентов, особенно опенсурса. Google и Meta ещё могут догнать, а вот другие разве что в отдельновзятых узких доменах.

В следующем году в США пройдут 60-ые выборы президента.
После скандалов с Cambridge Analytica общество и политики стали обращать ещё больше внимания на социальные сети и интернет как место борьбы за политическую точку зрения. Большой вопрос в том, во что превратится интернет к моменту выборов.

Пока вчера летел в самолёте, обсуждал с товарищем этот топик в контексте языковых моделей. Тема достаточно важная: во время весенних слушаний в сенате её поднимал Josh Hawley, сенатор от штата Миссури (ссылка с таймкодом). Тогда он задал Sam Altman'у вопрос касательно статьи "Language Models Trained on Media Diets Can Predict Public Opinion" (авторы из MIT и Stanford). Как следует из статьи, исследовалась возможность использования нейронок для предсказания общественного мнения на те или иные новости. Представьте, что у вас есть черный ящик, в который можно подавать новости, окрашенные в те или иные политические тона, и понимать, каким будет восприятие в глазах голосующих за другую партию (или колеблющихся голосов). Обычно для этого делают фокус-группы, проводят опросы, да и вообще есть целые методички на эту тему (сам, правда, не видел).

Пересказывать статью подробно не буду, лишь опишу общие детали. Модель сначала тренируется на некотором наборе статей с того или иного ресурса просто предсказывать пробелы в тексте (BERT), а затем измеряется некоторая оценка s. Делается это так:
1) формируется тезис, скажем, "Требование о закрытии большинства предприятий, кроме продуктовых магазинов и аптек, [ПРОПУСК] в целях борьбы со вспышкой коронавируса."
2) как вы видите, в тезисе стоит пропуск. Языковые модели могут предсказывать вероятности заполнения этого пропуска тем или иным словом
3) оцениваете вероятность определенных слов, скажем, "необходимо" или "излишне"
4) эта вероятность нормируется на вероятность от базовой, недообученной модели (которая просто умеет оценивать, насколько часто слово встречается в таком контексте само по себе). Итоговая дробь и есть оценка s, характеризующая новую информацию, содержащаяся в наборе данных из СМИ, но относительно существующих знаний и информации в целом.

Помимо этого, сверху добавляется оценка того, насколько конкретная группа людей пристально следит за новостями определенной темы. Это, очевидно, улучшает качество предсказания, которое измеряется в корреляции предсказаний модели и мнения людей по поводу оригинального тезиса из пункта (1).

Фишка в том, что тезисы и новости разделяли по датам, то есть обучившись на новостях за первые пару месяцев, скажем, коронавируса, можно было предсказывать реакцию людей на предлагаемые меры и изменения.

Однако метрики не выглядят клевыми, да и сами авторы подчеркивают, что их результаты не означают, что (а) люди в процессе могут быть заменены ИИ или (б) опросы людей могут быть заменены моделями. Скорее это станет инструментом, помогающим обобщать огромные объемы данных и подсказывать перспективные направления "работы".

(Но сенатор приходил к другому выводу, что модели всё делают слишком хорошо и это опасно. Крупица здравого смысла в этом есть: в статье представлены очень простые модели, возможно GPT-4 будет куда лучше)

Но в самолёте мы говорили с товарищем не об этом, а о том, что уже сейчас можно начать крутить LLMки — даже локальные — чтобы создавать и наполнять фейковые аккаунты в социальных сетях. Можно автоматизировать фабрику троллей с переводом акцента на пропаганду и смещение картины мира.

Опять же, ничего невозможного с точки зрения того, что уже делается, только масштаб другой — модели то можно запускать сколько душе угодно, пока не кончается выделенный на GPU бюджет. А для поддержания диалогов/тредов другие боты "послабее" могут встревать в дискуссии и отвечать, но неубедительно, чтобы "правильный" бот его переубедил, а ты, прочитав это, подумал "Не ну так-то и вправду, а чё эти демократы сделали то нормального? Проголосую-ка за республиканцев".


Да и вообще сложно на каждого онлайн-пользователя выделить по одному сотруднику-троллю, который будет вести диалог и планомерно переубеждать в чем либо. Это ж получится как в анекдоте "половина сидит, половина охраняет". А бот на продвинутой нейронке не устанет, будет отвечать снова и снова — десяткам миллионов людей одновременно.

И запрягать весь процесс можно уже сейчас, разогревая аккаунты в соц. сетях, притворяясь, что бот пишет про свою жизнь и постит рандомное что-то, при этом адекватное.

Даже если такой проблемы не будет в 2024м году - с очень большой вероятностью мы с этим столкнемся в 2028м. Что делать и как быть? Отключать соц. сети в период гонки? Вряд ли. Обучить людей не верить тому что в интернетах пишут? Не вариант. Проиграть выборы? Уж лучше отключить интернет..

Может делать какую-то продвинутую модерацию? Так людей не хватит, а автоматизировать это ещё как-то надо придумать. Лучшие модели по выявлению сгенерированного текста — даже от самих OpenAI — показывают очень слабые результаты. Про это писал Юра Кашницкий, можно вот тут прочитать детали.

И тут, вы не представляете товарищ следователь, недавно OpenAI выпускают блогпост под названием "Using GPT-4 for content moderation". Проектом, кстати, заведует Lilian Weng — та самая, которая ведёт блог Lil’Log с отличными постами про ML и LLMки.

С их слов, система модерации контента, использующая GPT-4, обеспечивает гораздо более быстрое внесение изменений в правила модерации, сокращая цикл с месяцев до часов. GPT-4 также способен интерпретировать правила и нюансы в длинной инструкции/политике в отношении контента и мгновенно адаптироваться к обновлениям, что приводит к более последовательной оценке контента.

Система очень проста, демонстрацию вы можете видеть на приложенной гифке. Вся фишка в том, что GPT-4 достаточно умна, чтобы понимать написанный текст (поверьте, с этим не все люди справляются).

1. После написания принципов модерации/инструкции эксперты могут разметить маленького размера набор данных, найдя небольшое количество примеров нарушений и присвоив им метки в соответствии с политикой нарушений.
2. Затем GPT-4 читает набор правил и проставляет метки для этих данных, при этом не видя ответов. 3. Изучая несоответствия между ответами GPT-4 и суждениями человека, эксперты могут попросить GPT-4 пояснить за базар (уточнить, почему был дан такой ответ), проанализировать двусмысленность в определениях в инструкции, и устранить путаницу с помощью дополнительных разъяснений (шаг дописывания голубого текста слева на гифке).

Можно повторять шаги 2 и 3, пока не будет достигнуто удовлетворительное качество работы алгоритма. При желании использовать это на большом объеме можно использовать прогнозы GPT-4 для дообучения гораздо меньшей модели, которая покажет сравнимое качество.

OpenAI делятся метриками по 12 разным типам нарушений. Модель работает в среднем чуть лучше обычных модераторов контента, но по-прежнему уступает опытным и хорошо обученным модераторам-людям. Зато стоит копейки!

Не то чтобы ML-модели не использовались для автомодерации уже несколько лет, однако я уверен, что новшества в этой сфере, связанные с политикой и выборами, будут появляться. Возможно, OpenAI будет единственным официальным провайдером TrueModerationAPI™, утверждённым Белым Домом (ведь они недавно партнерились), кто знает.

Гифка не влезла, поетому вот

Мне вообще всё описанное напомнило некоторый процесс оптимизации под заданный датасет. Примерно как построение дерева решений, которое корректирует свои предсказания на основе совершаемых ошибок, и в конечном итоге хорошо предсказывает некоторую выборку. Только признаки для модели здесь - это текст, а "архитектура дерева" — задаваемый промпт, который проходя через цепочку математических преобразований в модели становится ответом.