В продолжение к посту про интервью с Ilya Sutskever (OpenAI)

Вот ещё интересно, Илья говорит, что он согласен с ЛеКуном в том, что обучаться понимать мир проще, если есть доступ к данным из нескольких модальностей. Например текст, аудио и картинки вместе. Но в то же время он верит, что всему можно научиться сугубо по тексту, однако это будет сложнее и дольше.

Дальше он приводит интересный эксперимент. После обучения LLM, они посмотрели на эмбединги, отвечающие за цвета. Оказалось что модель, которая в глаза никогда не не видела визуальную информация, выучила такие эмбединги, где фиолетовый ближе голубому чем красный, что красный ближе к оранжевому чем фиолетовый, и т.д. И все это модель выучила только на основе текста.

Ещё Илья признает, что файнтюнинг RLHF не добавляет в модель новых знаний о мире. Модель и так уже все выучила на основе статистических паттернов в тексте во время large-scale тренировки. RLHF файнтюнинг же всего лишь "делает ответы модели более надёжными", то есть во время файнтюна модель бьют по рукам если она что-то неугодное ляпает. От себя добавлю, что RLHF так же позволяет более эффективно взаимодействовать с моделью в режиме инструкций. То есть в режим вопрос-ответ или задача-решение. Но этого, вроде как, можно достичь и без RL, а с помощью обычного self-instruct fine-tuning.

@ai_newz

🦙 LLaMa не стоит на месте

Есть уже куча примеров какие чудеса кулибины вытворяют с моделькой LLaMa. А вчера чел соорудил подобие Джарвиса, или Алексы, если хотите, прямо у себя в терминале на MacBook M1 Pro.

Причем все работает реалиайм на связке Whisper + LLaMa.

Под капотом: ggml / whisper.cpp / llama.cpp / Core ML
STT: Whisper Small
LLM: 13B LLaMA

Другой Кулибин начал прикручивать плагины от ChatGPT к опенсоурсной LLaMa. Уже работает text-retrieval плагин, и есть код.

@ai_newz

Вот пример работы LLaMa с text-retrieval плагином. Ее спросили, какой заголовок статьи, в которой опубликовали ее саму. Тут можно видеть и контекст, который генерируется плагином и выход модели.

@ai_newz

Так как все хостится локально, то можно безопасно подсунуть в модель свои личные документы и файлы (а не отправлять их на сервера OpenAI через API) и гонять лламу по ним как своего личного ассистента.

Мне, например, было бы некомфортно засылать свои емейлы в чатгпт. А вот в локальную копию Лламы я бы их загрузил.

Ллама, конечно, ещё послабее чем GPT-4, но ещё не вечер. Думаю, в опен-соурсе в ближайшее время появится что-то сравнимое с ChatGPT, благо есть много открытых инициатив. Народ продолжает допиливать LLaMa-Alpaca, ведется сбор датасетов в рамках Open Assistant, и ещё парочка других инициатив.

Могли бы вы представить 3 месяца назад, что сможете запускать в реальном времени большую языковую модель у себя на макбуке да и ещё по сути зарепродюсить голосового помощника типа Алексы?

Скорость прогресса просто mind-blowing!

@ai_newz

Как же замечательно, что сейчас столько новых экспертов по эйай появилось!

@ai_newz

С опозданием на 4 месяца, но я таки залил нашу NeurIPS 2022 статью VisCo Grids про 3D реконструкцию поверхностей на arXiv.

https://arxiv.org/abs/2303.14569

@ai_newz

Я недавно писал, что ChatGPT не очень юзабельна для серьезных вещей из-за наплевательского отношения на приватность данных.

Вот итальянцы уже заблокировали ChatGPT у себя в стране из-за того, что бот не соответствует GDPR. Итальянский орган по защите данных дал OpenAI 20 дней на то, чтобы объяснить, как они собираются устранить их опасения. Если они не справятся, то им грозит штраф в 20 миллионов евро или даже до 4% от годового оборота. Не шутка!

Думаю, что скоро могут подтянуться и другие страны Евросоюза.

Говорю же, нужно поднимать свою реплику LLM дома, под столом.

@ai_newz

LLaMa 30B на 6GB RAM

Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.

Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.

Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста,  при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.

Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же закрытому AI OpenAI у себя в закромах держать.

@ai_newz

С прошедшим днём Смеха, и с ещё одним днём без AGI 😁.

Забыл только stackoverflow дать по щам.

@ai_newz

​Любой, кто воспользуется быстро развивающейся технологией [AI], будет наказан повешением

Вы наверное заметили, что истерия вокруг опасности ИИ набирает обороты. Коротко перескажу недавние события.

Илон Маск, Стив Возняк,  Ёшуа Бенжио и др. подписали открытое письмо, которое призывает AI лаборатории приостановить тренировку AI систем мощнее чем GPT-4. Маск то понятно, но про Бенжио, честно говоря, не до конца понятно, почему он сюда вписался. Может тоже хочет выиграть время.

Самопровозглашенный ИИ эксперт Юдковский, выпускает опус, настаивающий на полном запрете исследований в области ИИ, и призывает глав государств буквально бомбить несанкционированные дата-центры с GPU-кластерами. Интересно слышать апокалиптические пророчества от человека, который не имеет никакого инженерного или научного AI бэкграунда и мало понимает, как вообще работают современные нейросети.

Думеры от вида новых нейронок рвут на голове волосы с криками "кампутеры нас всих пагубят, лишат работы и парабатят!".

А буквально сегодня верховой лидер Ирана издает фетву, в которой назвал ИИ сатанинской технологией [классика] и призвал всех мусульман мира бороться против неё. А тот, кто будет убит в процессе этой борьбы, будет объявлен мучеником. "Любой, кто воспользуется быстро развивающейся технологией, будет наказан повешением." - пояснили иранские власти.

Кстати, это первый случай, когда иранское государство издает фетву против нечеловеческой сущности. Ладно, про фетву – это была шутка. Всё остальное нет.

Ух, как много весёлых событий!

@ai_newz