Forwarded from Гиперкаталог
На входе, начиная с 1948, имеем: успешное рождение кибернетики, первые публикации, широкое международное признание. Появление термина "искусственный интеллект" (придумал Джон МакКарти, создатель языка программирования LISP). Далее бурный социальный рост движения, череда интересных технических открытий, проникновение в популярную культуру.
На выходе, к 1972: "есть мнение, что ИИ переоценили". Прекращение финансирования, фактический роспуск движения, всеобщее разочарование прогрессом. Кувырок через голову.
Что произошло? Куда всё делось?
Рассказывают, что наступила "зима ИИ". То есть объективное погодное явление, ничего не поделать, таков, мол, прихотливый, но естественный и даже ожидаемый ход научного прогресса.
Евгений написал большую статью об истории искусственного интеллекта, в которой затронул самые разные темы: от понятной кибернетики до неочевидной групповой психотерапии. В материале охвачен период от рождения отца кибернетики до первой Зимы ИИ.
Гиперкаталог
История ИИ: Часть I
От автора
🔥15👍8❤2
Авторегрессия рекомендаций
Современные лингвистические ИИ (большие лингвистические модели) работают по принципу "авторегрессии": предыдущие символы предсказывают следующие. Не удивительно, что рано или поздно подобное "самопредсказание" должно выходить на некое плато.
Плохие модели начинают буквально спамить одинаковым текстом, каким-нибудь зациклившимся словом.
Хорошие пытаются выжать из пользователя что-нибудь новенькое, переходя на касательную тему, или пытаются вызвать желание прекратить диалог, делая некие как бы подводящие итог беседы замечания.
Важно, что источником новизны – а значит, вообще, источником осмысленности – является пользовательская активность. Для конкретного диалога активность конкретного пользователя, а для развития моделей в целом активность миллионов общающихся с ними людей (и десятков тысяч нанятых профессиональных рецензентов).
Модели как бы выжимают смыслы из массива текстов – похоже на буквально извлечение полезных ископаемых из недр. Сначала выжали смыслы из архива интернета за 2021 год. Выжали, по-видимому, до суха, и теперь остаётся выжимать смыслы уже из общения пользователей с самими ИИ. Большой интернет контаминируется продуктами моделей, которые неуёмно используют на всех основных публицистических площадках, использовать его "как есть" посему не выйдет – а логи диалогов с ИИ, ну понятно, априори несут отпечаток ИИ минимум на половину.
На эту систему можно взглянуть шире – вот уже сами люди вовлекаются в авторегрессионную модель, обучаясь на ИИ-продуктах и ИИ-взаимодействиях и стараясь (вольно или невольно) породить контент, который вписывается в шаблоны, который случайно подцепил ИИ (сам или через произвольный выбор ИИ-тренеров).
Особенно ярким примером такой человеко-машинной авторегрессии являются рекомендательные системы. Это всё то программное обеспечение (с элементами ИИ), которое подкидывает видео в ютюбах и тиктоках, посты в дзенах и фейсбуках, игры в стиме, музыку и фильмы в стриминговых сервисах.
В известный момент во всех этих сервисах отменили всякую возможность упорядочивать контент – отменили жанры и теги. В итоге Dota и Slay The Spire, например, оказались в Стиме в едином разделе Strategy games. А облако тегов из забавной картинки, помогающей ориентироваться в содержании, превратилось в произвольный список, который стоило бы добавить в блокировщик рекламы.
Зачем это сделали? Чтобы "рексистемы" давали пользователям индивидуальные рекомендации на основе их фактической активности, чтобы навязанные схемы не искажали произвольный и свободный человеческий выбор.
Но привело это к противоположному результату (хоть и закономерному). Вместо расцвета сотен жанров видим классическое авторегрессионное схлопывание: миллионы rogue-like deck-building "indie" "strategy" games. В какой-то момент случайно выпал такой вот вектор в рексистемах, а потом люди, лишённые возможности обучаться всё более тонкому выбору (что возможно единственно через развитие онтологии всё более тонких различий – т.е., для игр, формализации жанров в частности и игровых компонентов в общем), сработали как усилитель этого схлопывания.
Кстати, настойчивое нежелание заниматься определением слова "интеллект" (из словосочетание "искусственный интеллект") ведь результатом имеет в точности то же: авторегрессионный коллапс "интеллектуальности" в информационной среде в целом.
– Двойное определение разума (27.03.2023)
– Дискриминатор разумности (21.05.2023)
– Коллапс модели (01.10.2023)
Современные лингвистические ИИ (большие лингвистические модели) работают по принципу "авторегрессии": предыдущие символы предсказывают следующие. Не удивительно, что рано или поздно подобное "самопредсказание" должно выходить на некое плато.
Плохие модели начинают буквально спамить одинаковым текстом, каким-нибудь зациклившимся словом.
Хорошие пытаются выжать из пользователя что-нибудь новенькое, переходя на касательную тему, или пытаются вызвать желание прекратить диалог, делая некие как бы подводящие итог беседы замечания.
Важно, что источником новизны – а значит, вообще, источником осмысленности – является пользовательская активность. Для конкретного диалога активность конкретного пользователя, а для развития моделей в целом активность миллионов общающихся с ними людей (и десятков тысяч нанятых профессиональных рецензентов).
Модели как бы выжимают смыслы из массива текстов – похоже на буквально извлечение полезных ископаемых из недр. Сначала выжали смыслы из архива интернета за 2021 год. Выжали, по-видимому, до суха, и теперь остаётся выжимать смыслы уже из общения пользователей с самими ИИ. Большой интернет контаминируется продуктами моделей, которые неуёмно используют на всех основных публицистических площадках, использовать его "как есть" посему не выйдет – а логи диалогов с ИИ, ну понятно, априори несут отпечаток ИИ минимум на половину.
На эту систему можно взглянуть шире – вот уже сами люди вовлекаются в авторегрессионную модель, обучаясь на ИИ-продуктах и ИИ-взаимодействиях и стараясь (вольно или невольно) породить контент, который вписывается в шаблоны, который случайно подцепил ИИ (сам или через произвольный выбор ИИ-тренеров).
Особенно ярким примером такой человеко-машинной авторегрессии являются рекомендательные системы. Это всё то программное обеспечение (с элементами ИИ), которое подкидывает видео в ютюбах и тиктоках, посты в дзенах и фейсбуках, игры в стиме, музыку и фильмы в стриминговых сервисах.
В известный момент во всех этих сервисах отменили всякую возможность упорядочивать контент – отменили жанры и теги. В итоге Dota и Slay The Spire, например, оказались в Стиме в едином разделе Strategy games. А облако тегов из забавной картинки, помогающей ориентироваться в содержании, превратилось в произвольный список, который стоило бы добавить в блокировщик рекламы.
Зачем это сделали? Чтобы "рексистемы" давали пользователям индивидуальные рекомендации на основе их фактической активности, чтобы навязанные схемы не искажали произвольный и свободный человеческий выбор.
Но привело это к противоположному результату (хоть и закономерному). Вместо расцвета сотен жанров видим классическое авторегрессионное схлопывание: миллионы rogue-like deck-building "indie" "strategy" games. В какой-то момент случайно выпал такой вот вектор в рексистемах, а потом люди, лишённые возможности обучаться всё более тонкому выбору (что возможно единственно через развитие онтологии всё более тонких различий – т.е., для игр, формализации жанров в частности и игровых компонентов в общем), сработали как усилитель этого схлопывания.
Кстати, настойчивое нежелание заниматься определением слова "интеллект" (из словосочетание "искусственный интеллект") ведь результатом имеет в точности то же: авторегрессионный коллапс "интеллектуальности" в информационной среде в целом.
– Двойное определение разума (27.03.2023)
– Дискриминатор разумности (21.05.2023)
– Коллапс модели (01.10.2023)
👍12🔥2
Терминологический диспут
В довесок к предыдущему посту: читатели упрекают в использовании термина "лингвистический ИИ/модель" (используется мало и в публицистике) вместо "языковой ИИ/модель" (используется часто, в т.ч. в академической среде).
Но позвольте, какая же LLM "языковая модель"? И вообще, что такое "языковая модель", в отличие от "модели языка"?
Массив текстов (что изначально не вполне "язык") нарезают на токены, токены скармливают по порядку модели, модель учится предсказывать следующий токен. У недоученных моделей вылезает показательный артефакт – отвечают на смеси языков (например, посередине китайского текста вылазит английский), приходится исправлять дополнительными манёврами.
Какого же конкретно "языка" "языковая модель" является моделью? Праиндоевропейскосинотибетского?
Нет, братцы, использование здесь слова "язык" является искажением того же порядка, что и использование слова "интеллект" в словосочетании "искусственный интеллект".
В довесок к предыдущему посту: читатели упрекают в использовании термина "лингвистический ИИ/модель" (используется мало и в публицистике) вместо "языковой ИИ/модель" (используется часто, в т.ч. в академической среде).
Но позвольте, какая же LLM "языковая модель"? И вообще, что такое "языковая модель", в отличие от "модели языка"?
Массив текстов (что изначально не вполне "язык") нарезают на токены, токены скармливают по порядку модели, модель учится предсказывать следующий токен. У недоученных моделей вылезает показательный артефакт – отвечают на смеси языков (например, посередине китайского текста вылазит английский), приходится исправлять дополнительными манёврами.
Какого же конкретно "языка" "языковая модель" является моделью? Праиндоевропейскосинотибетского?
Нет, братцы, использование здесь слова "язык" является искажением того же порядка, что и использование слова "интеллект" в словосочетании "искусственный интеллект".
🔥5👍2