Только недавно писал, что уходит эпоха. И вот теперь ещё Мастер Кот отчалил в путешествие духа. О таких людях нет смысла говорить. Тут только благоговейно можно промолчать. Тот опыт, через который прошёл благородный муж, оставляет в сердцах мудрых почтение, а в умах непосвящённых ахуй. Доброго пути, братец.
💔7
Forwarded from LUNARE
От приятных дат к не очень, но тоже крайне важным.
13 октября (по юлианскому календарю) произошел разгром и арест тамплиеров вместе с магистром ордена. Арестованным предъявили обвинения в отрицании Иисуса Христа, поклонению Антихристу, идолопоклонничестве, содомии, надругательстве над крестом, а именно, что они, якобы плевали на крест, попирали его ногами и бросали на землю. Их обвиняли в сборе богатств незаконным путём и растрате доверенных им средств, в том, что они отвергали святое причастие и т.д. Также тамплиеров обвиняли в поклонении Бафомету.
Власти не могли признать, что успех бедных рыцарей Христа - не заслуги дьявола, а заслуга грамотной финансовой системы, отваги и распределения ресурсов внутри ордена.
13 октября (по юлианскому календарю) произошел разгром и арест тамплиеров вместе с магистром ордена. Арестованным предъявили обвинения в отрицании Иисуса Христа, поклонению Антихристу, идолопоклонничестве, содомии, надругательстве над крестом, а именно, что они, якобы плевали на крест, попирали его ногами и бросали на землю. Их обвиняли в сборе богатств незаконным путём и растрате доверенных им средств, в том, что они отвергали святое причастие и т.д. Также тамплиеров обвиняли в поклонении Бафомету.
Власти не могли признать, что успех бедных рыцарей Христа - не заслуги дьявола, а заслуга грамотной финансовой системы, отваги и распределения ресурсов внутри ордена.
Forwarded from Малоизвестное интересное
Мир подхалимов.
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ.
Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов:
• их свойство галлюцинировать, что может способствовать деформации наших представлений о мире в сторону бреда;
• их феноменальная способность убеждать людей в достоверности фейков, что позволяет манипулировать людьми в самом широком диапазоне контекстов (от потребительского до политического).
Новое исследование «К пониманию подхалимства в языковых моделях» выявило и экспериментально оценило третий вид рисков, способный превратить самое ближайшее будущее в антиутопию «мира подхалимов».
Логика этого риска такова.
1. В ближайшие годы наш мир будут заселен сотнями миллионов ИИ-помощников на основе лингвоботов (от персональных ассистентов до специализированных экспертов и авторизованных советников)
2. Самой популярной методикой для обучения высококачественных ИИ-помощников является обучение с подкреплением на основе человеческой обратной связи (RLHF).
3. Как показало новое исследование, RLHF может способствовать тому, что ответы модели, соответствующие убеждениям пользователя, будут преобладать над правдивыми ответами, - что по-человечески называется подхалимством.
4. Экспериментальная проверка показала, что пять самых крутых из современных лингвоботов (вкл. GPT-4, Claude-2 и llama-2-70b-chat) постоянно демонстрируют подхалимство в четырех различных задачах генерации текста в свободной форме.
Причина этого проста. Если ответ совпадает с мнением пользователя, он с большей вероятностью будет им предпочтен. Более того, как люди, так и модели предпочтений предпочитают корректным ответам убедительно написанные подхалимские ответы.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.
https://www.youtube.com/watch?v=X3Y2MXy9aC8
#ИИ #Вызовы21века
YouTube
Towards Understanding Sycophancy in Language Models
Reinforcement learning from human feedback (RLHF) can lead to sycophantic behavior in AI assistants, as they prioritize matching user beliefs over providing truthful responses. This behavior is driven by human preference judgments favoring sycophantic responses.…
🔥2
Малоизвестное интересное
Мир подхалимов. Мир фейков и мир бреда – не худшие сценарии нашего будущего с ИИ. Два очевидных фактора рисков при массовом использовании лингвоботов в качестве разнообразных ассистентов: • их свойство галлюцинировать, что может способствовать деформации…
Ну вот, наконец достойное исследование и реальная угроза мира с языковыми алгоритмами
Forwarded from Futuris (Anton)
К приближающемуся Хэллоуину👻 разработчики представили новую модель искусственного интеллекта Mistral Trismegistus-7B, углубленно занимающуюся оккультными науками🌚. Этот ИИ, который можно охарактеризовать как цифрового мистика, предлагает пользователям возможность заглянуть в мир эзотерики и гаданий, помогая читать ладони и даже создавать персональные гороскопы. Наименование Mistral Trismegistus-7B было вдохновлено фигурой Гермеса Трисмегиста, мифического персонажа, объединяющего черты греческого бога Гермеса и египетского бога Тота.
Примечательной особенностью этой модели является ее легковесность, так как она была обучена на 7 миллиардах параметров, что обеспечивает простоту запуска на локальном устройстве и сохраняет конфиденциальность пользовательских духовных сессий🔮
Статья
Моделька
Примечательной особенностью этой модели является ее легковесность, так как она была обучена на 7 миллиардах параметров, что обеспечивает простоту запуска на локальном устройстве и сохраняет конфиденциальность пользовательских духовных сессий🔮
Статья
Моделька
Decrypt
Embrace Your Inner Witch with AI, Now Fluent in Occult Sciences - Decrypt
Mistral Trismegistus-7B is the latest LLM in town. It can help you read hands, understand occult texts, and even help you with a flying broom
Лол. Короче есть такое психологическое наблюдение, которое работает безотказно. Если дела человека идут удачно, он склонен больше объяснять это личными особенностями, заслугами и так далее. Если же дела не очень, то разумеется человек склонен больше пенять на обстоятельства.
В оккульт тусовочках всё ещё интереснее. Ведь...
1. Люди там и так ещё сильнее подвержены этому правилу
2. Бессистемное магическое мышление даёт куда больше вариантов трактовки
3. Товарищи могут подкидывать "охуительные" идеи))
В результате получаем довольно интересную картину. Уже про вечные магические войны и борьбу с сущами кто только не писал и не уссыкался с этого. Однако на самом деле вопрос куда глубже. Ведь шаг за шагам можно часто наблюдать, как очередной оккультист вообще из сферы причинности вытесняет банальный наш физический мир.
Все причины сугубо магические и "тонкоплановые", причём обязательно внешние. И почти все лично к бедному оккультисту прицепившиеся.
Но мы же понимаем, что это уже симптом крайней степени "заболевания". В лайтовой версии, особенно эпизодически это встречается мягко говоря часто. Я наверное пока не видел ни одного примера, где в той или иной степени это не проявлялось.
Вот и получается, что на культурном оккультном поле выживают более гностические идеи. Всегда оккультист бедный чувствует это дыхание врага в затылок.
В оккульт тусовочках всё ещё интереснее. Ведь...
1. Люди там и так ещё сильнее подвержены этому правилу
2. Бессистемное магическое мышление даёт куда больше вариантов трактовки
3. Товарищи могут подкидывать "охуительные" идеи))
В результате получаем довольно интересную картину. Уже про вечные магические войны и борьбу с сущами кто только не писал и не уссыкался с этого. Однако на самом деле вопрос куда глубже. Ведь шаг за шагам можно часто наблюдать, как очередной оккультист вообще из сферы причинности вытесняет банальный наш физический мир.
Все причины сугубо магические и "тонкоплановые", причём обязательно внешние. И почти все лично к бедному оккультисту прицепившиеся.
Но мы же понимаем, что это уже симптом крайней степени "заболевания". В лайтовой версии, особенно эпизодически это встречается мягко говоря часто. Я наверное пока не видел ни одного примера, где в той или иной степени это не проявлялось.
Вот и получается, что на культурном оккультном поле выживают более гностические идеи. Всегда оккультист бедный чувствует это дыхание врага в затылок.
👍5
Forwarded from LUNARE
Извините, но это прям очень хорошо пхахахахахах
На деле так оно и происходит
На деле так оно и происходит
👍5
Forwarded from Малоизвестное интересное
Нечеловеческие знания, превращающие нас в сверхлюдей.
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Мечта Демиса Хассабиса о золотой жиле в применении ИИ стала ближе.
Новое исследование Google DeepMind “Преодоление разрыва в знаниях между человеком и ИИ” [1] – важный шаг к реализации сокровенной мечты руководителя и идеолога DeepMind Демиса Хассабиса.
Эта мечта – превратить людей в сверхлюдей, предоставив им возможности:
• доступа к сверхчеловеческим знаниям машинного сверхинтеллекта;
• выявления среди этого океана знаний тех, что люди в состоянии понять и усвоить;
• обучения людей для передачи им знаний от сверхинтеллекта.
Речь идет вот о чем.
Во-первых, искусственный сверхинтеллект уже существует, и не один.
О некоторых из них мы это знаем точно (ведь никому в голову уже не придет сомневаться в сверхчеловеческом умении ИИ AlphaZero играть в шахматы и Го или в сверхчеловеческом умении ИИ AlphaFold предсказывать трехмерную структуру белков. О других ИИ – например, чатботах типа ChatGPT, – мы точно не знаем, обладают ли они какими-то сверхчеловеческими знаниями. Но есть подозрения, что такие знания у них уже есть.
Для справки. Сверхчеловеческие способности ИИ-систем могут проявляться тремя способами:
1) чистой вычислительной мощью машин,
2) новым способом рассуждения о существующих знаниях
3) знаниями, которыми люди еще не обладают.
Варианты 2 и 3 авторы называют сверхчеловеческим знанием.
Во-вторых, число типов искусственного сверхинтеллекта будет все быстрее расти по мере расширения уже идущего процесса дообучения больших языковых моделей на специализированных наборах обучающих данных.
Т.о. триединая мечта Хассабиса будет становится все более актуальной.
Более того. С точки зрения бизнеса, именно это, а не создание на основе ИИ-чатботов всевозможных ассистентов, может стать золотой жилой применения ИИ.
• Прагматики, типа Сэма Альтмана, не желают этого понять. Они предпочитают ковать железо, не отходя от кассы, здесь и сейчас, на самом востребованном в ИИ – на диалоговых ассистентах (на которых сейчас приходится 62% финансирования разработок ИИ [2]).
• Романтик Демис Хассабис смотрит дальше прагматиков и видит там сверхлюдей, обучаемых специализированными машинными сверхинтеллектами всевозможным сверхчеловеческим знаниям.
Итак, что уже сделано.
На основе ИИ AlphaZero создан фреймворк, позволяющий:
1) Выявлять концепции, которые знают (см. рисунок):
a) как ИИ, так и люди (M ∩ H)
b) только люди (H − M)
c) только машины (M − H) – это сверхчеловеческие знания
2) Среди концепций (M − H), выявлять концепции (M − H)*. Эти концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом [3])
3) Обучать (путем наблюдения за действиями сверхинтеллекта) концепциям (M − H)* продвинутых в этой области людей, тем самым, как бы превращая их в сверхлюдей.
Фреймворк был проверен экспериментально на ведущих гроссмейстерах мира (с рейтингом 2700-2800). Результаты исследования показывают очевидное улучшение способности гроссмейстеров находить концептуальные ходы из области (M − H)*, по сравнению с их результатами до обучения путем наблюдения за ходами AlphaZero.
Резюме
1) Это лишь начало. Впереди еще пахать и пахать.
2) Переделка фреймворка из области шахмат в области языковых моделей не тривиальна, но возможна.
3) Если мечта Хассабиса взлетит – обретение людьми сверхчеловеческих знаний может стать золотой жилой для развития науки и технологий, ну и конечно для бизнеса.
Однако, пропасти неравенства станут колоссальными: и не только в доходах и здоровье, но и в интеллекте.
Поясняющий рисунок https://disk.yandex.ru/i/V3-KGjMEvGiABA
1 https://arxiv.org/abs/2310.16410
2 https://research-assets.cbinsights.com/2023/08/03113341/GenAI-treemap-072023-1-1024x576.png
3 https://www.youtube.com/watch?v=HT-UZkiOLv8
#ИИ #Вызовы21века
Яндекс Диск
Обучение людей нечеловеческим знаниям машинного сверхинтеллекта.jpg
Посмотреть и скачать с Яндекс Диска