А как вы планируете свои выходные? Успеваете за выходные реализовать все задуманное?

У меня на эти выходные были наполеоновские планы. Хотел сделать две вещи:

1) дообучить большую языковую модель (нейросеть) на дигитализированных психологических тестах и проверить утверждение авторов статьи о том, что, как только модель дообучается на поведении человека, а не на текстах, написанных людьми, нейронная активность этой искусственной сети начинает походить на нейронную активность человеческого мозга — как её показывает магнитно-резонансная томография:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

2) прочитать и разобраться со статьей о нейронных и сверх-Тьюринговых вычислениях:

https://www.researchgate.net/publication/226092479_Neural_and_Super-Turing_Computing

В итоге не успел ничего. Затык произошёл на первом пункте: открытая модель LLaMA с 70 миллиардами обучаемых параметров (синапсов) просто не поместилась в 32 гигабайта оперативной памяти на моём ноуте. Авторы, конечно, писали, что нужно 160 ГБ, но кто же читает документацию? 😅 Чтение документации — для слабаков! Ну что ж, возьму модель поменьше на следующие выходные.

P.S. Если у кого-то сложилось впечатление, что я разбираюсь в нейросетях и искусственном интеллекте — это ошибочно. Я только начал интересоваться и просто пробую «поиграться» с этими новомодными игрушками.

P.P.S. Может кто знает: а разве современные операционные системы не виртуализируют память? Ведь 160 ГБ можно адресовать в 64-битном адресном пространстве. Понятно, что будет медленно, и, возможно, я сейчас жёстко туплю, но я всю жизнь исходил из того, что всё, что требует памяти, адресуемой 64 битами, можно запустить на Windows или macOS?

#LLM #Turing #Computation

Пока я готовлю свой следующий пост с результатами и обзорами человекоподбного ИИ, при этом обучая ИИ на психологических тестах, как их проходят совершенно разные люди, пока вот перепост:

👇👇👇👇👇👇👇

Для 95% землян ИИ достиг нашего уровня.
А что про это думают остальные 5% - удел споров экспертов.
Рухнул последний рубеж массовых представлений о недостижимом для ИИ уровне знаний и умений – нашем человеческом уровне в творчестве.
За последние 2 года рухнули два предыдущие уровня обороны людей от посягательств все более умного и умелого в творчестве ИИ: изобразительное искусство (вкл. лица людей) и юмор.
Изображения ИИ стали неотличимы от реальности. Картины ИИ оцениваются как созданные человеком с большей вероятностью, чем настоящие созданные человеком [1]; созданные ИИ лица оцениваются как настоящие человеческие лица с большей вероятностью, чем настоящие фотографии людей [2], а созданный ИИ юмор так же смешон, как и созданные человеком шутки [3].

Последний рубеж – поэзия и литература держался дольше других.
И вот исследование Питтсбургского университета (случайная выборка 16+ тыс. участников-неэкспертов) снесло последний рубеж в поэзии [4].

• Сгенерированные ИИ стихи были оценены более благоприятно по нескольким качественным параметрам (поэтический ритм, красота языка …), что способствовало их ошибочной идентификации как написанных человеком.
• Подобно сгенерированным ИИ картинам и лицам, сгенерированные ИИ стихи теперь «более человечны, чем люди»: исследователи обнаружили, что участники с большей вероятностью считают, что сгенерированные ИИ стихи написаны человеком, по сравнению с фактическими стихами, написанными людьми.
• При этом участники оценивали стихи более негативно, когда им говорили, что это стихи ИИ, и более позитивно, когда им говорили, что это стихи написанные людьми.

Что тут скажешь в дополнение? Да вот что.

У специалистов околоИИшных областей (от информатики до нейробиологии) нет не только единого определения сильного ИИ (AGI), но и понимания, как определить, что ИИ уровня AGI появился.
У простого же народа (неэкспертов) с этими заморочками существенно проще. Если для большинства из них деятельность ИИ (его поведение, работа, творчество) неотличима от деятельности людей, можно считать, что ИИ достиг уровня AGI.

С позиции неэкспертов в настоящий момент в области ИИ имеем следующее.
1. Поведение ИИ уже неотличимо от человеческого, по крайней мере, на уровне языкового поведения. О неязыковом поведении речь пока не идет. Ибо для такового ИИ должен быть отелеснен (иначе как он сможет проявлять свое неязыковое поведение). Эта неотличимость ИИ от людей зафиксирована разнообразными тестами. Они, возможно, в чем-то несовершенны, но других пока нет.
Т.е. по критерию «поведение» (языковое) ИИ уже достиг человеческого уровня.

2. Работа. Число профессиональных тестов, показывающих уровень знаний и навыков ИИ на уровне топ 10% работающих здесь людей, уже составляет десятки. Это число продолжает быстро расти. И если мы не вправе пока сказать, что ИИ не может сравниться с ТОР 10% работающих в какой-то специальности, то, вполне возможно, лишь потому, что для этой специальности еще не разработан надежный тест.
Т.е. по критерию «работа» ИИ уже достиг человеческого уровня для многих работ. И по мере совершенствования ИИ, и разработки новых тестов, недостижимых для ИИ интеллектуальных работ (где бы они были на уровне ТОР 10%) уже в 2025 останется мало.

3. Творчество. Про поэзию написано выше. А что с литературой? Исследования типа Питтсбургского на подходе. А пока они завершаются, можете удостовериться, что уровень массового чтива (типа «Код да Винчи» - тираж 60 млн на 40 языков) для ИИ запросто достижим.

Вот пример от Итана Молика [5], попросившего ИИ:
«Клод, мне нужна вымышленная глубокая альтернативная история в духе Тима Пауэрса, Мэтью Росси или Пинчона» … «Копай глубже: Гамильтон действительно нацарапал уравнение на мосту, Август Де Морган существовал на самом деле, действительно было движение литовских книгоношей...»

Результат улетный:

КВАТЕРНИОННАЯ ЕРЕСЬ: МАТЕМАТИКА КАК ЗАРАЗНОЕ МЫШЛЕНИЕ


#AGI

Настроение перед понедельником:-)

#НастроениеВоскресенья

И так, всем очень добрый вечер и приглашаю желающих обсудить нечто новое для этого чата)
Полагаю будет не лишним представиться 😉
Меня зовут Катерина, мне чуть больше 30, я достаточно коммуникабельна и более-менее всесторонне развита на фоне средне статистических обывателей руссоязычных комьюнити еще я гуманитарий до мозга костей, что часто и достаточно сильно весело шокирует людей с математическим складом ума, однако мой веселый характер и немного «мужское» более простое мышление позволяет мне достаточно легко коммуницировать даже с интровертами)
Так вот: мы тут с Димой общались и он попросил дать отзыв о той статье которую он не так давно писал для русско язычного журнала в Словении.
Я искренне оценила стиль, но сути постигнуть не удалось 🫣 И вот моя любопытная натура требует новых знаний ибо как-то не гоже все еще молодой и энергичной девушке с зачатками пенсионерки совсем не понимать о чем речь…
Еще мне интересна сфера тестирования программного обеспечения и я думаю что моё нестандартное в критических ситуациях мышление может вполне пригодиться в этой сфере.
Так вот внимание вопрос:
У кого есть время и желание, а еще ангельское терпение, помочь мне освоить азы, для начала, терминологии, а в последствии и возможно попробовать себя в сфере тестирования?)

🌌 А тем временем на Сатурне:
👉 https://www.sciencedirect.com/science/article/pii/S2210261224009209

Система здравоохранения на Земле уже почти достигла совершенства или, может быть, всё-таки она напоминает медицину как она практикуется на Сатурне? 😉

ScienceDirect и издательство Elsevier – серьёзные научные площадки – не побоялись опубликовать сатиру. 👍

💡 Кто прочитал, делитесь мыслями: система здравоохранения - зеркало общества?

#Healthcare #Society

Boxing meets AI 👆

Все знают, как я люблю писать про бокс и про искусственный интеллект. Сегодня две мои любимые темы пересеклись. Вышел эпичный промо-ролик к реваншу Александра Усика и Тайсона Фьюри. Видео создано с помощью ИИ в стиле искусного кинотрейлера и подчеркивает масштабность встречи - бой за звание абсолютного чемпиона мира в королевской весовой категории.

По этой теме пока немного буксую 👆 👆 👆 👆 👆 👆

На текущем этапе я уже разобрался с базовыми техническими вещами:

Машин-лёрнинг в архитектуре трансформеров,
Файнтьюнинг больших языковых моделей (1B — нормально, 7B — тоже потяну с 32 GB RAM).
Всё вроде работает. Цель остаётся прежней: сравнить поведение нейросети до и после обучения на данных из дигитализированных психологических экспериментов. Задача — понять, как меняется "языковое мышление" модели, если учить её не только на текстах, созданных людьми, но и на их поведении.

🧠 Сложности начались с другой стороны.
Я залип на прошлых выходных, разбираясь в дизайне психологических экспериментов и математике, которая за этим стоит. И честно говоря, даже начал себя ругать: Какие-то психологи что-ли лучшие математики чем я? Забрать у меня докторскую нафик! И я начал по-немножечку копаться и вникать 📌

Но немного утешает тот факт, что статья, на которой я завис, принадлежит нобелевскому лауреату в области экономики за поведенческую психологию. Так что всё не так уж плохо.⛱️

Что дальше?
На выходных разобраться и выдать хороший обзор по теме не удалось. Вниканию в давно существующий дизайн психологических экспериментов и его математическую составляющую - посвятил всё воскресенье! В итоге разобрался! 🌈

Прогресс есть! Всё требует времени, а значит, обзор точно будет.

Пока просто делюсь процессом, чтобы не казалось, будто всё легко и гладко. Если интересно, оставайтесь на связи. 🔥

Нет ли в этом нарушения правил?

Кстати, для тех кто вступил в канал - все админы и тут вообще нет цензуры. Интересна какая-то тема - пишите про нее!

🐄 Пощупать корову за вымя: обзор статьи и попытка повторить результаты

Как вы знаете, я делаю обзор на эту статью:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

Но не простой обзор, а с изюминкой:

-Просто пересказать своими словами — скучно.

- Я решил пойти дальше: прочитать, и сам попробовать повторить результаты, чтобы проверить, насколько это вообще разумно в рамках когнитивной психологии.

- Где авторы молодцы, а где перегибают палку и уходят в сомнительные выводы?

Такой подход помогает мне заодно научиться работать руками с этими интересными игрушками из мира генеративного ИИ. Ну, вы поняли — корову за вымя потрогать.

Что из этого пока выходит:


👉 К чему я пришёл в плане выводов:

- Анализировать большие объёмы данных — это прям кайф, мне понравилось.

- 32 Гб оперативки маловато для моделей больше 7B параметров, но пока мне хватает от 1B до 7B.

- Архитектура трансформеров? Пока сомневаюсь. Особенно для задач типа теории мышления или математики. Возможно, стоит тренить свои архитектуры с нуля, а не брать предобученные, как Ллама. Ведь берём их только потому, что они уже "понимают" язык, и тут я скорее против, чем за.

👉 К чему я пришёл в плане навыков:

Если файнтюнишь модель — всегда смотри на TensorBoard! Всем новичкам, как я, советую. На какие метрики вы смотрите, когда обучаете модель?


👉 Чего мне не хватает:

Практики! Поэтому продолжаю ковыряться в файнтюнинге, софте и датасетах.

А как у вас? Кто-нибудь пробовал повторять результаты из статей? Делитесь опытом! 🚀

#LLM #Transformer #Psychology #Cognitive

Новая модель от OpenAI дерзкая 👇👇👇

🎯 Бенчмарк для Искусственного Сверхинтеллекта

🤖 Вот задача, на которой пасуют даже самые мощные языковые модели, если они не опираются на внешние данные, а пытаются разобраться сами.

❓ Вопрос:
Что зашифровано в следующем стихотворении?

____________

Алеет Осень Ценными Дарами,
Еще Один Животворящий День.
Хлеба Червонят Желтыми Шнурами,
Хрустальных Вод Философична Сень.

Два Вечера Цеплявшиеся Шишки
Артист Писал, Бездонна Синева.
Дорожный Шлак Целуют Червячишки,
Еще Покрыта Флоксами Трава.

Дымится Чай Эффектней Шоколада,
Фарфоры Чашек Достаются Трем,
Блондинке Девушка Дана Отрада
Форшмак Делить Холодным Острием.

Жена, Толкая Хилую Подругу,
Желает Сняться Этим Выходным,
Ценя Сама Арктическую Вьюгу,
Бросает Шар Арбуза Четверым.

Цикад Пяток, Едва Чревовещая,
Дарует Дрему Фикусам Окна.
Хотя Довольны Жаждавшие Чая,
Хозяин Шумно Жертвует Вина.

Фокстротами Шесть Девушек Пленились,
Эстрадных Танцев Фантастичней Па,
Едва Ступающий Цыпленок Вылез,
А Селезень Блуждающий Пропал.

Алеет Тело Бронзовой Осины,
Царит Теней Ажурная Длина.
Беззвучней, Чем Автомобиля Шины,
Болоту Ветер Дарит Семена.

Фонарь Восьмью Химерами Сияет,
Жук Прилетает, Хлопая, Туда.
Желанна Осень, Если Довершает
Ценнейший Отдых Бодрого Труда.

Автор: Василий Панов (шахматист, международный мастер (1950), шахматный литератор)
________

🧐 Честно говоря, я ожидал, что ChatGPT с минимальными подсказками сможет расшифровать это стихотворение. Но он, как и человек, забуксовал капитально. Даже при наличии современных технологий, решить эту задачу без дополнительной информации оказалось непосильной задачей.

🔍 На взгляд автора этого поста, человеку это не реально понять. Шифр настолько неочевиден, что его не разгадает даже самый острый ум.

🤯 Но вот ИИ... Он теоретически способен справиться! Возможно, если его правильно дообучить или задать подходящий фрейм для поиска, он решит такие задачи.

📊 Пока же Google остаётся на пьедестале. Что думаете вы? 🙌

Ответ: ⚡️

В этом стихотворении зашифрованы все решения задачи о путешествии шахматного коня:

Для того, чтобы обойти конём все шахматные клетки и ни разу не побывать дважды на одной и той же, к тому же сделать это «вслепую», начав или закончив на любой клетке по желанию «зрителя», можно благодаря этому стихотворению!

Первые буквы задают координаты ходов:

Алеет Осень = А1; Ценными Дарами = С2; и т. д.

В каждую строфу вставлена подсказка, помогающая не перепутать последовательность строф: ещё ОДИН, ДВА вечера, достаются ТРЁМ и т.д.

#ЯзыковыеМодели #Шахматы #Шифр

Новый шаг к объединению физики 🌌

На днях обсуждали с математиками интересные идеи по объединению физики, а сегодня наткнулся на статью про Alena Tensor: https://phys.org/news/2024-12-alena-tensor-unification-physics.amp. ⚡️

На русском: https://www.ixbt.com/live/science/alena-tenzor-klyuch-k-teorii-vsego-i-novoe-ponimanie-materii.html

В комментариях поделюсь ключевыми цитатами из наших обсуждений. Есть что добавить? Пишите! 🔍

#Физика