🌌 А тем временем на Сатурне:
👉 https://www.sciencedirect.com/science/article/pii/S2210261224009209

Система здравоохранения на Земле уже почти достигла совершенства или, может быть, всё-таки она напоминает медицину как она практикуется на Сатурне? 😉

ScienceDirect и издательство Elsevier – серьёзные научные площадки – не побоялись опубликовать сатиру. 👍

💡 Кто прочитал, делитесь мыслями: система здравоохранения - зеркало общества?

#Healthcare #Society

Boxing meets AI 👆

Все знают, как я люблю писать про бокс и про искусственный интеллект. Сегодня две мои любимые темы пересеклись. Вышел эпичный промо-ролик к реваншу Александра Усика и Тайсона Фьюри. Видео создано с помощью ИИ в стиле искусного кинотрейлера и подчеркивает масштабность встречи - бой за звание абсолютного чемпиона мира в королевской весовой категории.

По этой теме пока немного буксую 👆 👆 👆 👆 👆 👆

На текущем этапе я уже разобрался с базовыми техническими вещами:

Машин-лёрнинг в архитектуре трансформеров,
Файнтьюнинг больших языковых моделей (1B — нормально, 7B — тоже потяну с 32 GB RAM).
Всё вроде работает. Цель остаётся прежней: сравнить поведение нейросети до и после обучения на данных из дигитализированных психологических экспериментов. Задача — понять, как меняется "языковое мышление" модели, если учить её не только на текстах, созданных людьми, но и на их поведении.

🧠 Сложности начались с другой стороны.
Я залип на прошлых выходных, разбираясь в дизайне психологических экспериментов и математике, которая за этим стоит. И честно говоря, даже начал себя ругать: Какие-то психологи что-ли лучшие математики чем я? Забрать у меня докторскую нафик! И я начал по-немножечку копаться и вникать 📌

Но немного утешает тот факт, что статья, на которой я завис, принадлежит нобелевскому лауреату в области экономики за поведенческую психологию. Так что всё не так уж плохо.⛱️

Что дальше?
На выходных разобраться и выдать хороший обзор по теме не удалось. Вниканию в давно существующий дизайн психологических экспериментов и его математическую составляющую - посвятил всё воскресенье! В итоге разобрался! 🌈

Прогресс есть! Всё требует времени, а значит, обзор точно будет.

Пока просто делюсь процессом, чтобы не казалось, будто всё легко и гладко. Если интересно, оставайтесь на связи. 🔥

Нет ли в этом нарушения правил?

Кстати, для тех кто вступил в канал - все админы и тут вообще нет цензуры. Интересна какая-то тема - пишите про нее!

🐄 Пощупать корову за вымя: обзор статьи и попытка повторить результаты

Как вы знаете, я делаю обзор на эту статью:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

Но не простой обзор, а с изюминкой:

-Просто пересказать своими словами — скучно.

- Я решил пойти дальше: прочитать, и сам попробовать повторить результаты, чтобы проверить, насколько это вообще разумно в рамках когнитивной психологии.

- Где авторы молодцы, а где перегибают палку и уходят в сомнительные выводы?

Такой подход помогает мне заодно научиться работать руками с этими интересными игрушками из мира генеративного ИИ. Ну, вы поняли — корову за вымя потрогать.

Что из этого пока выходит:


👉 К чему я пришёл в плане выводов:

- Анализировать большие объёмы данных — это прям кайф, мне понравилось.

- 32 Гб оперативки маловато для моделей больше 7B параметров, но пока мне хватает от 1B до 7B.

- Архитектура трансформеров? Пока сомневаюсь. Особенно для задач типа теории мышления или математики. Возможно, стоит тренить свои архитектуры с нуля, а не брать предобученные, как Ллама. Ведь берём их только потому, что они уже "понимают" язык, и тут я скорее против, чем за.

👉 К чему я пришёл в плане навыков:

Если файнтюнишь модель — всегда смотри на TensorBoard! Всем новичкам, как я, советую. На какие метрики вы смотрите, когда обучаете модель?


👉 Чего мне не хватает:

Практики! Поэтому продолжаю ковыряться в файнтюнинге, софте и датасетах.

А как у вас? Кто-нибудь пробовал повторять результаты из статей? Делитесь опытом! 🚀

#LLM #Transformer #Psychology #Cognitive

Новая модель от OpenAI дерзкая 👇👇👇

🎯 Бенчмарк для Искусственного Сверхинтеллекта

🤖 Вот задача, на которой пасуют даже самые мощные языковые модели, если они не опираются на внешние данные, а пытаются разобраться сами.

❓ Вопрос:
Что зашифровано в следующем стихотворении?

____________

Алеет Осень Ценными Дарами,
Еще Один Животворящий День.
Хлеба Червонят Желтыми Шнурами,
Хрустальных Вод Философична Сень.

Два Вечера Цеплявшиеся Шишки
Артист Писал, Бездонна Синева.
Дорожный Шлак Целуют Червячишки,
Еще Покрыта Флоксами Трава.

Дымится Чай Эффектней Шоколада,
Фарфоры Чашек Достаются Трем,
Блондинке Девушка Дана Отрада
Форшмак Делить Холодным Острием.

Жена, Толкая Хилую Подругу,
Желает Сняться Этим Выходным,
Ценя Сама Арктическую Вьюгу,
Бросает Шар Арбуза Четверым.

Цикад Пяток, Едва Чревовещая,
Дарует Дрему Фикусам Окна.
Хотя Довольны Жаждавшие Чая,
Хозяин Шумно Жертвует Вина.

Фокстротами Шесть Девушек Пленились,
Эстрадных Танцев Фантастичней Па,
Едва Ступающий Цыпленок Вылез,
А Селезень Блуждающий Пропал.

Алеет Тело Бронзовой Осины,
Царит Теней Ажурная Длина.
Беззвучней, Чем Автомобиля Шины,
Болоту Ветер Дарит Семена.

Фонарь Восьмью Химерами Сияет,
Жук Прилетает, Хлопая, Туда.
Желанна Осень, Если Довершает
Ценнейший Отдых Бодрого Труда.

Автор: Василий Панов (шахматист, международный мастер (1950), шахматный литератор)
________

🧐 Честно говоря, я ожидал, что ChatGPT с минимальными подсказками сможет расшифровать это стихотворение. Но он, как и человек, забуксовал капитально. Даже при наличии современных технологий, решить эту задачу без дополнительной информации оказалось непосильной задачей.

🔍 На взгляд автора этого поста, человеку это не реально понять. Шифр настолько неочевиден, что его не разгадает даже самый острый ум.

🤯 Но вот ИИ... Он теоретически способен справиться! Возможно, если его правильно дообучить или задать подходящий фрейм для поиска, он решит такие задачи.

📊 Пока же Google остаётся на пьедестале. Что думаете вы? 🙌

Ответ: ⚡️

В этом стихотворении зашифрованы все решения задачи о путешествии шахматного коня:

Для того, чтобы обойти конём все шахматные клетки и ни разу не побывать дважды на одной и той же, к тому же сделать это «вслепую», начав или закончив на любой клетке по желанию «зрителя», можно благодаря этому стихотворению!

Первые буквы задают координаты ходов:

Алеет Осень = А1; Ценными Дарами = С2; и т. д.

В каждую строфу вставлена подсказка, помогающая не перепутать последовательность строф: ещё ОДИН, ДВА вечера, достаются ТРЁМ и т.д.

#ЯзыковыеМодели #Шахматы #Шифр

Новый шаг к объединению физики 🌌

На днях обсуждали с математиками интересные идеи по объединению физики, а сегодня наткнулся на статью про Alena Tensor: https://phys.org/news/2024-12-alena-tensor-unification-physics.amp. ⚡️

На русском: https://www.ixbt.com/live/science/alena-tenzor-klyuch-k-teorii-vsego-i-novoe-ponimanie-materii.html

В комментариях поделюсь ключевыми цитатами из наших обсуждений. Есть что добавить? Пишите! 🔍

#Физика

Взялся, я, короче, проверить результат этой статьи

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

и понял, что меня дико раздражает современная когнитивная/поведенческая психология. ну из всей этой мышиной возни психологов за последние сто лет - ровным счётом, худо-бедно, пару людей продвинулись в том плане, что получили НЕИНТУИТИВНЫЕ результаты. Их отметили нобелевской премией в экономике. В течении следующих дней попытаюсь обьяснить что там происходит и что делаю я. Если настроение будет. А если настроения не будет - то не будет.

#LLM #Transformer #Psychology #Cognitive

Продолжаем обучать большие языковые модели, ищем задачи:

Чем трэш читать, накидайте идей лучше на чём пофайнтьюнить ламу-1В, скажем, просто для тренировки, но шоб было интересно и можно было потом в режиме вопрос-ответ сравнить "до" и "после" файнтьюнига. шоб было интересно главное и чтобы был виден результат.

я тут попробовал маленькие модели пофайнтьюнить на том, что авторы здесь описывают:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

но я как-то не вижу результата в сравнении "до" и "после" по вопросам-оветам без того, чтобы вникать в эту всю поведенческую/когнитивную психологию (она меня бесит просто) и подбирать вопросы после файнтьюнинга так чтобы это вписывалось в эти дурацкие когнитивные теории. я вижу результат дообучения только на лосах на тренировочном и евал-датасетах, всё прекрасно получается, модель таки дообучается - это видно по лосам, параметры подобраны хорошо, значит. ну и шо мне потом с этой дообученной моделью делать? ровно нечего!

ищу задачку, интересную, шоб потом на ответах самой модели как-то увидеть разницу!

может какие-то задачки из жизни для маленьких моделей (1В-7В) кому-то в голову прийдут? если что можно и вместе над этим поработать!

вообще глобальная цель была бы такая: я думаю, что я смогу вставить туда один очень интересный алгоритм многомерной нелинейной оптимизации и сильно ускорить обучение моделей, по кайней мере на каких-то задачах. алгоритм проверенный, находил глобальные минимумы в 12-м мерных нелинейных оптимизационных задачах (если кому интересно спрашивайте - расскажу об чём речь).

Да, Дим, с тобой чтобы диалог поддерживать надо быть по меньшей мере Марией Кюри, а не какой- нибудь там Надей Хэттманн😂😂😂🤦‍♀️🤦‍♀️🤦‍♀️
Я пас с тобой, реально!!!
Моё почтение!!!🤞🤞🤞