Кстати, для тех кто вступил в канал - все админы и тут вообще нет цензуры. Интересна какая-то тема - пишите про нее!

🐄 Пощупать корову за вымя: обзор статьи и попытка повторить результаты

Как вы знаете, я делаю обзор на эту статью:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

Но не простой обзор, а с изюминкой:

-Просто пересказать своими словами — скучно.

- Я решил пойти дальше: прочитать, и сам попробовать повторить результаты, чтобы проверить, насколько это вообще разумно в рамках когнитивной психологии.

- Где авторы молодцы, а где перегибают палку и уходят в сомнительные выводы?

Такой подход помогает мне заодно научиться работать руками с этими интересными игрушками из мира генеративного ИИ. Ну, вы поняли — корову за вымя потрогать.

Что из этого пока выходит:


👉 К чему я пришёл в плане выводов:

- Анализировать большие объёмы данных — это прям кайф, мне понравилось.

- 32 Гб оперативки маловато для моделей больше 7B параметров, но пока мне хватает от 1B до 7B.

- Архитектура трансформеров? Пока сомневаюсь. Особенно для задач типа теории мышления или математики. Возможно, стоит тренить свои архитектуры с нуля, а не брать предобученные, как Ллама. Ведь берём их только потому, что они уже "понимают" язык, и тут я скорее против, чем за.

👉 К чему я пришёл в плане навыков:

Если файнтюнишь модель — всегда смотри на TensorBoard! Всем новичкам, как я, советую. На какие метрики вы смотрите, когда обучаете модель?


👉 Чего мне не хватает:

Практики! Поэтому продолжаю ковыряться в файнтюнинге, софте и датасетах.

А как у вас? Кто-нибудь пробовал повторять результаты из статей? Делитесь опытом! 🚀

#LLM #Transformer #Psychology #Cognitive

Новая модель от OpenAI дерзкая 👇👇👇

🎯 Бенчмарк для Искусственного Сверхинтеллекта

🤖 Вот задача, на которой пасуют даже самые мощные языковые модели, если они не опираются на внешние данные, а пытаются разобраться сами.

❓ Вопрос:
Что зашифровано в следующем стихотворении?

____________

Алеет Осень Ценными Дарами,
Еще Один Животворящий День.
Хлеба Червонят Желтыми Шнурами,
Хрустальных Вод Философична Сень.

Два Вечера Цеплявшиеся Шишки
Артист Писал, Бездонна Синева.
Дорожный Шлак Целуют Червячишки,
Еще Покрыта Флоксами Трава.

Дымится Чай Эффектней Шоколада,
Фарфоры Чашек Достаются Трем,
Блондинке Девушка Дана Отрада
Форшмак Делить Холодным Острием.

Жена, Толкая Хилую Подругу,
Желает Сняться Этим Выходным,
Ценя Сама Арктическую Вьюгу,
Бросает Шар Арбуза Четверым.

Цикад Пяток, Едва Чревовещая,
Дарует Дрему Фикусам Окна.
Хотя Довольны Жаждавшие Чая,
Хозяин Шумно Жертвует Вина.

Фокстротами Шесть Девушек Пленились,
Эстрадных Танцев Фантастичней Па,
Едва Ступающий Цыпленок Вылез,
А Селезень Блуждающий Пропал.

Алеет Тело Бронзовой Осины,
Царит Теней Ажурная Длина.
Беззвучней, Чем Автомобиля Шины,
Болоту Ветер Дарит Семена.

Фонарь Восьмью Химерами Сияет,
Жук Прилетает, Хлопая, Туда.
Желанна Осень, Если Довершает
Ценнейший Отдых Бодрого Труда.

Автор: Василий Панов (шахматист, международный мастер (1950), шахматный литератор)
________

🧐 Честно говоря, я ожидал, что ChatGPT с минимальными подсказками сможет расшифровать это стихотворение. Но он, как и человек, забуксовал капитально. Даже при наличии современных технологий, решить эту задачу без дополнительной информации оказалось непосильной задачей.

🔍 На взгляд автора этого поста, человеку это не реально понять. Шифр настолько неочевиден, что его не разгадает даже самый острый ум.

🤯 Но вот ИИ... Он теоретически способен справиться! Возможно, если его правильно дообучить или задать подходящий фрейм для поиска, он решит такие задачи.

📊 Пока же Google остаётся на пьедестале. Что думаете вы? 🙌

Ответ: ⚡️

В этом стихотворении зашифрованы все решения задачи о путешествии шахматного коня:

Для того, чтобы обойти конём все шахматные клетки и ни разу не побывать дважды на одной и той же, к тому же сделать это «вслепую», начав или закончив на любой клетке по желанию «зрителя», можно благодаря этому стихотворению!

Первые буквы задают координаты ходов:

Алеет Осень = А1; Ценными Дарами = С2; и т. д.

В каждую строфу вставлена подсказка, помогающая не перепутать последовательность строф: ещё ОДИН, ДВА вечера, достаются ТРЁМ и т.д.

#ЯзыковыеМодели #Шахматы #Шифр

Новый шаг к объединению физики 🌌

На днях обсуждали с математиками интересные идеи по объединению физики, а сегодня наткнулся на статью про Alena Tensor: https://phys.org/news/2024-12-alena-tensor-unification-physics.amp. ⚡️

На русском: https://www.ixbt.com/live/science/alena-tenzor-klyuch-k-teorii-vsego-i-novoe-ponimanie-materii.html

В комментариях поделюсь ключевыми цитатами из наших обсуждений. Есть что добавить? Пишите! 🔍

#Физика

Взялся, я, короче, проверить результат этой статьи

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

и понял, что меня дико раздражает современная когнитивная/поведенческая психология. ну из всей этой мышиной возни психологов за последние сто лет - ровным счётом, худо-бедно, пару людей продвинулись в том плане, что получили НЕИНТУИТИВНЫЕ результаты. Их отметили нобелевской премией в экономике. В течении следующих дней попытаюсь обьяснить что там происходит и что делаю я. Если настроение будет. А если настроения не будет - то не будет.

#LLM #Transformer #Psychology #Cognitive

Продолжаем обучать большие языковые модели, ищем задачи:

Чем трэш читать, накидайте идей лучше на чём пофайнтьюнить ламу-1В, скажем, просто для тренировки, но шоб было интересно и можно было потом в режиме вопрос-ответ сравнить "до" и "после" файнтьюнига. шоб было интересно главное и чтобы был виден результат.

я тут попробовал маленькие модели пофайнтьюнить на том, что авторы здесь описывают:

https://marcelbinz.github.io/imgs/Centaur__preprint_.pdf

но я как-то не вижу результата в сравнении "до" и "после" по вопросам-оветам без того, чтобы вникать в эту всю поведенческую/когнитивную психологию (она меня бесит просто) и подбирать вопросы после файнтьюнинга так чтобы это вписывалось в эти дурацкие когнитивные теории. я вижу результат дообучения только на лосах на тренировочном и евал-датасетах, всё прекрасно получается, модель таки дообучается - это видно по лосам, параметры подобраны хорошо, значит. ну и шо мне потом с этой дообученной моделью делать? ровно нечего!

ищу задачку, интересную, шоб потом на ответах самой модели как-то увидеть разницу!

может какие-то задачки из жизни для маленьких моделей (1В-7В) кому-то в голову прийдут? если что можно и вместе над этим поработать!

вообще глобальная цель была бы такая: я думаю, что я смогу вставить туда один очень интересный алгоритм многомерной нелинейной оптимизации и сильно ускорить обучение моделей, по кайней мере на каких-то задачах. алгоритм проверенный, находил глобальные минимумы в 12-м мерных нелинейных оптимизационных задачах (если кому интересно спрашивайте - расскажу об чём речь).

Да, Дим, с тобой чтобы диалог поддерживать надо быть по меньшей мере Марией Кюри, а не какой- нибудь там Надей Хэттманн😂😂😂🤦‍♀️🤦‍♀️🤦‍♀️
Я пас с тобой, реально!!!
Моё почтение!!!🤞🤞🤞

Шо ты тут мне рассказываешь за сказки, я тебя могу поучить спорту,а ты меня на коньках кататься 😂

😔 Вышел свежий номер хорватско-словенского журнала, где опубликован мой обзор систем искусственного интеллекта.В статье я рассказываю о выставке по роману Владимира Сорокина, где изображения создавались с помощью MidJourney.

🤖 Hо... издатели все-таки умудрились испортить название и иллюстрации. Искусство искусственного интеллекта, млин! 😅 Сам текст боюсь даже читать.

📄 Полистать выпуск можно здесь:
Читать PDF

📝 Неиспорченная версия моей статьи — в комментариях.

Чтобы было понятно как искусственный интеллект вообще может смотреть бокс чтобы считать очки, то вот, новая ChatGPT Vision в действии: 👇👇👇