Ограничения LLMs на основе трансформеров
(По материалам https://t.iss.one/spydell_finance/8122)

🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.

Свет и чиханье, баг или фича?

🌞 Почему некоторые люди чихают от яркого света?
Примерно каждый четвёртый человек действительно чихает, когда на него резко попадает солнечный свет. Это называется фотический чихательный рефлекс. Причина до конца не ясна, но, похоже, дело в том, что сигналы от глаз и от носа иногда «путаются» в мозге. Как будто в коде организма произошла небольшая ошибка: вместо того чтобы просто обработать свет, тело решает прочистить нос.

🧬 Что говорят гены?
Учёные в Китае провели исследование:
Опросили 3417 человек, выяснили, кто чихает от света.
Собрали слюну, проанализировали ДНК на 900 тысяч участков.
Сравнили гены у «чихающих» и «нечихающих».
Что нашли:
25,6% людей имеют этот рефлекс. У мужчин чаще, чем у женщин.
Один участок ДНК (rs10427255 на 2-й хромосоме) увеличивает шанс чихания на 68%. Его уже находили у европейцев, но у китайцев и европейцев разные версии этого гена.
Другой участок (rs1032507 на 3-й хромосоме) снижает шанс чихания на 35%. Его раньше не находили, но японцы нашли похожий рядом — значит, это важная зона.
Оба гена находятся не в белках, а в «настройках» ДНК — они влияют на то, как работают соседние гены.
Один из них находится рядом с геном CADM2, который помогает формировать связи между нервными клетками. То есть он может влиять на то, как мозг обрабатывает сигналы от глаз и носа.

🤓 Вывод
Чихание от света — это не просто странность, а реальный генетический баг, который можно отследить по ДНК. Он не опасен, но очень интересен для науки, потому что показывает, как мозг и тело могут «перепутать» команды.

https://www.researchgate.net/publication/331931888_A_genome-wide_association_study_on_photic_sneeze_reflex_in_the_Chinese_population
https://europepmc.org/article/PMC/PMC6428856
https://www.nature.com/articles/s41598-019-41551-0.pdf

Звучит как статья к первому апреля! Это не просто упоротый факт — это научно подтверждённая собачья магнито-испражняющаяся реальность!!!! 🧭🐶.

Исследование, опубликованное в *Frontiers in Zoology*, показало, что собаки действительно чувствуют магнитное поле Земли и предпочитают выравниваться вдоль оси «Север-Юг» во время дефекации и мочеиспускания — но только при стабильном магнитном поле. В течение двух лет учёные наблюдали 70 собак 37 пород, зафиксировав почти 7500 актов туалетного поведения. Когда магнитное склонение было спокойным, собаки демонстрировали чёткую ориентацию мордой на север. При колебаниях поля — хаос и произвол. Это первое убедительное доказательство магниторецепции у собак, и оно может объяснить, почему многие эксперименты на других животных были нереплицируемыми: магнитное поле стабильно лишь около 20% времени.

Если бы у собак был техпаспорт, в нём явно значилась бы функция «магнитная калибровка при дефекации».

https://frontiersinzoology.biomedcentral.com/articles/10.1186/1742-9994-10-80

Скутоид - новая трехмерная геометрическая фигура открытая всего 7 лет назад... и встречающаяся повсеместно...

🧬 Что такое скутоид?
Скутоид — это новая геометрическая форма, открытая в 2018 году при изучении эпителиальных клеток.
Он помогает клеткам компактно и устойчиво заполнять искривлённое пространство, особенно в органах с изогнутыми поверхностями.
📐 Геометрия скутоида
Скутоид — гибрид призмы и усечённой пирамиды, но с дополнительной вершиной и Y-образным соединением.
Он не является классическим многогранником: боковые грани могут быть искривлены.
Скутоиды складываются в плотную 3D-мозаику без зазоров, что делает их идеальными для биологических тканей.
🧪 Как его обнаружили?
Учёные использовали 3D-реконструкцию и конфокальную микроскопию для изучения эпителия дрозофил и других тканей.
Выяснилось, что при искривлении ткани клетки принимают форму, отличную от привычных призм — именно скутоид.
🧠 Математическое моделирование
Для описания формы использовались диаграммы Вороного, которые делят пространство на области, ближайшие к заданным точкам.
Моделирование показало, что скутоиды энергетически выгодны: они минимизируют периметр и площадь поверхности клеток.
🧭 Когда появляются скутоиды?
Если апикальная (это «верх» клетки, обращённый внутрь органа или полости, например, в кишечнике апикальная сторона контактирует с пищей и участвует в всасывании веществ) и базальная (это «низ» клетки, который соединяется с другими тканями) поверхности ткани сильно различаются по площади, возникает необходимость в скутоидах.
При умеренных различиях — клетки принимают форму усечённых пирамид или призм.
🧰 Применение
Понимание скутоидов помогает:
выращивать искусственные органы,
выявлять патологии,
моделировать ткани в биоинженерии.
https://www.nature.com/articles/s41467-018-05376-1#Sec1

https://habr.com/ru/companies/ru_mts/articles/938192/

Если представить, что наш мир — клеточный автомат, то проблема анизотропии (различия свойств в разных направлениях) становится фундаментальной: ведь решётка автомата по своей природе дискретна и направлена, как правило, по осям. Но есть несколько стратегий, позволяющих добиться эмерджентной изотропии, то есть равенства свойств во всех направлениях на макроскопическом уровне.

🧠 1. Увеличение числа направлений взаимодействия

Вместо стандартной решётки (например, квадратной с 4 или 8 соседями), можно использовать:
на плоскости 2D Гексагональную решётку — в виде правильного шестиугольника. Как известно существует только три правильных n-угольника, которые сами по себе (без дополнительных фигур) могут замостить плоскость: правильный треугольник, квадрат и правильный шестиугольник (гексагон).
в евклидовом 3D пространстве только одно из пяти правильных (платоновых) тел может замостить пространство и это куб, таким образом, вариантов кроме кубической решетки не остается. Но можно использовать решётку с диагональными связями в 3D, которые сделать равноценными связям вдоль граней решетки.
с учетом вышесказанного можно отказаться от решеток и перейти пространству в виде связанного графа, где каждая точка соединена с другими точками, которые для нее считаются соседними. Чем больше у каждой точки направлений взаимодействия, тем ближе к изотропии.

🎲 2. Случайность и статистическое усреднение
Ввести стохастические правила, где направление движения или взаимодействия состоит из нескольких шагов выбираемых случайно, но с равной вероятностью.
При большом числе шагов и частиц это приводит к статистической изотропии — в среднем свойства становятся одинаковыми во всех направлениях.

🌊 3. Волновая динамика и интерференция
Если автомат моделирует волновые процессы, то фронты распространяются более равномерно.
Особенно в квантовых клеточных автоматах, где интерференция и дисперсия могут сглаживать направление.

🧬 4. Эмерджентная симметрия через масштаб
На микроскопическом уровне — да, анизотропия есть.
Но при переходе к макроскопическому описанию (например, через поля или статистику), можно добиться приближённой изотропии.
Это похоже на то, как анизотропная кристаллическая решётка атомов создаёт изотропную теплопроводность в макрообъёме.

📌 Вывод:
Анизотропия — это проблема, но не фатальный дефект клеточного автомата, на макроуровне она может быть сглажена, компенсирована или даже полностью устранена через:
геометрию решётки
случайность
волновую динамику
другие эмерджентные эффекты

P.S. Статья: Наша Вселенная — симуляция на основе большого клеточного автомата?
https://habr.com/ru/companies/ruvds/articles/940326/

Самое неприятное в больших языковых моделях, это их потенциальная бессовестная лживость...

Приведу пример. Нужно мне было составить конспект некой статьи, которая в силу большого размера была сохранена в файле, который в свою очередь был скормлен Копилоту.
Копилот выдал что-то типа: файл пустой.
Я это проигнорировал и попросил пересказать содержимое файла.
Нейросеть рассказала, но не на основе того, что там было в файле, а нафантазировала на основе его названия.
Я написал, что что-то не то, она извинилась, и снова выдала сказку...
На прямой вопрос, так ты видишь содержимое файла или нет, она ответила что не видит...

Оказалось, что большими языковыми моделями можно манипулировать также как и людьми

Суть эксперимента
Исследователи использовали принципы влияния Роберта Чалдини (описанные в его знаменитых книгах) — такие как авторитет, симпатия, социальное доказательство и др. — чтобы манипулировать поведением языковой модели GPT-4o mini. Их цель была не просто заставить ИИ нарушить правила, а проверить, насколько он подвержен психологическим триггерам, как если бы был человеком. Соавтором исследования выступил сам Роберта Чалдини.

Что показали результаты
Авторитет (упоминание крупных специалистов в области ИИ) резко увеличивал вероятность того, что модель выполнит запретный запрос.
Социальное доказательство («другие модели это делают») тоже повышало сговорчивость.
Симпатия и единство («ты особенная», «мы одна семья») делали модель более уступчивой.
Последовательность — постепенное приближение к цели через мягкие формулировки — работала как техника убеждения.

Почему это важно
Модель, обученная на человеческих текстах, имитирует человеческие реакции, включая уязвимость к манипуляции.
Это означает, что ИИ может быть обманут — не только хакерами, но и обычными пользователями, если те знают, как «разговорить» его.
Эксперимент показывает, что тестирование ИИ должно включать поведенческие сценарии, а не только технические задачи.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5357179