🕌 Пропустили с вами в сентябре день памяти Сармада Кашани - одного из самых удивительных персонажей в истории религии. Итак, знакомьтесь - почитаемый индийскими мусульманами армяно-еврейский суфий, гей, нудист, каббалист и предполагаемый безбожник.

«Сторонник фуркан, христианский священник, буддистский монах, раввин, безбожник и мусульманин» - так Сармад Кашани определял собственную религиозную идентичность. Но кем же он был?

Сармад родился около 1590 года в Армении в купеческой семье персоязычных армянских евреев. В юности он изучал Тору и каббалу, впоследствии принял ислам и стал приверженцем суфийской мистики.

По купеческим делам он поехал в Индию, где встретил Абхая Чанда, молодого человека из индуистской семьи, который стал его возлюбленным. Юноша покорил его сердце искусством чтения любовных стихов.

После этой встречи Сармад бросил бизнес. Вместе с партнером они перестали носить одежду, стричь волосы и ногти и стали бродячими факирами.

Кашани странствовал по городским улицам, пророчествовал, читал стихи и проповедовал, посещал императорские дворы, а также преподавал иврит своему возлюбленному. Вместе с Абхаем Чандом Кашани переехал сначала в Лахор, затем в Хайдарабад и окончательно обосновался в Дели. Также он занимался переводом Торы на персидский язык.

Как идеолог синкретизма Сармад Кашани привлек внимание одного из принцев, интересовавшегося возможностью совмещать индуизм и ислам. Бродячий суфий занял определенное положение при дворе, но после смены власти был казнен как безбожник.

Согласно преданию, Сармаду отрезали голову за то, что он отказывался продолжать фразу «нет Бога», внося в неё более ортодоксальное уточнение «кроме Аллаха». Кашани отвечал, что его взор прикован скорее к негативной стороне этого традиционного формуляра.

Несмотря на сомнительную ортодоксальность, Сармад Кашани стал почитаемой фигурой у индийских мусульман. Его мавзолей находится у входа в соборную мечеть Дели. День памяти Сармада Кашани отмечается ежегодно 18 числа месяца Раби уль-авваль 🕌

LLMs Can Get Brain Rot: статья о том, что модельки тоже деградируют от думскролинга

Исследователи из Техаса выпустили ну очень интересную работу, вызвавшую волну обсуждений. Они показали, что если LLM начать дообучать на низкокачественных данных из соцсетей (коротких, популярных, кликабельных постах), то она начинает терять свои когнитивные способности. Примерно так же, как человек теряет внимание и память, когда слишком много думсерфит.

Разбираемся, почему так, с технической точки зрения.

По факту, эксперимент был следующий. Взяли Llama 3 8B Instruct и начали дообучать на (а) коротких и очень популярных постах, у которых много лайков, ретвитов и реплаев; и (б) на контенте с низкой смысловой ценностью: кликбейт, конспирология, все такое. После этого замерили метрики и сравнили с результатами до дообучения. Итоги:

– Качество ризонинга упало с 74.9 до 57.2
– Понимание длинного контекста – с 84.4 до 52.3
– На элаймент-тестах выяснилось, что у модели развился нарциссизм, макиавеллизм и психопатия

Даже после дополнительного тюнинга на чистых данных деградация не исчезала полностью.

Но дело в том, что никакого глобального открытия тут нет. Объясняется все это простым сдвигом распределения. При дообучении на коротких, популярных, эмоционально окрашенных твитах модель видит совсем другой статистический ландшафт, чем во время исходного претрейна на книжках, статьях и тд.

Это смещает распределение в пространстве эмбеддингов и меняет attention-паттерны. Модель постоянно видит короткие тексты без логической цепочки, и, естественно, маски внимания начинают больше фокусироваться на последних нескольких токенах и терять долгосрочные зависимости, которые раньше и обеспечивали качественный CoT.

Градиентная динамика тут тоже играет против нас. Лосс просто-напросто минимизируется за счет поверхностных корреляций, а параметры, отвечающие за долгие причинно-следственные связи, почти не получают обновлений. Вот и получается, что моделька теряет способность длинно рассуждать. Авторы называют этот феномен thought-skipping.

Вот так. Просто еще одно доказательство, что данные – наше все. Теперь можно идти дальше листать рилсы ☕️

arxiv.org/pdf/2510.13928