Новый алгоритм поиска кратчайшего пути на графе так называемый «барьер сортировки»
📌 Суть проблемы
Классические алгоритмы (например, Дейкстра) требуют сортировки вершин по расстоянию, чтобы выбрать ближайшую.
Сортировка — дорогая операция, особенно при больших графах.
С 1980-х считалось, что этот барьер невозможно преодолеть без потери универсальности.
🚀 Что предложил новый алгоритм? https://arxiv.org/abs/2504.17033?utm_source=Securitylab.ru
Вместо сортировки границы текущей области, алгоритм разбивает её на кластеры и выбирает по одному узлу из каждого.
Это снижает количество сравнений и устраняет необходимость сортировки.
Работает как для ориентированных, так и для неориентированных графов с произвольными весами.
Вдохновлён идеями Беллмана-Форда, но использует их точечно, чтобы выявить ключевые «узлы-связки».
📈 Почему это важно?
Это первый универсальный алгоритм, который обходит сортировочный барьер без ограничений на тип графа.
Потенциально меняет подход к маршрутизации, логистике, сетевому анализу и многим другим задачам.
Для чего это нужно:
🚗 1. Навигация и транспорт
GPS и карты: Google Maps, Waze и другие используют алгоритмы кратчайшего пути для построения маршрутов.
Логистика: Оптимизация доставки товаров, маршруты грузовиков, дронов и курьеров.
Транспортные сети: Расчёт времени поездки в метро, автобусах, авиаперелётах.
🖥 2. Компьютерные сети
Маршрутизация пакетов: Протоколы типа OSPF и BGP используют кратчайшие пути для передачи данных.
Оптимизация трафика: Балансировка нагрузки между серверами и дата-центрами.
🧬 3. Биология и медицина
Анализ молекулярных сетей: Поиск путей между генами, белками, метаболическими реакциями.
Медицинская диагностика: Сравнение симптомов и заболеваний через графы знаний.
🛒 4. Рекомендательные системы
Поиск связей между пользователями и товарами: Например, в Amazon или Netflix.
Социальные сети: Определение степени близости между людьми (например, «друзья друзей»).
🏙 5. Городское планирование и робототехника
Планирование движения роботов: В складских системах, на заводах.
Оптимизация инфраструктуры: Где строить дороги, мосты, электросети.
🎮 6. Игры и искусственный интеллект
Играющие агенты: Перемещение персонажей по карте.
AI-планирование: Принятие решений в стратегических играх.
На русском https://www.securitylab.ru/news/562195.php
📌 Суть проблемы
Классические алгоритмы (например, Дейкстра) требуют сортировки вершин по расстоянию, чтобы выбрать ближайшую.
Сортировка — дорогая операция, особенно при больших графах.
С 1980-х считалось, что этот барьер невозможно преодолеть без потери универсальности.
🚀 Что предложил новый алгоритм? https://arxiv.org/abs/2504.17033?utm_source=Securitylab.ru
Вместо сортировки границы текущей области, алгоритм разбивает её на кластеры и выбирает по одному узлу из каждого.
Это снижает количество сравнений и устраняет необходимость сортировки.
Работает как для ориентированных, так и для неориентированных графов с произвольными весами.
Вдохновлён идеями Беллмана-Форда, но использует их точечно, чтобы выявить ключевые «узлы-связки».
📈 Почему это важно?
Это первый универсальный алгоритм, который обходит сортировочный барьер без ограничений на тип графа.
Потенциально меняет подход к маршрутизации, логистике, сетевому анализу и многим другим задачам.
Для чего это нужно:
🚗 1. Навигация и транспорт
GPS и карты: Google Maps, Waze и другие используют алгоритмы кратчайшего пути для построения маршрутов.
Логистика: Оптимизация доставки товаров, маршруты грузовиков, дронов и курьеров.
Транспортные сети: Расчёт времени поездки в метро, автобусах, авиаперелётах.
🖥 2. Компьютерные сети
Маршрутизация пакетов: Протоколы типа OSPF и BGP используют кратчайшие пути для передачи данных.
Оптимизация трафика: Балансировка нагрузки между серверами и дата-центрами.
🧬 3. Биология и медицина
Анализ молекулярных сетей: Поиск путей между генами, белками, метаболическими реакциями.
Медицинская диагностика: Сравнение симптомов и заболеваний через графы знаний.
🛒 4. Рекомендательные системы
Поиск связей между пользователями и товарами: Например, в Amazon или Netflix.
Социальные сети: Определение степени близости между людьми (например, «друзья друзей»).
🏙 5. Городское планирование и робототехника
Планирование движения роботов: В складских системах, на заводах.
Оптимизация инфраструктуры: Где строить дороги, мосты, электросети.
🎮 6. Игры и искусственный интеллект
Играющие агенты: Перемещение персонажей по карте.
AI-планирование: Принятие решений в стратегических играх.
На русском https://www.securitylab.ru/news/562195.php
arXiv.org
Breaking the Sorting Barrier for Directed Single-Source Shortest Paths
We give a deterministic $O(m\log^{2/3}n)$-time algorithm for single-source shortest paths (SSSP) on directed graphs with real non-negative edge weights in the comparison-addition model. This is...
🔥4👍3
Зачем нам столько десятичных знаков числа π?
Десяти цифр после запятой π хватает для вычисления длины экватора Земли с точностью один дюйм. А тридцать цифр дают такую точность, что при расчете длины окружности видимой Вселенной погрешность нужно разглядывать в микроскоп.
https://quoteinvestigator.com/2018/07/14/pi/
Десяти цифр после запятой π хватает для вычисления длины экватора Земли с точностью один дюйм. А тридцать цифр дают такую точность, что при расчете длины окружности видимой Вселенной погрешность нужно разглядывать в микроскоп.
https://quoteinvestigator.com/2018/07/14/pi/
😁3🤔1
Учёные из Чжэцзянского университета в Китае представили нейроморфный компьютер Darwin Monkey, который по сложности имитирует мозг макаки — это значительный шаг в развитии искусственного интеллекта и нейронауки.
🧠 Что такое Darwin Monkey?
💡 Кластер из 960 нейроморфных процессоров Darwin 3
🧬 2 миллиарда электронных нейронов и 100 миллиардов синапсов
⚡️ Энергопотребление — всего 2 кВт
🧠 Способен имитировать нервную деятельность мышей, червей и обезьян
🧠 Работает на ИИ собственной разработки, решает задачи логики, математики, генерации контента
🔬 Почему это важно?
Это первая в мире платформа, приближающаяся к сложности мозга приматов.
Предыдущие рекорды — имитация мозга кошки и платформа Intel Loihi 2 (1,15 млрд нейронов).
Darwin Monkey — новая вычислительная парадигма: высокая параллельность, низкое энергопотребление, биоподобная архитектура.
🧩 Философский контекст
Разработчики признают, что природа мышления остаётся загадкой, возможно даже квантовой. Это означает, что количественный рост нейронов не гарантирует качественного скачка в понимании сознания. Тем не менее, такие проекты приближают нас к разгадке механизмов мышления и открывают путь к новым формам ИИ.
https://habr.com/ru/companies/bothub/news/934536/
Сравнительный анализ нейроморфного компьютера и больших языковых моделей (LLM) — двух принципиально разных подходов к искусственному интеллекту.
Такое разделение возникло еще на заре ИИ, первый подход подразумевает создание аналогов нервной системы живых организмов, второй - решение интеллектуальных задач, не опираясь на то как это делают высшие животные.
Интересно, что искусственные нейросети в начале относились к нейроморфному подходу, в частности, персептрон Розенблатта задумывался как модель нейросети животных, но потом стало ясно, что между искусственными нейросетями и их биологическими аналогами пропасть.
🧠 Что такое Darwin Monkey?
💡 Кластер из 960 нейроморфных процессоров Darwin 3
🧬 2 миллиарда электронных нейронов и 100 миллиардов синапсов
⚡️ Энергопотребление — всего 2 кВт
🧠 Способен имитировать нервную деятельность мышей, червей и обезьян
🧠 Работает на ИИ собственной разработки, решает задачи логики, математики, генерации контента
🔬 Почему это важно?
Это первая в мире платформа, приближающаяся к сложности мозга приматов.
Предыдущие рекорды — имитация мозга кошки и платформа Intel Loihi 2 (1,15 млрд нейронов).
Darwin Monkey — новая вычислительная парадигма: высокая параллельность, низкое энергопотребление, биоподобная архитектура.
🧩 Философский контекст
Разработчики признают, что природа мышления остаётся загадкой, возможно даже квантовой. Это означает, что количественный рост нейронов не гарантирует качественного скачка в понимании сознания. Тем не менее, такие проекты приближают нас к разгадке механизмов мышления и открывают путь к новым формам ИИ.
https://habr.com/ru/companies/bothub/news/934536/
Сравнительный анализ нейроморфного компьютера и больших языковых моделей (LLM) — двух принципиально разных подходов к искусственному интеллекту.
Такое разделение возникло еще на заре ИИ, первый подход подразумевает создание аналогов нервной системы живых организмов, второй - решение интеллектуальных задач, не опираясь на то как это делают высшие животные.
Интересно, что искусственные нейросети в начале относились к нейроморфному подходу, в частности, персептрон Розенблатта задумывался как модель нейросети животных, но потом стало ясно, что между искусственными нейросетями и их биологическими аналогами пропасть.
Хабр
В Китае создали нейроморфный компьютер, имитирующий мозг обезьяны
Учёные из Чжэцзянского университета создали нейроморфный компьютер, который по сложности нервной деятельности приближается к мозгу макаки. Darwin Monkey работает под управлением ИИ собственной...
👍3
Новый транзистор способен работать при +800 градусах... не нужно думать об охлаждении схемы...
В начале были германиевые транзисторы — первые полупроводниковые приборы, положившие начало эре современной электроники. Однако вскоре они уступили место кремниевым, которые обладали рядом преимуществ: более высокой стабильностью, доступностью сырья, лучшей технологичностью и — что особенно важно — способностью работать в более широком температурном диапазоне. Именно кремний стал основой для всей современной микроэлектроники, от компьютеров до космических аппаратов.
Но даже кремний имеет свои пределы. При температурах выше 150 °C он теряет стабильность, что ограничивает его применение в экстремальных условиях — например, в реактивных двигателях, на химических производствах или на поверхности других планет.
Учёные из Университета штата Пенсильвания разработали уникальные транзисторы на основе нитрида галлия, способные выдерживать экстремальные температуры до 800 °C — это делает их пригодными даже для работы на поверхности Венеры, где температура достигает 470 °C.
🔬 В чём суть технологии?
Используется нитрид галлия (GaN) — материал с широкой запрещённой зоной, устойчивый к тепловому пробою.
Создан HEMT-транзистор (High Electron Mobility Transistor) с двухслойной структурой:
Верхний слой — нитрид алюминия и галлия
Нижний — нитрид галлия
На границе слоёв формируется двумерный электронный газ (2DEG) — зона с высокой подвижностью электронов и низким сопротивлением.
Это позволяет транзистору быстро переключаться и сохранять стабильность даже при 800 °C.
🚀 Почему это важно?
Обычные транзисторы выходят из строя при температуре выше 150 °C.
Даже карбид кремния, ранее считавшийся эталоном жаростойкости, выдерживает максимум 600 °C.
Новый транзистор работал стабильно в течение часа при 800 °C, демонстрируя низкие токи утечки и высокую надёжность.
🌍 Применение
Космос: электроника для зондов на Венеру и другие экстремальные планеты.
Авиация: датчики для гиперзвуковых самолётов и ракет.
Промышленность: мониторинг турбин, нефтехимических процессов, высокотемпературных производств.
https://spectrum.ieee.org/high-temperature-transistor
В начале были германиевые транзисторы — первые полупроводниковые приборы, положившие начало эре современной электроники. Однако вскоре они уступили место кремниевым, которые обладали рядом преимуществ: более высокой стабильностью, доступностью сырья, лучшей технологичностью и — что особенно важно — способностью работать в более широком температурном диапазоне. Именно кремний стал основой для всей современной микроэлектроники, от компьютеров до космических аппаратов.
Но даже кремний имеет свои пределы. При температурах выше 150 °C он теряет стабильность, что ограничивает его применение в экстремальных условиях — например, в реактивных двигателях, на химических производствах или на поверхности других планет.
Учёные из Университета штата Пенсильвания разработали уникальные транзисторы на основе нитрида галлия, способные выдерживать экстремальные температуры до 800 °C — это делает их пригодными даже для работы на поверхности Венеры, где температура достигает 470 °C.
🔬 В чём суть технологии?
Используется нитрид галлия (GaN) — материал с широкой запрещённой зоной, устойчивый к тепловому пробою.
Создан HEMT-транзистор (High Electron Mobility Transistor) с двухслойной структурой:
Верхний слой — нитрид алюминия и галлия
Нижний — нитрид галлия
На границе слоёв формируется двумерный электронный газ (2DEG) — зона с высокой подвижностью электронов и низким сопротивлением.
Это позволяет транзистору быстро переключаться и сохранять стабильность даже при 800 °C.
🚀 Почему это важно?
Обычные транзисторы выходят из строя при температуре выше 150 °C.
Даже карбид кремния, ранее считавшийся эталоном жаростойкости, выдерживает максимум 600 °C.
Новый транзистор работал стабильно в течение часа при 800 °C, демонстрируя низкие токи утечки и высокую надёжность.
🌍 Применение
Космос: электроника для зондов на Венеру и другие экстремальные планеты.
Авиация: датчики для гиперзвуковых самолётов и ракет.
Промышленность: мониторинг турбин, нефтехимических процессов, высокотемпературных производств.
https://spectrum.ieee.org/high-temperature-transistor
IEEE Spectrum
Semiconductor Rivalry Rages on in High-Temperature Chips
Silicon carbide vs. gallium nitride: Which semiconductor will dominate high-temperature electronics? The competition is heating up.
👍5
Периодическая таблица: вековая классика с изъянами
Плоская таблица Менделеева честно отработала больше века: на ней выросли поколения студентов и преподавателей, она стала символом химии и даже украшением на футболках и кружках. Но у удобства есть цена.
Разрывы периодов, вынесенные в «подвал» лантаноиды и актиноиды, спорное положение водорода, ломанная логика блоков — всё это делает таблицу не столько наглядной, сколько условной. Закономерности приходится «достраивать в голове», а не видеть глазами. Она больше напоминает компромисс между научной точностью и типографским удобством, чем отражение глубинной структуры атомного мира.
Рисунок взят отсюда https://allperiodictables.com/AAEpages/aae3d.html
Плоская таблица Менделеева честно отработала больше века: на ней выросли поколения студентов и преподавателей, она стала символом химии и даже украшением на футболках и кружках. Но у удобства есть цена.
Разрывы периодов, вынесенные в «подвал» лантаноиды и актиноиды, спорное положение водорода, ломанная логика блоков — всё это делает таблицу не столько наглядной, сколько условной. Закономерности приходится «достраивать в голове», а не видеть глазами. Она больше напоминает компромисс между научной точностью и типографским удобством, чем отражение глубинной структуры атомного мира.
Рисунок взят отсюда https://allperiodictables.com/AAEpages/aae3d.html
👍4🤔2
Исследователи создали мини-соцсеть с чат-ботами — те разбились на политические «коалиции» и повторили «токсичное» поведение обычных пользователей
"Мы обнаружили, что полученные сети-агенты воспроизводят три хорошо документированные дисфункции: (1) партийные эхо-камеры; (2) концентрированное влияние среди небольшой элиты; (3) усиление поляризованных голосов, создавая «призму социальных сетей», которая искажает политический дискурс. "
https://arxiv.org/pdf/2508.03385
https://vc.ru/social/2157303-mini-sotsset-s-chat-botami-issledovanie-toksichnogo-povedeniya
"Мы обнаружили, что полученные сети-агенты воспроизводят три хорошо документированные дисфункции: (1) партийные эхо-камеры; (2) концентрированное влияние среди небольшой элиты; (3) усиление поляризованных голосов, создавая «призму социальных сетей», которая искажает политический дискурс. "
https://arxiv.org/pdf/2508.03385
https://vc.ru/social/2157303-mini-sotsset-s-chat-botami-issledovanie-toksichnogo-povedeniya
😁5👍4
Первые жертвы LLM
Источник новости — это официальный медицинский кейс опубликованный в журнале Annals of Internal Medicine, и подробно описанный в статье на сайте Popular Science.
🧠 Краткое содержание инцидента
60-летний мужчина из США решил исключить поваренную соль (NaCl) из рациона.
Получив совет от ChatGPT, он заменил её на бромид натрия (NaBr) — вещество, используемое для дезинфекции бассейнов.
Через 3 месяца у него развился бромизм — токсическое поражение нервной системы:
Паранойя
Галлюцинации
Отказ от воды
Попытка побега из больницы
Его госпитализировали и держали на принудительном психиатрическом лечении 3 недели.
Врачи выяснили, что причиной стал совет ИИ, и опубликовали случай как предупреждение о рисках неконтролируемого использования AI в медицине.
Источник новости — это официальный медицинский кейс опубликованный в журнале Annals of Internal Medicine, и подробно описанный в статье на сайте Popular Science.
🧠 Краткое содержание инцидента
60-летний мужчина из США решил исключить поваренную соль (NaCl) из рациона.
Получив совет от ChatGPT, он заменил её на бромид натрия (NaBr) — вещество, используемое для дезинфекции бассейнов.
Через 3 месяца у него развился бромизм — токсическое поражение нервной системы:
Паранойя
Галлюцинации
Отказ от воды
Попытка побега из больницы
Его госпитализировали и держали на принудительном психиатрическом лечении 3 недели.
Врачи выяснили, что причиной стал совет ИИ, и опубликовали случай как предупреждение о рисках неконтролируемого использования AI в медицине.
Popular Science
Man develops psychosis following ChatGPT’s salt-free diet
Doctors say the patient swapped out sodium chloride for sodium bromide.
👍3🤡1
Вероятность окончания военного конфликта
Предположим, имеем некий военный конфликт и хотим найти вероятность, что он закончится в следующий год, как зависит эта вероятность от предыдущей длительности конфликта?
Логика процесса
Начальная фаза конфликта
Когда конфликт только начинается, есть шансы на быстрый исход — либо одна сторона быстро достигает целей, либо стороны идут на переговоры из-за неопределённости.
Вероятность окончания в первый год может быть относительно высокой.
Фаза затяжного противостояния
Если быстрый исход не достигнут, конфликт входит в стабильную фазу с закрепившимися фронтами, рутиной снабжения, наладившейся военной экономикой.
Здесь вероятность прекращения в любой отдельный год снижается: стороны уже адаптировались, их цели не достигнуты, компромисс труден.
Фаза истощения
По мере накопления потерь, разрушений и экономического давления, растёт усталость:
ресурсы (материальные, людские, политические) истощаются,
давление общества и внешних игроков усиливается.
Вероятность окончания снова повышается.
📈 Модель в терминах статистики
Можно описать это "U-образной" зависимостью, вернее, перевёрнутой колоколообразной функцией.
В исследованиях конфликтов применяют:
Survival analysis (анализ «выживания» конфликтов)
Модели с переменной «опасности» (hazard function), которая может сначала падать, а потом расти.
🔍 Пример из реальных данных
По статистике вооружённых конфликтов XX–XXI вв., войны, длившиеся более 2 лет, имеют сниженную «вероятность завершения» в каждый следующий год.
Но для конфликтов, длившихся 7–10+ лет, вероятность окончания в ближайшие 12 месяцев начинает постепенно увеличиваться — эффект ресурсного истощения и политического давления.
Предположим, имеем некий военный конфликт и хотим найти вероятность, что он закончится в следующий год, как зависит эта вероятность от предыдущей длительности конфликта?
Логика процесса
Начальная фаза конфликта
Когда конфликт только начинается, есть шансы на быстрый исход — либо одна сторона быстро достигает целей, либо стороны идут на переговоры из-за неопределённости.
Вероятность окончания в первый год может быть относительно высокой.
Фаза затяжного противостояния
Если быстрый исход не достигнут, конфликт входит в стабильную фазу с закрепившимися фронтами, рутиной снабжения, наладившейся военной экономикой.
Здесь вероятность прекращения в любой отдельный год снижается: стороны уже адаптировались, их цели не достигнуты, компромисс труден.
Фаза истощения
По мере накопления потерь, разрушений и экономического давления, растёт усталость:
ресурсы (материальные, людские, политические) истощаются,
давление общества и внешних игроков усиливается.
Вероятность окончания снова повышается.
📈 Модель в терминах статистики
Можно описать это "U-образной" зависимостью, вернее, перевёрнутой колоколообразной функцией.
В исследованиях конфликтов применяют:
Survival analysis (анализ «выживания» конфликтов)
Модели с переменной «опасности» (hazard function), которая может сначала падать, а потом расти.
🔍 Пример из реальных данных
По статистике вооружённых конфликтов XX–XXI вв., войны, длившиеся более 2 лет, имеют сниженную «вероятность завершения» в каждый следующий год.
Но для конфликтов, длившихся 7–10+ лет, вероятность окончания в ближайшие 12 месяцев начинает постепенно увеличиваться — эффект ресурсного истощения и политического давления.
👍3
"Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens" от исследователей из Arizona State University:
🧠 Основная идея
Авторы ставят под сомнение, действительно ли Chain-of-Thought (CoT) — пошаговое рассуждение, вызываемое у больших языковых моделей (LLMs) — является проявлением настоящего мышления. Они утверждают, что CoT — это не логическое рассуждение, а структурированное воспроизведение шаблонов, выученных на тренировочных данных.
🔍 Ключевые тезисы
1. CoT работает только в пределах обучающего распределения
Модели хорошо справляются с задачами, похожими на те, что были в обучении.
При малейшем отклонении (новая задача, формат, длина) — CoT начинает давать сбои.
2. CoT — это не мышление, а паттерн-матчинг
Модель не рассуждает, а воспроизводит шаблоны, которые она видела.
Пример: модель может правильно описать правило високосного года, но сделать логически противоречивый вывод.
3. DATAALCHEMY — экспериментальная среда
Авторы создали контролируемую среду, где обучали LLM с нуля.
Они проверяли CoT по трём осям:
Задача: насколько модель справляется с новыми типами задач.
Длина рассуждения: как меняется качество при увеличении/уменьшении количества шагов.
Формат запроса: насколько чувствительна модель к изменению формулировки.
4. CoT ломается при малейших изменениях
Даже небольшие изменения в формате запроса (вставка, удаление слов) резко снижают точность.
Модель может давать правильные шаги рассуждения, но неправильный ответ — и наоборот.
📉 Выводы и последствия
CoT — это иллюзия мышления, не отражающая настоящую способность к логическому выводу.
Файнтюнинг может временно «залатать» модель, но не решает проблему обобщения.
Практикам не стоит слепо доверять CoT в критических областях (медицина, финансы).
Исследователям стоит искать новые архитектуры, способные к настоящему выводу, а не к имитации.
🧠 Основная идея
Авторы ставят под сомнение, действительно ли Chain-of-Thought (CoT) — пошаговое рассуждение, вызываемое у больших языковых моделей (LLMs) — является проявлением настоящего мышления. Они утверждают, что CoT — это не логическое рассуждение, а структурированное воспроизведение шаблонов, выученных на тренировочных данных.
🔍 Ключевые тезисы
1. CoT работает только в пределах обучающего распределения
Модели хорошо справляются с задачами, похожими на те, что были в обучении.
При малейшем отклонении (новая задача, формат, длина) — CoT начинает давать сбои.
2. CoT — это не мышление, а паттерн-матчинг
Модель не рассуждает, а воспроизводит шаблоны, которые она видела.
Пример: модель может правильно описать правило високосного года, но сделать логически противоречивый вывод.
3. DATAALCHEMY — экспериментальная среда
Авторы создали контролируемую среду, где обучали LLM с нуля.
Они проверяли CoT по трём осям:
Задача: насколько модель справляется с новыми типами задач.
Длина рассуждения: как меняется качество при увеличении/уменьшении количества шагов.
Формат запроса: насколько чувствительна модель к изменению формулировки.
4. CoT ломается при малейших изменениях
Даже небольшие изменения в формате запроса (вставка, удаление слов) резко снижают точность.
Модель может давать правильные шаги рассуждения, но неправильный ответ — и наоборот.
📉 Выводы и последствия
CoT — это иллюзия мышления, не отражающая настоящую способность к логическому выводу.
Файнтюнинг может временно «залатать» модель, но не решает проблему обобщения.
Практикам не стоит слепо доверять CoT в критических областях (медицина, финансы).
Исследователям стоит искать новые архитектуры, способные к настоящему выводу, а не к имитации.
❤2👍1
Ограничения LLMs на основе трансформеров
(По материалам https://t.iss.one/spydell_finance/8122)
🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.
(По материалам https://t.iss.one/spydell_finance/8122)
🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.
Telegram
Spydell_finance
Развитие ИИ закончено? Тупиковая ветвь эволюции
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов:…
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов:…
🔥2❤1👍1
Свет и чиханье, баг или фича?
🌞 Почему некоторые люди чихают от яркого света?
Примерно каждый четвёртый человек действительно чихает, когда на него резко попадает солнечный свет. Это называется фотический чихательный рефлекс. Причина до конца не ясна, но, похоже, дело в том, что сигналы от глаз и от носа иногда «путаются» в мозге. Как будто в коде организма произошла небольшая ошибка: вместо того чтобы просто обработать свет, тело решает прочистить нос.
🧬 Что говорят гены?
Учёные в Китае провели исследование:
Опросили 3417 человек, выяснили, кто чихает от света.
Собрали слюну, проанализировали ДНК на 900 тысяч участков.
Сравнили гены у «чихающих» и «нечихающих».
Что нашли:
25,6% людей имеют этот рефлекс. У мужчин чаще, чем у женщин.
Один участок ДНК (rs10427255 на 2-й хромосоме) увеличивает шанс чихания на 68%. Его уже находили у европейцев, но у китайцев и европейцев разные версии этого гена.
Другой участок (rs1032507 на 3-й хромосоме) снижает шанс чихания на 35%. Его раньше не находили, но японцы нашли похожий рядом — значит, это важная зона.
Оба гена находятся не в белках, а в «настройках» ДНК — они влияют на то, как работают соседние гены.
Один из них находится рядом с геном CADM2, который помогает формировать связи между нервными клетками. То есть он может влиять на то, как мозг обрабатывает сигналы от глаз и носа.
🤓 Вывод
Чихание от света — это не просто странность, а реальный генетический баг, который можно отследить по ДНК. Он не опасен, но очень интересен для науки, потому что показывает, как мозг и тело могут «перепутать» команды.
https://www.researchgate.net/publication/331931888_A_genome-wide_association_study_on_photic_sneeze_reflex_in_the_Chinese_population
https://europepmc.org/article/PMC/PMC6428856
https://www.nature.com/articles/s41598-019-41551-0.pdf
🌞 Почему некоторые люди чихают от яркого света?
Примерно каждый четвёртый человек действительно чихает, когда на него резко попадает солнечный свет. Это называется фотический чихательный рефлекс. Причина до конца не ясна, но, похоже, дело в том, что сигналы от глаз и от носа иногда «путаются» в мозге. Как будто в коде организма произошла небольшая ошибка: вместо того чтобы просто обработать свет, тело решает прочистить нос.
🧬 Что говорят гены?
Учёные в Китае провели исследование:
Опросили 3417 человек, выяснили, кто чихает от света.
Собрали слюну, проанализировали ДНК на 900 тысяч участков.
Сравнили гены у «чихающих» и «нечихающих».
Что нашли:
25,6% людей имеют этот рефлекс. У мужчин чаще, чем у женщин.
Один участок ДНК (rs10427255 на 2-й хромосоме) увеличивает шанс чихания на 68%. Его уже находили у европейцев, но у китайцев и европейцев разные версии этого гена.
Другой участок (rs1032507 на 3-й хромосоме) снижает шанс чихания на 35%. Его раньше не находили, но японцы нашли похожий рядом — значит, это важная зона.
Оба гена находятся не в белках, а в «настройках» ДНК — они влияют на то, как работают соседние гены.
Один из них находится рядом с геном CADM2, который помогает формировать связи между нервными клетками. То есть он может влиять на то, как мозг обрабатывает сигналы от глаз и носа.
🤓 Вывод
Чихание от света — это не просто странность, а реальный генетический баг, который можно отследить по ДНК. Он не опасен, но очень интересен для науки, потому что показывает, как мозг и тело могут «перепутать» команды.
https://www.researchgate.net/publication/331931888_A_genome-wide_association_study_on_photic_sneeze_reflex_in_the_Chinese_population
https://europepmc.org/article/PMC/PMC6428856
https://www.nature.com/articles/s41598-019-41551-0.pdf
ResearchGate
(PDF) A genome-wide association study on photic sneeze reflex in the Chinese population
PDF | Photic sneeze reflex (PSR) is an interesting but yet mysterious phenotype featured by individuals’ response of sneezing in exposure to bright... | Find, read and cite all the research you need on ResearchGate
🔥3👍2❤1😁1
Звучит как статья к первому апреля! Это не просто упоротый факт — это научно подтверждённая собачья магнито-испражняющаяся реальность!!!! 🧭🐶.
Исследование, опубликованное в *Frontiers in Zoology*, показало, что собаки действительно чувствуют магнитное поле Земли и предпочитают выравниваться вдоль оси «Север-Юг» во время дефекации и мочеиспускания — но только при стабильном магнитном поле. В течение двух лет учёные наблюдали 70 собак 37 пород, зафиксировав почти 7500 актов туалетного поведения. Когда магнитное склонение было спокойным, собаки демонстрировали чёткую ориентацию мордой на север. При колебаниях поля — хаос и произвол. Это первое убедительное доказательство магниторецепции у собак, и оно может объяснить, почему многие эксперименты на других животных были нереплицируемыми: магнитное поле стабильно лишь около 20% времени.
Если бы у собак был техпаспорт, в нём явно значилась бы функция «магнитная калибровка при дефекации».
https://frontiersinzoology.biomedcentral.com/articles/10.1186/1742-9994-10-80
Исследование, опубликованное в *Frontiers in Zoology*, показало, что собаки действительно чувствуют магнитное поле Земли и предпочитают выравниваться вдоль оси «Север-Юг» во время дефекации и мочеиспускания — но только при стабильном магнитном поле. В течение двух лет учёные наблюдали 70 собак 37 пород, зафиксировав почти 7500 актов туалетного поведения. Когда магнитное склонение было спокойным, собаки демонстрировали чёткую ориентацию мордой на север. При колебаниях поля — хаос и произвол. Это первое убедительное доказательство магниторецепции у собак, и оно может объяснить, почему многие эксперименты на других животных были нереплицируемыми: магнитное поле стабильно лишь около 20% времени.
Если бы у собак был техпаспорт, в нём явно значилась бы функция «магнитная калибровка при дефекации».
https://frontiersinzoology.biomedcentral.com/articles/10.1186/1742-9994-10-80
BioMed Central
Dogs are sensitive to small variations of the Earth’s magnetic field - Frontiers in Zoology
Introduction Several mammalian species spontaneously align their body axis with respect to the Earth’s magnetic field (MF) lines in diverse behavioral contexts. Magnetic alignment is a suitable paradigm to scan for the occurrence of magnetosensitivity across…
🤔3😁2🔥1
Скутоид - новая трехмерная геометрическая фигура открытая всего 7 лет назад... и встречающаяся повсеместно...
🧬 Что такое скутоид?
Скутоид — это новая геометрическая форма, открытая в 2018 году при изучении эпителиальных клеток.
Он помогает клеткам компактно и устойчиво заполнять искривлённое пространство, особенно в органах с изогнутыми поверхностями.
📐 Геометрия скутоида
Скутоид — гибрид призмы и усечённой пирамиды, но с дополнительной вершиной и Y-образным соединением.
Он не является классическим многогранником: боковые грани могут быть искривлены.
Скутоиды складываются в плотную 3D-мозаику без зазоров, что делает их идеальными для биологических тканей.
🧪 Как его обнаружили?
Учёные использовали 3D-реконструкцию и конфокальную микроскопию для изучения эпителия дрозофил и других тканей.
Выяснилось, что при искривлении ткани клетки принимают форму, отличную от привычных призм — именно скутоид.
🧠 Математическое моделирование
Для описания формы использовались диаграммы Вороного, которые делят пространство на области, ближайшие к заданным точкам.
Моделирование показало, что скутоиды энергетически выгодны: они минимизируют периметр и площадь поверхности клеток.
🧭 Когда появляются скутоиды?
Если апикальная (это «верх» клетки, обращённый внутрь органа или полости, например, в кишечнике апикальная сторона контактирует с пищей и участвует в всасывании веществ) и базальная (это «низ» клетки, который соединяется с другими тканями) поверхности ткани сильно различаются по площади, возникает необходимость в скутоидах.
При умеренных различиях — клетки принимают форму усечённых пирамид или призм.
🧰 Применение
Понимание скутоидов помогает:
выращивать искусственные органы,
выявлять патологии,
моделировать ткани в биоинженерии.
https://www.nature.com/articles/s41467-018-05376-1#Sec1
https://habr.com/ru/companies/ru_mts/articles/938192/
🧬 Что такое скутоид?
Скутоид — это новая геометрическая форма, открытая в 2018 году при изучении эпителиальных клеток.
Он помогает клеткам компактно и устойчиво заполнять искривлённое пространство, особенно в органах с изогнутыми поверхностями.
📐 Геометрия скутоида
Скутоид — гибрид призмы и усечённой пирамиды, но с дополнительной вершиной и Y-образным соединением.
Он не является классическим многогранником: боковые грани могут быть искривлены.
Скутоиды складываются в плотную 3D-мозаику без зазоров, что делает их идеальными для биологических тканей.
🧪 Как его обнаружили?
Учёные использовали 3D-реконструкцию и конфокальную микроскопию для изучения эпителия дрозофил и других тканей.
Выяснилось, что при искривлении ткани клетки принимают форму, отличную от привычных призм — именно скутоид.
🧠 Математическое моделирование
Для описания формы использовались диаграммы Вороного, которые делят пространство на области, ближайшие к заданным точкам.
Моделирование показало, что скутоиды энергетически выгодны: они минимизируют периметр и площадь поверхности клеток.
🧭 Когда появляются скутоиды?
Если апикальная (это «верх» клетки, обращённый внутрь органа или полости, например, в кишечнике апикальная сторона контактирует с пищей и участвует в всасывании веществ) и базальная (это «низ» клетки, который соединяется с другими тканями) поверхности ткани сильно различаются по площади, возникает необходимость в скутоидах.
При умеренных различиях — клетки принимают форму усечённых пирамид или призм.
🧰 Применение
Понимание скутоидов помогает:
выращивать искусственные органы,
выявлять патологии,
моделировать ткани в биоинженерии.
https://www.nature.com/articles/s41467-018-05376-1#Sec1
https://habr.com/ru/companies/ru_mts/articles/938192/
Nature
Scutoids are a geometrical solution to three-dimensional packing of epithelia
Nature Communications - Cell arrangement in the plane of epithelia is well studied, but its three-dimensional packing is largely unknown. Here the authors model curved epithelia and predict that...
❤3👍3🤔1
Листаю книжку про взятие интегралов... и думаю, сейчас, когда системы компьютерной математики способны брать практически все известные интегралы, нужно ли математикам, за исключением тех, кто специализируется в области интегрального исчисления, уметь находить сложные первообразные? Или все обстоит также как с вычислениями на бумаге или с помощью логарифмической линейки?
👍2🤔1
Если представить, что наш мир — клеточный автомат, то проблема анизотропии (различия свойств в разных направлениях) становится фундаментальной: ведь решётка автомата по своей природе дискретна и направлена, как правило, по осям. Но есть несколько стратегий, позволяющих добиться эмерджентной изотропии, то есть равенства свойств во всех направлениях на макроскопическом уровне.
🧠 1. Увеличение числа направлений взаимодействия
Вместо стандартной решётки (например, квадратной с 4 или 8 соседями), можно использовать:
на плоскости 2D Гексагональную решётку — в виде правильного шестиугольника. Как известно существует только три правильных n-угольника, которые сами по себе (без дополнительных фигур) могут замостить плоскость: правильный треугольник, квадрат и правильный шестиугольник (гексагон).
в евклидовом 3D пространстве только одно из пяти правильных (платоновых) тел может замостить пространство и это куб, таким образом, вариантов кроме кубической решетки не остается. Но можно использовать решётку с диагональными связями в 3D, которые сделать равноценными связям вдоль граней решетки.
с учетом вышесказанного можно отказаться от решеток и перейти пространству в виде связанного графа, где каждая точка соединена с другими точками, которые для нее считаются соседними. Чем больше у каждой точки направлений взаимодействия, тем ближе к изотропии.
🎲 2. Случайность и статистическое усреднение
Ввести стохастические правила, где направление движения или взаимодействия состоит из нескольких шагов выбираемых случайно, но с равной вероятностью.
При большом числе шагов и частиц это приводит к статистической изотропии — в среднем свойства становятся одинаковыми во всех направлениях.
🌊 3. Волновая динамика и интерференция
Если автомат моделирует волновые процессы, то фронты распространяются более равномерно.
Особенно в квантовых клеточных автоматах, где интерференция и дисперсия могут сглаживать направление.
🧬 4. Эмерджентная симметрия через масштаб
На микроскопическом уровне — да, анизотропия есть.
Но при переходе к макроскопическому описанию (например, через поля или статистику), можно добиться приближённой изотропии.
Это похоже на то, как анизотропная кристаллическая решётка атомов создаёт изотропную теплопроводность в макрообъёме.
📌 Вывод:
Анизотропия — это проблема, но не фатальный дефект клеточного автомата, на макроуровне она может быть сглажена, компенсирована или даже полностью устранена через:
геометрию решётки
случайность
волновую динамику
другие эмерджентные эффекты
P.S. Статья: Наша Вселенная — симуляция на основе большого клеточного автомата?
https://habr.com/ru/companies/ruvds/articles/940326/
🧠 1. Увеличение числа направлений взаимодействия
Вместо стандартной решётки (например, квадратной с 4 или 8 соседями), можно использовать:
на плоскости 2D Гексагональную решётку — в виде правильного шестиугольника. Как известно существует только три правильных n-угольника, которые сами по себе (без дополнительных фигур) могут замостить плоскость: правильный треугольник, квадрат и правильный шестиугольник (гексагон).
в евклидовом 3D пространстве только одно из пяти правильных (платоновых) тел может замостить пространство и это куб, таким образом, вариантов кроме кубической решетки не остается. Но можно использовать решётку с диагональными связями в 3D, которые сделать равноценными связям вдоль граней решетки.
с учетом вышесказанного можно отказаться от решеток и перейти пространству в виде связанного графа, где каждая точка соединена с другими точками, которые для нее считаются соседними. Чем больше у каждой точки направлений взаимодействия, тем ближе к изотропии.
🎲 2. Случайность и статистическое усреднение
Ввести стохастические правила, где направление движения или взаимодействия состоит из нескольких шагов выбираемых случайно, но с равной вероятностью.
При большом числе шагов и частиц это приводит к статистической изотропии — в среднем свойства становятся одинаковыми во всех направлениях.
🌊 3. Волновая динамика и интерференция
Если автомат моделирует волновые процессы, то фронты распространяются более равномерно.
Особенно в квантовых клеточных автоматах, где интерференция и дисперсия могут сглаживать направление.
🧬 4. Эмерджентная симметрия через масштаб
На микроскопическом уровне — да, анизотропия есть.
Но при переходе к макроскопическому описанию (например, через поля или статистику), можно добиться приближённой изотропии.
Это похоже на то, как анизотропная кристаллическая решётка атомов создаёт изотропную теплопроводность в макрообъёме.
📌 Вывод:
Анизотропия — это проблема, но не фатальный дефект клеточного автомата, на макроуровне она может быть сглажена, компенсирована или даже полностью устранена через:
геометрию решётки
случайность
волновую динамику
другие эмерджентные эффекты
P.S. Статья: Наша Вселенная — симуляция на основе большого клеточного автомата?
https://habr.com/ru/companies/ruvds/articles/940326/
Хабр
Наша Вселенная — симуляция на основе большого клеточного автомата?
Мы можем не замечать странностей мира, в котором живём Итак, начнём Если бы передо мной была бы поставлена задача сделать какую-то симуляцию, то первым делом на ум приходит всем известная игра «Жизнь»...
🤔2❤1
Самое неприятное в больших языковых моделях, это их потенциальная бессовестная лживость...
Приведу пример. Нужно мне было составить конспект некой статьи, которая в силу большого размера была сохранена в файле, который в свою очередь был скормлен Копилоту.
Копилот выдал что-то типа: файл пустой.
Я это проигнорировал и попросил пересказать содержимое файла.
Нейросеть рассказала, но не на основе того, что там было в файле, а нафантазировала на основе его названия.
Я написал, что что-то не то, она извинилась, и снова выдала сказку...
На прямой вопрос, так ты видишь содержимое файла или нет, она ответила что не видит...
Приведу пример. Нужно мне было составить конспект некой статьи, которая в силу большого размера была сохранена в файле, который в свою очередь был скормлен Копилоту.
Копилот выдал что-то типа: файл пустой.
Я это проигнорировал и попросил пересказать содержимое файла.
Нейросеть рассказала, но не на основе того, что там было в файле, а нафантазировала на основе его названия.
Я написал, что что-то не то, она извинилась, и снова выдала сказку...
На прямой вопрос, так ты видишь содержимое файла или нет, она ответила что не видит...
😁4🤔2
Оказалось, что большими языковыми моделями можно манипулировать также как и людьми
Суть эксперимента
Исследователи использовали принципы влияния Роберта Чалдини (описанные в его знаменитых книгах) — такие как авторитет, симпатия, социальное доказательство и др. — чтобы манипулировать поведением языковой модели GPT-4o mini. Их цель была не просто заставить ИИ нарушить правила, а проверить, насколько он подвержен психологическим триггерам, как если бы был человеком. Соавтором исследования выступил сам Роберта Чалдини.
Что показали результаты
Авторитет (упоминание крупных специалистов в области ИИ) резко увеличивал вероятность того, что модель выполнит запретный запрос.
Социальное доказательство («другие модели это делают») тоже повышало сговорчивость.
Симпатия и единство («ты особенная», «мы одна семья») делали модель более уступчивой.
Последовательность — постепенное приближение к цели через мягкие формулировки — работала как техника убеждения.
Почему это важно
Модель, обученная на человеческих текстах, имитирует человеческие реакции, включая уязвимость к манипуляции.
Это означает, что ИИ может быть обманут — не только хакерами, но и обычными пользователями, если те знают, как «разговорить» его.
Эксперимент показывает, что тестирование ИИ должно включать поведенческие сценарии, а не только технические задачи.
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5357179
Суть эксперимента
Исследователи использовали принципы влияния Роберта Чалдини (описанные в его знаменитых книгах) — такие как авторитет, симпатия, социальное доказательство и др. — чтобы манипулировать поведением языковой модели GPT-4o mini. Их цель была не просто заставить ИИ нарушить правила, а проверить, насколько он подвержен психологическим триггерам, как если бы был человеком. Соавтором исследования выступил сам Роберта Чалдини.
Что показали результаты
Авторитет (упоминание крупных специалистов в области ИИ) резко увеличивал вероятность того, что модель выполнит запретный запрос.
Социальное доказательство («другие модели это делают») тоже повышало сговорчивость.
Симпатия и единство («ты особенная», «мы одна семья») делали модель более уступчивой.
Последовательность — постепенное приближение к цели через мягкие формулировки — работала как техника убеждения.
Почему это важно
Модель, обученная на человеческих текстах, имитирует человеческие реакции, включая уязвимость к манипуляции.
Это означает, что ИИ может быть обманут — не только хакерами, но и обычными пользователями, если те знают, как «разговорить» его.
Эксперимент показывает, что тестирование ИИ должно включать поведенческие сценарии, а не только технические задачи.
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5357179
Ssrn
Call Me A Jerk: Persuading AI to Comply with Objectionable Requests
<span><span>Do artificial intelligence (AI) models trained on human language submit to the same principles of persuasion as humans? We tested whether 7 establis
👍3🔥2