В руководстве по оценке сознания у искусственного интеллекта, использовалось 3 подхода:
Нельзя подойти к нейросетке и спросить:
— Сознание есть? А если найду?!
Но можно взять научные теории о том, как сознание работает в человеческом мозге, и посмотреть, есть ли что-то похожее в архитектуре современных Ml
Cразу вывод: нет, ни одна из существующих систем (включая большие языковые модели вроде ChatGPT) не является сознательной
При этом с технологической точки зрения, нет никаких непреодолимых препятствий для создания “сознательного Ml”
Теория глобального рабочего пространства — в мозге есть много бессознательных специализированных модулей, которые работают параллельно и автономно
Например, один модуль распознаёт цвета, другой — формы, третий отвечает за слух
Сознание возникает, когда какая-то важная информация выигрывает конкуренцию за внимание и попадает в глобальное рабочее пространство
Как только информация оказалась на этой сцене, она становится доступна всем остальным модулям
Они могут её использовать для планирования, запоминания, речи и т.д.
Этот процесс трансляции на всех и есть сознательный опыт (пишу не для нейрофизиологов)
Теория рекуррентной обработки — прошлая теория неправа, и для сознания не нужны сложные когнитивные функции
Сознание возникает в сенсорных областях мозга
Когда вы видите яблоко, сигнал сначала идет "вперед" по иерархии зрительной коры (от простых черт к сложным)
Это бессознательный процесс
Сознание включается, когда сигнал начинает идти обратно — от высших областей к низшим
Эта циклическая обработка позволяет связать все признаки (цвет, форму, текстуру) в единый образ
Теории высшего порядка утверждают, что для того, чтобы переживание стало сознательным, недостаточно просто иметь это переживание
Система должна также иметь представление о том, что у неё есть это переживание
"Да, это реальное восприятие, а не шум или воображение"
Чтобы системе вообще понадобилось отличать реальность от шума, у неё должны быть разные источники активации (например, реальные сенсорные данные, воображение, внутренний шум)
Потом должен быть механизм, который отслеживает и различает надежные перцептивные представления от ненадежных
Плюс теория схемы внимания, предиктивное кодирование (мозг — это машина предсказаний), агентность и воплощение
В итоге собираем все критерии и смотрим, что получилось для трансформеров и более продвинутых архитектур:
Надо всё проверять на такие критерии, а то вдруг создадим сознательное существо, способное страдать, но не признаем этого
Ну или мы начнем приписывать сознание системам, у которых его нет
Найдутся зелёные, которые будут тратить огромные ресурсы на защиту "прав" не-сознательных ботов, хотя вот же есть коровы и куры
1) Тест Тьюринга (его проходили даже тупые до-LLM и не проходили некоторые люди)
2) "По ощущениям, надо оценивать так"
3) "Всё равно ты так не сможешь, псина... Ой, смог, ну сейчас посложнее придумаем!"
Нельзя подойти к нейросетке и спросить:
— Сознание есть? А если найду?!
Но можно взять научные теории о том, как сознание работает в человеческом мозге, и посмотреть, есть ли что-то похожее в архитектуре современных Ml
Cразу вывод: нет, ни одна из существующих систем (включая большие языковые модели вроде ChatGPT) не является сознательной
При этом с технологической точки зрения, нет никаких непреодолимых препятствий для создания “сознательного Ml”
Критерии:
1) Вычислительный функционализм
Неважно, из чего сделан мозг, хоть из мяса. Важно, какие вычисления он производит
Никакой магии, просто покажите те же результаты, что при сознательном опыте
2) Но при этом важно, не что оно делает, а как
Современные LLM — имитаторы
3) Поскольку это два взаимоисключающих пункта, давайте вместо того чтобы изобретать новые критерии, берём уже существующие модели, проверенные на людях, и пытаемся найти (создать) у моделей
Теория глобального рабочего пространства — в мозге есть много бессознательных специализированных модулей, которые работают параллельно и автономно
Например, один модуль распознаёт цвета, другой — формы, третий отвечает за слух
Сознание возникает, когда какая-то важная информация выигрывает конкуренцию за внимание и попадает в глобальное рабочее пространство
Как только информация оказалась на этой сцене, она становится доступна всем остальным модулям
Они могут её использовать для планирования, запоминания, речи и т.д.
Этот процесс трансляции на всех и есть сознательный опыт (пишу не для нейрофизиологов)
Теория рекуррентной обработки — прошлая теория неправа, и для сознания не нужны сложные когнитивные функции
Сознание возникает в сенсорных областях мозга
Когда вы видите яблоко, сигнал сначала идет "вперед" по иерархии зрительной коры (от простых черт к сложным)
Это бессознательный процесс
Сознание включается, когда сигнал начинает идти обратно — от высших областей к низшим
Эта циклическая обработка позволяет связать все признаки (цвет, форму, текстуру) в единый образ
Теории высшего порядка утверждают, что для того, чтобы переживание стало сознательным, недостаточно просто иметь это переживание
Система должна также иметь представление о том, что у неё есть это переживание
"Да, это реальное восприятие, а не шум или воображение"
Чтобы системе вообще понадобилось отличать реальность от шума, у неё должны быть разные источники активации (например, реальные сенсорные данные, воображение, внутренний шум)
Потом должен быть механизм, который отслеживает и различает надежные перцептивные представления от ненадежных
Плюс теория схемы внимания, предиктивное кодирование (мозг — это машина предсказаний), агентность и воплощение
В итоге собираем все критерии и смотрим, что получилось для трансформеров и более продвинутых архитектур:
— LLM-трансформеры — сразу идут лесом
— Perceiver (свёртки трансформеров + обрабатывающий штаб) — ближе к сознанию
— PaLM-E, "виртуальная крыса" — учатся на обратной связи и могут строить модели своего тела, но всё равно примитивны
Надо всё проверять на такие критерии, а то вдруг создадим сознательное существо, способное страдать, но не признаем этого
Ну или мы начнем приписывать сознание системам, у которых его нет
Найдутся зелёные, которые будут тратить огромные ресурсы на защиту "прав" не-сознательных ботов, хотя вот же есть коровы и куры
OpenAI и Anthropic - это публично известные цифры + публичные компании Ml-инфраструктуры уже превзошли весь доход от публичных SaaS-компаний в 2024 году
Об этом ранее говорили и a16Z
Большую часть этого роста обеспечивает доход Nvidia от дата-центров - продажа чипов для Ml
По новым доходам Ml-сектор почти удваивает показатели публичных SaaS-компаний в этом году
Более 100 публичных SaaS-компаний пока не видят роста доходов от своих Ml-предложений
Спрос на Ml происходит там, где их нет
Происходит массовый переход от традиционного программного обеспечения как услуги (SaaS) к специализированным Ml-решениям
Деньги идут не к существующим софтверным гигантам, а к новым Ml-компаниям и производителям чипов.-лабораторий: OpenAI и Anthropic - это публично известные цифры + публичные компании Ml-инфраструктуры уже превзошли весь доход от публичных SaaS-компаний в 2024 году
Об этом ранее говорили и a16Z
Большую часть этого роста обеспечивает доход Nvidia от дата-центров - продажа чипов для Ml
По новым доходам Ml-сектор почти удваивает показатели публичных SaaS-компаний в этом году
Более 100 публичных SaaS-компаний пока не видят роста доходов от своих Ml-предложений
Спрос на Ml происходит там, где их нет
Происходит массовый переход от традиционного программного обеспечения как услуги (SaaS) к специализированным Ml-решениям
Деньги идут не к существующим софтверным гигантам, а к новым Ml-компаниям и производителям чипов
Об этом ранее говорили и a16Z
Большую часть этого роста обеспечивает доход Nvidia от дата-центров - продажа чипов для Ml
По новым доходам Ml-сектор почти удваивает показатели публичных SaaS-компаний в этом году
Более 100 публичных SaaS-компаний пока не видят роста доходов от своих Ml-предложений
Спрос на Ml происходит там, где их нет
Происходит массовый переход от традиционного программного обеспечения как услуги (SaaS) к специализированным Ml-решениям
Деньги идут не к существующим софтверным гигантам, а к новым Ml-компаниям и производителям чипов.-лабораторий: OpenAI и Anthropic - это публично известные цифры + публичные компании Ml-инфраструктуры уже превзошли весь доход от публичных SaaS-компаний в 2024 году
Об этом ранее говорили и a16Z
Большую часть этого роста обеспечивает доход Nvidia от дата-центров - продажа чипов для Ml
По новым доходам Ml-сектор почти удваивает показатели публичных SaaS-компаний в этом году
Более 100 публичных SaaS-компаний пока не видят роста доходов от своих Ml-предложений
Спрос на Ml происходит там, где их нет
Происходит массовый переход от традиционного программного обеспечения как услуги (SaaS) к специализированным Ml-решениям
Деньги идут не к существующим софтверным гигантам, а к новым Ml-компаниям и производителям чипов
Telegram
All about AI, Web 3.0, BCI
The revenue from just the AI Labs (publicly reported figures from OpenAI and Anthropic), along with the public AI infrastructure companies, has already eclipsed all public SaaS revenue in 2024 (Nvidia's datacenter revenue drives most of the growth).
It…
It…
Doomprompting: новая цифровая зависимость
Это как doomscrolling, только хуже
Бесконечное залипание в диалогах с Ml, когда вместо работы часами переписываешься с чат-ботом
Начинается с конкретной задачи — написать код или текст
Первые промпты обтекаемые и нечёткие
Но через полчаса — "продолжить", и Ml генерирует всё новые пустышки
Создается иллюзия продуктивности, хотя реальной работы не происходит
В отличие от doomscrolling в соцсетях, doomprompting опаснее
Ml постоянно предлагает: "Могу улучшить это", "Давайте попробуем иначе", "Хотите, добавлю деталей?"
Как «однорукий бандит», где вместо денег тратишь время и способность думать самостоятельно
Главную мысль, аргументацию, творческое ядро Ml создать не может
У него нет заинтересованности в результате
Тратится время на редактирование чужих мыслей вместо развития своих
Проблема глубже, чем кажется
Письмо — это форма мышления
Есть мысли, которые формируются только через письмо
Отдавая письмо Ml, вы отдаёте способность думать
Это как doomscrolling, только хуже
Бесконечное залипание в диалогах с Ml, когда вместо работы часами переписываешься с чат-ботом
Начинается с конкретной задачи — написать код или текст
Первые промпты обтекаемые и нечёткие
Но через полчаса — "продолжить", и Ml генерирует всё новые пустышки
Создается иллюзия продуктивности, хотя реальной работы не происходит
В отличие от doomscrolling в соцсетях, doomprompting опаснее
Ml постоянно предлагает: "Могу улучшить это", "Давайте попробуем иначе", "Хотите, добавлю деталей?"
Как «однорукий бандит», где вместо денег тратишь время и способность думать самостоятельно
Главную мысль, аргументацию, творческое ядро Ml создать не может
У него нет заинтересованности в результате
Тратится время на редактирование чужих мыслей вместо развития своих
Проблема глубже, чем кажется
Письмо — это форма мышления
Есть мысли, которые формируются только через письмо
Отдавая письмо Ml, вы отдаёте способность думать
Speed Always Wins: A Survey on Efficient Architectures for Large Language Models
https://arxiv.org/abs/2508.0983
https://github.com/weigao266/Awesome-Efficient-Arch
https://arxiviq.substack.com/p/speed-always-wins-a-survey-on-efficient
https://arxiv.org/abs/2508.0983
https://github.com/weigao266/Awesome-Efficient-Arch
https://arxiviq.substack.com/p/speed-always-wins-a-survey-on-efficient
arXiv.org
Proof of Hiding Conjecture in Gaussian Boson Sampling
Gaussian boson sampling (GBS) is a promising protocol for demonstrating quantum computational advantage. One of the key steps for proving classical hardness of GBS is the so-called ``hiding...
Теорема Ферма — одно из самых известных утверждений в истории математики
Ферма записал её на полях книги в XVII веке, добавив фразу о том, что у него есть «поистине чудесное доказательство», но места якобы не хватило, чтобы его привести
С тех пор эта задача мучила математиков более 350 лет
Лишь в 1995 году Эндрю Уайлс, развивая идеи из теории чисел и алгебраической геометрии, дал первое полное доказательство
Оно оказалось настолько сложным, что требовало знаний, выходящих далеко за пределы школьной программы
Авторы статьи — Алекс Цю, Таниш Сарати, Спенсер Никлин и Майкл Сан — попытались взглянуть на доказательство глазами старшеклассника, впервые сталкивающегося с этой темой
В своём обзоре они:
• собрали ключевые определения и утверждения, необходимые для понимания идеи доказательства
• кратко описали, как именно Уайлс смог доказать теорему
• показали, как математики после 1995 года сумели упростить отдельные шаги рассуждений
• составили хронологию событий и подготовили материалы для дальнейшего изучения
Ферма записал её на полях книги в XVII веке, добавив фразу о том, что у него есть «поистине чудесное доказательство», но места якобы не хватило, чтобы его привести
С тех пор эта задача мучила математиков более 350 лет
Лишь в 1995 году Эндрю Уайлс, развивая идеи из теории чисел и алгебраической геометрии, дал первое полное доказательство
Оно оказалось настолько сложным, что требовало знаний, выходящих далеко за пределы школьной программы
Авторы статьи — Алекс Цю, Таниш Сарати, Спенсер Никлин и Майкл Сан — попытались взглянуть на доказательство глазами старшеклассника, впервые сталкивающегося с этой темой
В своём обзоре они:
• собрали ключевые определения и утверждения, необходимые для понимания идеи доказательства
• кратко описали, как именно Уайлс смог доказать теорему
• показали, как математики после 1995 года сумели упростить отдельные шаги рассуждений
• составили хронологию событий и подготовили материалы для дальнейшего изучения
В 1970-х годах математик Джон Мэй заметил странность
Он изучал конечные группы — абстрактные объекты, описывающие симметрии
Группы могут быть очень сложными: представьте структуру с десятками, сотнями или тысячами элементов, где каждая «операция» взаимодействует с другой
Казалось бы, чтобы понять такую систему, нужно анализировать её целиком
Но Мэй увидел совпадение: в некоторых случаях достаточно изучить маленький кусочек группы — так называемый силов нормализатор
Это как если бы вы хотели понять устройство огромного механизма, но оказалось, что достаточно взглянуть на один маленький винтик
Более того, подсчёт ключевой характеристики — числа представлений группы (способов переписать её через матрицы) — давал один и тот же результат и для всей группы, и для её нормализатора
Мэй выдвинул гипотезу: так должно быть для всех конечных групп
Это было похоже на чудо
Один из его коллег сравнил её так: «Представьте, что результаты выборов во всей Америке в точности совпадают с результатами голосования в маленьком городке Монтаны»
Гипотеза Мэя быстро стала одной из самых интригующих загадок в теории групп
Математики десятилетиями проверяли её на частных случаях
В 1970-х Мартин Айзекс доказал утверждение для большого класса групп, но оставались бесконечно многие
Тогда внимание переключилось на другой гигантский проект — классификацию конечных простых групп
Этот проект длился более века, включил тысячи статей и усилия сотен учёных
В 2004 году классификация завершилась: оказалось, что все конечные простые группы принадлежат к трём большим семействам или входят в список из 26 «спорадических» исключений
Именно это дало шанс приблизиться к решению гипотезы Май
Айзекс, Наварро и Мюллер показали: достаточно проверить гипотезу только для этих «строительных блоков»
Большинство случаев удалось закрыть сравнительно быстро
Но остался один бастион — группы Ли
Группы Ли — это объекты, описывающие непрерывные симметрии (например, вращения)
Их представления чрезвычайно сложны
Чтобы доказать гипотезу Май для них, нужно было соединить теорию групп с алгебраической геометрией, теорией чисел и даже методами из других областей
Именно на этих группах математики застряли на десятилетия
В 2003 году в немецком Касселе аспирантка Бритта Шпайс впервые услышала о гипотезе Май
Она любила задачи «на выносливость» и решила попробовать
После защиты диссертации она продолжила работать с представлениями групп
В 2010 году судьба свела её в Париже с математиком Марком Кабаном, специалистом именно по группам Ли
Сначала он отмахивался: «Слишком сложно»
Но её увлечённость оказалась заразительной
Вскоре гипотеза стала их общей одержимостью — и делом жизни
К 2018 году оставался последний класс групп Ли
Но именно он оказался самым коварным
Шесть лет Шпайс и Кабан боролись с этим финальным барьером
В октябре 2023 года, спустя двадцать лет после того, как Бритта впервые услышала о гипотезе, пара объявила о полном доказательстве
Теперь математики могут изучать свойства огромных групп, опираясь на их силовы нормализаторы — гораздо более простые объекты
Это открывает новые пути в теории представлений и смежных областях
Он изучал конечные группы — абстрактные объекты, описывающие симметрии
Группы могут быть очень сложными: представьте структуру с десятками, сотнями или тысячами элементов, где каждая «операция» взаимодействует с другой
Казалось бы, чтобы понять такую систему, нужно анализировать её целиком
Но Мэй увидел совпадение: в некоторых случаях достаточно изучить маленький кусочек группы — так называемый силов нормализатор
Это как если бы вы хотели понять устройство огромного механизма, но оказалось, что достаточно взглянуть на один маленький винтик
Более того, подсчёт ключевой характеристики — числа представлений группы (способов переписать её через матрицы) — давал один и тот же результат и для всей группы, и для её нормализатора
Мэй выдвинул гипотезу: так должно быть для всех конечных групп
Это было похоже на чудо
Один из его коллег сравнил её так: «Представьте, что результаты выборов во всей Америке в точности совпадают с результатами голосования в маленьком городке Монтаны»
Гипотеза Мэя быстро стала одной из самых интригующих загадок в теории групп
Математики десятилетиями проверяли её на частных случаях
В 1970-х Мартин Айзекс доказал утверждение для большого класса групп, но оставались бесконечно многие
Тогда внимание переключилось на другой гигантский проект — классификацию конечных простых групп
Этот проект длился более века, включил тысячи статей и усилия сотен учёных
В 2004 году классификация завершилась: оказалось, что все конечные простые группы принадлежат к трём большим семействам или входят в список из 26 «спорадических» исключений
Именно это дало шанс приблизиться к решению гипотезы Май
Айзекс, Наварро и Мюллер показали: достаточно проверить гипотезу только для этих «строительных блоков»
Большинство случаев удалось закрыть сравнительно быстро
Но остался один бастион — группы Ли
Группы Ли — это объекты, описывающие непрерывные симметрии (например, вращения)
Их представления чрезвычайно сложны
Чтобы доказать гипотезу Май для них, нужно было соединить теорию групп с алгебраической геометрией, теорией чисел и даже методами из других областей
Именно на этих группах математики застряли на десятилетия
В 2003 году в немецком Касселе аспирантка Бритта Шпайс впервые услышала о гипотезе Май
Она любила задачи «на выносливость» и решила попробовать
После защиты диссертации она продолжила работать с представлениями групп
В 2010 году судьба свела её в Париже с математиком Марком Кабаном, специалистом именно по группам Ли
Сначала он отмахивался: «Слишком сложно»
Но её увлечённость оказалась заразительной
Вскоре гипотеза стала их общей одержимостью — и делом жизни
К 2018 году оставался последний класс групп Ли
Но именно он оказался самым коварным
Шесть лет Шпайс и Кабан боролись с этим финальным барьером
В октябре 2023 года, спустя двадцать лет после того, как Бритта впервые услышала о гипотезе, пара объявила о полном доказательстве
Теперь математики могут изучать свойства огромных групп, опираясь на их силовы нормализаторы — гораздо более простые объекты
Это открывает новые пути в теории представлений и смежных областях
Возможно, вы слышали о Теренсе Тао — одном из самых известных современных математиков
Будучи автором зубодробительных теорем, Тао ведёт вполне популярный персональный блог
Один пост из раздела «Карьерные советы»
Он будет полезен всем, кто учится или занимается математикой
Называется Ask yourself dumb questions and answer them — «Задавайте себе глупые вопросы и отвечайте на них»
Суть проста, но очень актуальна: не бойтесь выглядеть глупо
Ведь в науке «глупые» и тривиальные вопросы часто оказываются самыми умными:
• что будет, если убрать одно из условий теоремы?
• можно ли доказать то же самое другим способом?
• не получится ли более сильный результат?
• действительно ли этот термин здесь означает то же, что и в других контекстах?
Такие сомнения и поиск ответов помогают уловить скрытые смыслы и понять, как именно работает метод или доказательство
Также рекомендуем почитать другие его посты:
Изучайте и переосмысливайте свою область
Математика — это не только оценки, экзамены и методы
Математика — это нечто большее, чем просто строгость и доказательства
Пересказ последней статьи самим Тао в устной форме есть на канале Numberphile, который уже неоднократно упоминали
Пару месяцев назад Теренс Тао пришёл к знаменитому подкастеру Лексу Фридману
Они обсудили психологию решения сложных задач, отказ Перельмана от Филдсовской медали, сложнейшую математическую проблему современности, а также самого Теренса Тао и почему многие сравнивают его с Моцартом
Подкаст собрал уже более миллиона просмотров. Посмотреть видео можно здесь
Читать предыдущую рекомендацию
Будучи автором зубодробительных теорем, Тао ведёт вполне популярный персональный блог
Один пост из раздела «Карьерные советы»
Он будет полезен всем, кто учится или занимается математикой
Называется Ask yourself dumb questions and answer them — «Задавайте себе глупые вопросы и отвечайте на них»
Суть проста, но очень актуальна: не бойтесь выглядеть глупо
Ведь в науке «глупые» и тривиальные вопросы часто оказываются самыми умными:
• что будет, если убрать одно из условий теоремы?
• можно ли доказать то же самое другим способом?
• не получится ли более сильный результат?
• действительно ли этот термин здесь означает то же, что и в других контекстах?
Такие сомнения и поиск ответов помогают уловить скрытые смыслы и понять, как именно работает метод или доказательство
Также рекомендуем почитать другие его посты:
Изучайте и переосмысливайте свою область
Математика — это не только оценки, экзамены и методы
Математика — это нечто большее, чем просто строгость и доказательства
Пересказ последней статьи самим Тао в устной форме есть на канале Numberphile, который уже неоднократно упоминали
Пару месяцев назад Теренс Тао пришёл к знаменитому подкастеру Лексу Фридману
Они обсудили психологию решения сложных задач, отказ Перельмана от Филдсовской медали, сложнейшую математическую проблему современности, а также самого Теренса Тао и почему многие сравнивают его с Моцартом
Подкаст собрал уже более миллиона просмотров. Посмотреть видео можно здесь
Читать предыдущую рекомендацию
YouTube
The World's Best Mathematician (*) - Numberphile
(*) Among current mathematicians, many people regard Professor Terence Tao as the world's finest... Opinions on such things vary, of course.
Professor Tao kindly fielded some of our questions, including many submitted by Numberphile viewers.
EXTRA FOOTAGE:…
Professor Tao kindly fielded some of our questions, including many submitted by Numberphile viewers.
EXTRA FOOTAGE:…
В 1882 году турецкий математик Видинли Мехмед Паша опубликовал книгу по линейной алгебре, где представил собственную систему векторного исчисления
В отличие от привычного нам скалярного и векторного произведения, у него было три операции: s-product, v-product и m-product
Особенно любопытен v-product, который давал результат в виде не вектора или числа, а новой алгебраической сущности
Это резко отличало его систему от кватернионов Гамильтона и векторного анализа Гиббса
Ещё более интересно то, что работа Видинли была практически забыта и «переоткрыта» лишь в XXI веке, когда историки математики начали сравнивать его алгебру с современными структурами
По сути, он разработал оригинальный язык для работы с трёхмерными объектами — альтернативный путь развития, который математика в итоге не выбрала, но который показывает, насколько разнообразными могли быть основы линейной алгебры
"Перечитывая книгу по векторной алгебре XIX века"
В отличие от привычного нам скалярного и векторного произведения, у него было три операции: s-product, v-product и m-product
Особенно любопытен v-product, который давал результат в виде не вектора или числа, а новой алгебраической сущности
Это резко отличало его систему от кватернионов Гамильтона и векторного анализа Гиббса
Ещё более интересно то, что работа Видинли была практически забыта и «переоткрыта» лишь в XXI веке, когда историки математики начали сравнивать его алгебру с современными структурами
По сути, он разработал оригинальный язык для работы с трёхмерными объектами — альтернативный путь развития, который математика в итоге не выбрала, но который показывает, насколько разнообразными могли быть основы линейной алгебры
"Перечитывая книгу по векторной алгебре XIX века"
From Reasoning to Super-Intelligence: A Search-Theoretic Perspective
Новая парадигма обучения Ml "Diligent Learner" открывает путь к созданию масштабируемых и надежных рассуждающих систем, обучаемых на естественных неполных данных, что в итоге может привести к возникновению полноценных больших рассуждающих моделей (Large Reasoning Models, LRMs)
https://arxiv.org/abs/2507.15865
Новая парадигма обучения Ml "Diligent Learner" открывает путь к созданию масштабируемых и надежных рассуждающих систем, обучаемых на естественных неполных данных, что в итоге может привести к возникновению полноценных больших рассуждающих моделей (Large Reasoning Models, LRMs)
https://arxiv.org/abs/2507.15865
arXiv.org
From Reasoning to Super-Intelligence: A Search-Theoretic Perspective
Chain-of-Thought (CoT) reasoning has emerged as a powerful tool for enhancing the problem-solving capabilities of large language models (LLMs). However, the theoretical foundations of learning...
📕_Алгоритмы_Руководство_по_разработке_3_е_изд_2022_Скиена_Стивен.zip
107.9 MB
Алгоритм (лат. algorithmi — от имени среднеазиатского математика Аль-Хорезми) — конечная совокупность точно заданных правил решения некоторого класса задач или набор инструкций, описывающих порядок действий исполнителя для решения определённой задачи
В старой трактовке вместо слова «порядок» использовалось слово «последовательность», но по мере развития параллельности в работе компьютеров слово «последовательность» стали заменять более общим словом «порядок»
Независимые инструкции могут выполняться в произвольном порядке, параллельно, если это позволяют используемые исполнители
Книга является наиболее полным руководством по разработке эффективных алгоритмов
Первая часть книги содержит практические рекомендации по разработке алгоритмов: приводятся основные понятия, дается анализ алгоритмов, рассматриваются типы структур данных, основные алгоритмы сортировки, операции обхода графов и алгоритмы для работы со взвешенными графами, примеры использования комбинаторного поиска, эвристических методов и динамического программирования
Вторая часть книги содержит обширный список литературы и каталог из 75 наиболее распространенных алгоритмических задач, для которых перечислены существующие программные реализации
В третьем издании расширен набор рандомизированных алгоритмов, алгоритмов хеширования, аппроксимации и квантовых вычислений
Добавлено более 100 новых задач, даны ссылки к реализациям на C, C++ и Java. Книгу можно использовать в качестве справочника по алгоритмам для программистов, исследователей и в качестве учебного пособия для студентов соответствующих специальностей
Алгоритмы. Руководство по разработке. 3-е изд. [2022] Скиена Стивен С.
The Algorithm Design Manual [2020] Steven S. Skiena
2 книги по алгоритмам [RU+EN] популярных авторов [Томас Кормен, Чарльз Лейзерсон, Рональд Ривест, Клиффорд Штайн]
“Функции используются для наведения порядка в хаосе алгоритмов“ —
Бьярне Строуструп известный программист и информатик, создатель языка программирования
В старой трактовке вместо слова «порядок» использовалось слово «последовательность», но по мере развития параллельности в работе компьютеров слово «последовательность» стали заменять более общим словом «порядок»
Независимые инструкции могут выполняться в произвольном порядке, параллельно, если это позволяют используемые исполнители
Книга является наиболее полным руководством по разработке эффективных алгоритмов
Первая часть книги содержит практические рекомендации по разработке алгоритмов: приводятся основные понятия, дается анализ алгоритмов, рассматриваются типы структур данных, основные алгоритмы сортировки, операции обхода графов и алгоритмы для работы со взвешенными графами, примеры использования комбинаторного поиска, эвристических методов и динамического программирования
Вторая часть книги содержит обширный список литературы и каталог из 75 наиболее распространенных алгоритмических задач, для которых перечислены существующие программные реализации
В третьем издании расширен набор рандомизированных алгоритмов, алгоритмов хеширования, аппроксимации и квантовых вычислений
Добавлено более 100 новых задач, даны ссылки к реализациям на C, C++ и Java. Книгу можно использовать в качестве справочника по алгоритмам для программистов, исследователей и в качестве учебного пособия для студентов соответствующих специальностей
Алгоритмы. Руководство по разработке. 3-е изд. [2022] Скиена Стивен С.
The Algorithm Design Manual [2020] Steven S. Skiena
2 книги по алгоритмам [RU+EN] популярных авторов [Томас Кормен, Чарльз Лейзерсон, Рональд Ривест, Клиффорд Штайн]
“Функции используются для наведения порядка в хаосе алгоритмов“ —
Бьярне Строуструп известный программист и информатик, создатель языка программирования
Практически учебник про геометрическое глубокое обучение
Выглядит очень достойно
Вдруг вы хотели почитать что-то по матчасти на выходных или в остаток лета
Mathematical Foundations of Geometric Deep Learning
Authors: Haitz Sáez de Ocáriz Borde and Michael Bronstein
Paper: https://arxiv.org/abs/2508.02723
https://t.iss.one/gonzo_ML_podcasts/714
https://arxiviq.substack.com/p/mathematical-foundations-of-geometric
Выглядит очень достойно
Вдруг вы хотели почитать что-то по матчасти на выходных или в остаток лета
Mathematical Foundations of Geometric Deep Learning
Authors: Haitz Sáez de Ocáriz Borde and Michael Bronstein
Paper: https://arxiv.org/abs/2508.02723
https://t.iss.one/gonzo_ML_podcasts/714
https://arxiviq.substack.com/p/mathematical-foundations-of-geometric
arXiv.org
Mathematical Foundations of Geometric Deep Learning
We review the key mathematical concepts necessary for studying Geometric Deep Learning.
Mathematical Foundations of Geometric Deep Learning
Authors: Haitz Sáez de Ocáriz Borde and Michael Bronstein
https://arxiv.org/abs/2508.02723
https://arxiviq.substack.com/p/mathematical-foundations-of-geometric
Authors: Haitz Sáez de Ocáriz Borde and Michael Bronstein
https://arxiv.org/abs/2508.02723
https://arxiviq.substack.com/p/mathematical-foundations-of-geometric
arXiv.org
Mathematical Foundations of Geometric Deep Learning
We review the key mathematical concepts necessary for studying Geometric Deep Learning.
Ml можно вырастить как ребенка — в реальном хаосе мира.
Поворот в ML: учим модели на "мусорных" лайках вместо чистых оценок
Обучение Ml по человеческой обратной связи (RLHF) требует аккуратных, проверенных оценок людей-разметчиков
В реальности же платформы — от соцсетей до медиа и маркетплейсов, — не выдают чистых ярлыков “хорошо/плохо”: есть лишь шумные, смещённые сигналы (лайки, дочитывания, клики, покупки), зависящие от контекста и масштаба аудитории
Авторы нового метода обучения предлагают способ принять этот шум в работу, а не прятаться от него: учить модели на непроверенных, реальных сигналах (RLNVR), но при этом аккуратно вычищать системные перекосы и стабилизировать обучение
Коротко говоря:
Бери сырой, шумный и бестолковый мир как он есть, нормируй очевидные искажения, переноси сигнал по смысловому сходству и держи петлю обратной связи устойчивой
Звучит просто
Осталось понять следующее
1. Как это работает на практике (и почему это вообще возможно)?
Предельно кратко:
Берём реальные, пусть и шумные, реакции людей; приводим их к честной шкале; переносим опыт с лучших похожих случаев; и учим модель с простыми, но жёсткими «поручнями», чтобы она не читерила
Подробней здесь
2. Если получится, - что это будет значить для общества и для каждого из нас?
Предельно кратко:
Мир обратных связей заговорит громче
Сильно упростится обучение моделей и повысится «демократизация RL»
Но может восторжествовать «закон Гудхарта для»
Подробней здесь
3. Что в сухом остатке
Предельно кратко:
Предложен проект аккуратного инженерного моста между сложной и непростой жизнью и петлями машинного обучения Ml
Но мир еще сложнее, и многое тут зависит уже не от кода, а от нас
Подробней здесь
Поворот в ML: учим модели на "мусорных" лайках вместо чистых оценок
Обучение Ml по человеческой обратной связи (RLHF) требует аккуратных, проверенных оценок людей-разметчиков
В реальности же платформы — от соцсетей до медиа и маркетплейсов, — не выдают чистых ярлыков “хорошо/плохо”: есть лишь шумные, смещённые сигналы (лайки, дочитывания, клики, покупки), зависящие от контекста и масштаба аудитории
Авторы нового метода обучения предлагают способ принять этот шум в работу, а не прятаться от него: учить модели на непроверенных, реальных сигналах (RLNVR), но при этом аккуратно вычищать системные перекосы и стабилизировать обучение
Коротко говоря:
Бери сырой, шумный и бестолковый мир как он есть, нормируй очевидные искажения, переноси сигнал по смысловому сходству и держи петлю обратной связи устойчивой
Звучит просто
Осталось понять следующее
1. Как это работает на практике (и почему это вообще возможно)?
Предельно кратко:
Берём реальные, пусть и шумные, реакции людей; приводим их к честной шкале; переносим опыт с лучших похожих случаев; и учим модель с простыми, но жёсткими «поручнями», чтобы она не читерила
Подробней здесь
2. Если получится, - что это будет значить для общества и для каждого из нас?
Предельно кратко:
Мир обратных связей заговорит громче
Сильно упростится обучение моделей и повысится «демократизация RL»
Но может восторжествовать «закон Гудхарта для»
Подробней здесь
3. Что в сухом остатке
Предельно кратко:
Предложен проект аккуратного инженерного моста между сложной и непростой жизнью и петлями машинного обучения Ml
Но мир еще сложнее, и многое тут зависит уже не от кода, а от нас
Подробней здесь
Теорема Мардена — еще одна иллюстрация закона Стиглера, согласно которому открытия никогда не называются именами первооткрывателе
Даже сам Моррис Марден приписывал эту теорему Йоргу Сибеку
Даже сам Моррис Марден приписывал эту теорему Йоргу Сибеку
Wikipedia
Теорема Мардена
Теорема Мардена даёт геометрическую связь между нулями комплексного многочлена третьей степени и нулями его производной:
Портрет_исследователя_теории_когомологий_Дугина_DeepSeek.pdf
369.6 KB
Зачем нужен DeepSeek, но если связь совсем неправдоподобная — он начнёт её опровергать, а не галлюцинировать, и это не так интересно (а тут повезло)
Также попробуйте промты:
- Explain the meaning of the "fibration spectral sequence" concept in the philosophy of Jean-Paul Sartre
- On page 235 of Friedrich Nietzsche's book Beyond Good and Evil, there is a algebraic argument mentioned which refers, as an analogy, to the Fermat's Little Theorem
Can you please explain the underlying ideas?
Также попробуйте промты:
- Explain the meaning of the "fibration spectral sequence" concept in the philosophy of Jean-Paul Sartre
- On page 235 of Friedrich Nietzsche's book Beyond Good and Evil, there is a algebraic argument mentioned which refers, as an analogy, to the Fermat's Little Theorem
Can you please explain the underlying ideas?
25 августа, родился Гельмут Хассе (1898–1979) — один из крупнейших немецких алгебраистов XX века
Он был учеником Курта Генселя, создателя арифметики p-адических чисел, и именно в теории чисел Хассе сделал свои самые значимые открытия
Одним из них стал так называемый принцип Хассе–Минковского, или локально-глобальный принцип, который позволяет понять свойства квадратичных форм, исследуя их «по частям» — над всеми возможными локальными полями
Он также ввёл инварианты, ставшие ключевым инструментом в изучении алгебр и форм, и вместе с Эмилем Артином разработал конструкцию, получившую название экспоненты Артина–Хассе
Его интересы касались и более глубоких объектов — например, дзета-функций, которые позже легли в основу исследований Хассе–Вейля
Математики хорошо знают и «диаграмму Хассе» — удобный способ изображать частично упорядоченные множества, который сегодня встречается и в учебниках, и в исследованиях
С 1929 по 1979 год он был главным редактором одного из старейших и самых авторитетных математических журналов — Journal für die reine und angewandte Mathematik (журнала Крелля)
Через его руки прошли сотни статей, определявших развитие алгебры и теории чисел в XX веке
Среди его учеников были Петер Рокетте, Хайнрих-Вольфганг Леопольдт, Джахит Арф и многие другие, ставшие заметными фигурами в математике
Поддержка Хассе нацистского режима не позволила ему построить академическую карьеру после разгрома фашистской Германии
Тем не менее, как учёный он оказал огромное влияние на современную алгебру, и сегодня его имя продолжает жить в фундаментальных понятиях математики
Он был учеником Курта Генселя, создателя арифметики p-адических чисел, и именно в теории чисел Хассе сделал свои самые значимые открытия
Одним из них стал так называемый принцип Хассе–Минковского, или локально-глобальный принцип, который позволяет понять свойства квадратичных форм, исследуя их «по частям» — над всеми возможными локальными полями
Он также ввёл инварианты, ставшие ключевым инструментом в изучении алгебр и форм, и вместе с Эмилем Артином разработал конструкцию, получившую название экспоненты Артина–Хассе
Его интересы касались и более глубоких объектов — например, дзета-функций, которые позже легли в основу исследований Хассе–Вейля
Математики хорошо знают и «диаграмму Хассе» — удобный способ изображать частично упорядоченные множества, который сегодня встречается и в учебниках, и в исследованиях
С 1929 по 1979 год он был главным редактором одного из старейших и самых авторитетных математических журналов — Journal für die reine und angewandte Mathematik (журнала Крелля)
Через его руки прошли сотни статей, определявших развитие алгебры и теории чисел в XX веке
Среди его учеников были Петер Рокетте, Хайнрих-Вольфганг Леопольдт, Джахит Арф и многие другие, ставшие заметными фигурами в математике
Поддержка Хассе нацистского режима не позволила ему построить академическую карьеру после разгрома фашистской Германии
Тем не менее, как учёный он оказал огромное влияние на современную алгебру, и сегодня его имя продолжает жить в фундаментальных понятиях математики
От мини-курса Л.Д. Беклемишева про модели арифметики и комбинаторные независимые утверждения на ЛШСМ-2025 доступны не только видеозаписи, но и подробные записки «Теорема Канамори–Макалуна и её независимость от аксиом формальной арифметики»:
https://www.mathnet.ru/rus/present46936
https://mccme.ru/dubna/2025/notes/beklemishev-notes.pdf
«Первая теорема Гёделя о неполноте говорит о том, что для любой достаточно богатой непротиворечивой теории T с эффективно распознаваемым множеством аксиом существуют арифметические предложения ϕ, не доказуемые и не опровержимые в T
(…)
Доказательство теоремы Гёделя также напоминает логический парадокс
На фоне этого математики высказывали предположение о том, что явление неполноты, открытое Гёделем, возможно не проявляется в реальной математической практике (…)
Математически естественные примеры независимых утверждений, такие как континуум-гипотеза или гипотеза Суслина, были вскоре обнаружены в теории множеств, дескриптивной теории функций, общей топологии, общей алгебре и других областях математики
Однако, все они касались бесконечных множеств (…)
Ситуация оставалась такой вплоть до конца 1970-х годов, когда были найдены естественные утверждения из области конечной комбинаторики (…)
Наиболее известный такой пример — теорема Дж. Париса и Л. Харрингтона, представляющая собой небольшую модификацию известной теоремы Рамсея
В дальнейшем А. Канамори и К. Макалун нашли родственное утверждение (…), которое даёт, в том числе, и более простой способ доказательства независимости теоремы Париса–Харрингтона
Настоящая серия лекций посвящена введению в теорию моделей формальной арифметики и доказательству этих результатов»
https://www.mathnet.ru/rus/present46936
https://mccme.ru/dubna/2025/notes/beklemishev-notes.pdf