Все мы помним что такое векторное произведение... Им как раз описывается сила Лоренца, которая действует на частицу, летящую в магнитном поле... Если взять правую руку и пальцами указать куда летит частица, развернуть ладонь чтобы силовые линии поля в нее входили, то большой палец, перпендикулярный скорости и силовым линиям как раз и будет указывать направление силы Лоренца...
Но не все знают, что векторное произведение возможно только в пространстве R^0, R^1, R^3, R^7.
Аналогично, как и гиперкомплексные числа могут быть только размерности 1+1 (обычные Комплексные числа), 1+3 (Кватернионы) и 1+7 (Октанионы).
https://habr.com/ru/articles/941000/
Но не все знают, что векторное произведение возможно только в пространстве R^0, R^1, R^3, R^7.
Аналогично, как и гиперкомплексные числа могут быть только размерности 1+1 (обычные Комплексные числа), 1+3 (Кватернионы) и 1+7 (Октанионы).
https://habr.com/ru/articles/941000/
Хабр
Почему векторное произведение существует только в R^0, R^1, R^3, R^7?
Чаще всего с векторным произведением мы знакомимся в курсе аналитической геометрии, где мы редко выходим в задачах за размерность три, поэтому может складываться впечатление, что векторное...
👍2
Довольно интересная статья, в которой рассматривается финансовый крах доткомов (1995-2000), это крах рынка стремительно растущих в то время интернет компаний. Проводятся параллели с сегодняшней ситуацией на рынке криптовалют и систем искусственного интеллекта. Кому лень читать есть видео.
https://habr.com/ru/articles/964548/
https://habr.com/ru/articles/964548/
Хабр
Пузырь доткомов (1995-2000) очень похож на пузырь криптовалюты и Искусственного интеллекта
9 августа 1995 года компания Netscape вышла на биржу и выпустила акции в свободную торговлю. С этого момента начал формироваться интернет-пузырь, он же пузырь доткомов, который лопнул в 2000 году....
👍1🎉1
Придумал новый подход изложения математики для инженеров
Главный принцип - как можно меньше запоминать. Короткие простые для запоминания, но сложные в доказательстве утверждения принимаются за исходные, все остальное выводится из них очень просто.
Приведу пример из линейной алгебры, курс который обычно излагается на более чем 200 страницах и содержит, порой, огромные по размеру доказательства на нескольких страницах, которые сложно понять и запомнить.
Берём за основу три утверждения:
1. Определение детерминанта через формулу Лейбница, это та которая сумма произведений элементов из каждой строки со знаком, зависящим от числа перестановок.
2. Определение детерминанта через разложение Лапласа - на основе алгебраических дополнений элементов строки или столбца.
3. Определение детерминанта, как ориентированный гиперобъем параллелотопа (со знаком), построенного на векторах из столбцов или строк матрицы.
Доказательство, что эти три определения эквивалентны занимает очень много страниц и достаточно тяжело для изучения, но сами эти определения легко запомнить.
Если их принять за исходные, то дальше весь курс линейной алгебры умещается в 30 страниц, с очевидными доказательствами максимум на 3 строчки.
Например, что будет с определителем, если две строки одинаковы? Очевидно, что фигура построенная на таких векторах будет иметь нулевую толщину по одному из направлений, соответственно нулевой объем и определитель будет равен нулю.
P.S. Видимо, лучше исходных утверждений всё-таки сделать чуть больше, например, можно добавить мультипликативность определителя, там тоже доказательство большое.
Главный принцип - как можно меньше запоминать. Короткие простые для запоминания, но сложные в доказательстве утверждения принимаются за исходные, все остальное выводится из них очень просто.
Приведу пример из линейной алгебры, курс который обычно излагается на более чем 200 страницах и содержит, порой, огромные по размеру доказательства на нескольких страницах, которые сложно понять и запомнить.
Берём за основу три утверждения:
1. Определение детерминанта через формулу Лейбница, это та которая сумма произведений элементов из каждой строки со знаком, зависящим от числа перестановок.
2. Определение детерминанта через разложение Лапласа - на основе алгебраических дополнений элементов строки или столбца.
3. Определение детерминанта, как ориентированный гиперобъем параллелотопа (со знаком), построенного на векторах из столбцов или строк матрицы.
Доказательство, что эти три определения эквивалентны занимает очень много страниц и достаточно тяжело для изучения, но сами эти определения легко запомнить.
Если их принять за исходные, то дальше весь курс линейной алгебры умещается в 30 страниц, с очевидными доказательствами максимум на 3 строчки.
Например, что будет с определителем, если две строки одинаковы? Очевидно, что фигура построенная на таких векторах будет иметь нулевую толщину по одному из направлений, соответственно нулевой объем и определитель будет равен нулю.
P.S. Видимо, лучше исходных утверждений всё-таки сделать чуть больше, например, можно добавить мультипликативность определителя, там тоже доказательство большое.
🤔3👍1🔥1
С момента появления искусственных нейросетей их пытаются приспособить для игры на бирже, у меня есть пара книжек ещё 90-х годов, где рассматривается такая тема.
Пройти мимо больших языковых моделей, чтобы не попробовать их в инвестировании было просто нельзя... С предсказуемым результатом, конечно... В статье табун из больших языковых моделей пытается обыграть рынок...
https://habr.com/ru/news/971670/
Пройти мимо больших языковых моделей, чтобы не попробовать их в инвестировании было просто нельзя... С предсказуемым результатом, конечно... В статье табун из больших языковых моделей пытается обыграть рынок...
https://habr.com/ru/news/971670/
Хабр
GPT-5.1, DeepSeek и другие ИИ ушли в минус торгуя акциями за реальные деньги
20 ноября стартовал сезон 1.5 бенчмарка Alpha Arena , в котором восемь языковых моделей получили по 10 000 долларов и начали автономно торговать акциями США: без ручного вмешательства им нужно...
😁4🤷1
Существует не менее 50 вариантов доказательства теоремы Пифагора. Кому-то нравятся одни, кому-то нравятся другие.
Помню, что меня приятно удивило "доказательство Эйнштейна", по легенде его придумал в детстве Эйнштейн, но более детальное изучение показывает, что автор доказательства не он, все было известно ранее.
На мой взгляд, предпочтения в доказательствах можно объяснить разницей мозга и мышления разных людей, то что для одного наглядно и просто, то для другого сложно и запутано.
В приведенной статье автор делает методологическую ошибку, он доказательство, которое понравилось ему, считает наиболее понятным и единственно оптимальным для обучения. Не учитывая, что люди, например, с плохим пространственным воображением вообще его не поймут про эти зеркала, для них лучше алгебраические формулы писать...
https://habr.com/ru/articles/972262/
Помню, что меня приятно удивило "доказательство Эйнштейна", по легенде его придумал в детстве Эйнштейн, но более детальное изучение показывает, что автор доказательства не он, все было известно ранее.
На мой взгляд, предпочтения в доказательствах можно объяснить разницей мозга и мышления разных людей, то что для одного наглядно и просто, то для другого сложно и запутано.
В приведенной статье автор делает методологическую ошибку, он доказательство, которое понравилось ему, считает наиболее понятным и единственно оптимальным для обучения. Не учитывая, что люди, например, с плохим пространственным воображением вообще его не поймут про эти зеркала, для них лучше алгебраические формулы писать...
https://habr.com/ru/articles/972262/
Хабр
Теорема Пифагора: великий обман школьной программы. Как абстракция убила смысл
Все мы знаем эту формулу . Это, пожалуй, единственное знание из школьной геометрии, которое остается с человеком на всю жизнь, даже если он работает баристой или курьером. Но задавали ли вы себе...
🔥3🤔1💯1
Способности больших языковых моделей постоянно растут, но как? Закон уплотнения!
Была предложена метрика «плотность способностей» (capability density) для оценки эффективности больших языковых моделей (LLM). Она показывает, насколько хорошо модель использует свои параметры, то есть сколько качества решений (определяемого на бенчмарках - эталонных тестах) приходится на один параметр.
Метрика тестируется сразу на пяти популярных наборах задач:
MMLU — общие знания,
BBH — логическое рассуждение,
MATH — математика,
HumanEval и MBPP — программирование.
Оказалось, что максимальная плотность у открытых LLM растёт экспоненциально и удваивается каждые ~3,5 месяца.
Это утверждение по аналогии с законом Мура провозгласили тоже общим законом и назвали «закон уплотнения» (densing law). Таким образом, для решения одной и той же сложной задачи LLM каждые 3.5 месяца требуется в 2 раза меньше параметров.
Но если с законом Мура все просто: число транзисторов, которое можно разместить на кристалле интегральной схемы, удваивается каждые 18–24 месяца - мы можем однозначно измерить и время и число транзисторов, то с измерением «плотности способностей» есть проблемы.
Что не так с этой метрикой?
Бенчмарки (эталонные тесты) ограничены: они проверяют конкретные навыки (знания, логику, математику, код), но не весь спектр возможностей модели.
Фокус на узких задачах: например, MATH оценивает решение задач по школьной математике, но не проверяет креативность или способность к долгосрочному планированию.
И главное:
Риск утечек данных: многие тесты открыты, и часть их могла попасть в обучающие данные, что искажает результаты.
https://www.nature.com/articles/s42256-025-01137-0
Была предложена метрика «плотность способностей» (capability density) для оценки эффективности больших языковых моделей (LLM). Она показывает, насколько хорошо модель использует свои параметры, то есть сколько качества решений (определяемого на бенчмарках - эталонных тестах) приходится на один параметр.
Метрика тестируется сразу на пяти популярных наборах задач:
MMLU — общие знания,
BBH — логическое рассуждение,
MATH — математика,
HumanEval и MBPP — программирование.
Оказалось, что максимальная плотность у открытых LLM растёт экспоненциально и удваивается каждые ~3,5 месяца.
Это утверждение по аналогии с законом Мура провозгласили тоже общим законом и назвали «закон уплотнения» (densing law). Таким образом, для решения одной и той же сложной задачи LLM каждые 3.5 месяца требуется в 2 раза меньше параметров.
Но если с законом Мура все просто: число транзисторов, которое можно разместить на кристалле интегральной схемы, удваивается каждые 18–24 месяца - мы можем однозначно измерить и время и число транзисторов, то с измерением «плотности способностей» есть проблемы.
Что не так с этой метрикой?
Бенчмарки (эталонные тесты) ограничены: они проверяют конкретные навыки (знания, логику, математику, код), но не весь спектр возможностей модели.
Фокус на узких задачах: например, MATH оценивает решение задач по школьной математике, но не проверяет креативность или способность к долгосрочному планированию.
И главное:
Риск утечек данных: многие тесты открыты, и часть их могла попасть в обучающие данные, что искажает результаты.
https://www.nature.com/articles/s42256-025-01137-0
Nature
Densing law of LLMs
Nature Machine Intelligence - Xiao et al. introduce ‘capability density’, defined as capability per parameter, as a metric for evaluating large language models. They report an empirical...
🤔3
Системы с хаотическим поведением первого, второго и третьего порядка
Системы первого порядка
Пример: погода, климат, физические процессы.
Свойство: они хаотичны, но «безразличны» к прогнозам.
Если синоптик скажет, что завтра дождь, это никак не изменит траекторию облаков.
Математически: прогноз не входит в уравнения состояния.
Следствие: мы можем ошибаться в предсказании, но сама система не реагирует на факт предсказания.
Системы второго порядка
Пример: финансовые рынки, социальные системы, политика.
Свойство: прогнозы влияют на саму систему.
Если влиятельный аналитик (лидер общественного мнения) заявит, что акции упадут, часть игроков начнёт продавать, и падение действительно может произойти.
Математически: прогноз становится входным сигналом в системе, меняя её динамику.
Интересный парадокс
В системах первого порядка прогнозы — это просто внешние наблюдения.
В системах второго порядка прогнозы становятся самоисполняющимися или самоопровергающимися (сюда же "самоисполняющиеся пророчества").
Пример самоисполняющегося: слух о дефиците товара вызывает ажиотажный спрос, и дефицит действительно возникает.
Пример самоопровергающегося: прогноз кризиса заставляет власти принять меры, и кризис не наступает.
Но есть ещё системы третьего порядка.
Суть: участники начинают учитывать не просто будущее, а то, как другие будут реагировать на прогнозы будущего.
Пример:
На бирже аналитик говорит: «рынок упадёт».
Игроки думают: «раз он так сказал, другие начнут продавать».
Но часть игроков рассуждает дальше: «раз все думают, что будут продавать, я куплю заранее, чтобы потом выиграть».
В итоге система реагирует на ожидания о реакции на ожидания.
В социологии: это уровень «мета-ожиданий» — я думаю о том, что ты думаешь о том, что я думаю.
В теории игр: это соответствует многоуровневым рассуждениям («я знаю, что он знает, что я знаю…»).
Еще примеры
Политика: не только сами опросы, но и ожидания о том, как публика воспримет эти опросы. влияют на поведение
Социальные сети: хайп строится не на событии, а на ожидании реакции на событие.
Системы первого порядка
Пример: погода, климат, физические процессы.
Свойство: они хаотичны, но «безразличны» к прогнозам.
Если синоптик скажет, что завтра дождь, это никак не изменит траекторию облаков.
Математически: прогноз не входит в уравнения состояния.
Следствие: мы можем ошибаться в предсказании, но сама система не реагирует на факт предсказания.
Системы второго порядка
Пример: финансовые рынки, социальные системы, политика.
Свойство: прогнозы влияют на саму систему.
Если влиятельный аналитик (лидер общественного мнения) заявит, что акции упадут, часть игроков начнёт продавать, и падение действительно может произойти.
Математически: прогноз становится входным сигналом в системе, меняя её динамику.
Интересный парадокс
В системах первого порядка прогнозы — это просто внешние наблюдения.
В системах второго порядка прогнозы становятся самоисполняющимися или самоопровергающимися (сюда же "самоисполняющиеся пророчества").
Пример самоисполняющегося: слух о дефиците товара вызывает ажиотажный спрос, и дефицит действительно возникает.
Пример самоопровергающегося: прогноз кризиса заставляет власти принять меры, и кризис не наступает.
Но есть ещё системы третьего порядка.
Суть: участники начинают учитывать не просто будущее, а то, как другие будут реагировать на прогнозы будущего.
Пример:
На бирже аналитик говорит: «рынок упадёт».
Игроки думают: «раз он так сказал, другие начнут продавать».
Но часть игроков рассуждает дальше: «раз все думают, что будут продавать, я куплю заранее, чтобы потом выиграть».
В итоге система реагирует на ожидания о реакции на ожидания.
В социологии: это уровень «мета-ожиданий» — я думаю о том, что ты думаешь о том, что я думаю.
В теории игр: это соответствует многоуровневым рассуждениям («я знаю, что он знает, что я знаю…»).
Еще примеры
Политика: не только сами опросы, но и ожидания о том, как публика воспримет эти опросы. влияют на поведение
Социальные сети: хайп строится не на событии, а на ожидании реакции на событие.
❤3🤔3🔥1
Как Крамер догнал Гаусса
Как известно существует не очень много точных методов решения систем линейных уравнений вида Ax=b.
Наиболее известными методами являются:
Метод Гаусса и близкое к нему LU разложение, когда матрица системы приводится к верхне треугольному виду.
Метод Кремера на основе определителей: Xi=det(Ai)/det(A).
QR разложение, связанное с ортоганализацией, используется, обычно, в методе наименьших квадратов.
Метод Гаусса и QR разложение имеют при больших размерностях O(n^3) сложность, а метод Кремера, в котором необходимо находить n+1 определителей, рассчитываемых в свою очередь с помощью того же LU разложения Гаусса с O(n^3), в итоге имеет сложность O(n^4).
Таким образом, метод Кремера, это красивый аналитический метод, имеющий огромную ценность, но для численных решений больших систем слишком трудоемкий.
И вот, в 2010 году появился новый улучшенный метод Кремера, в котором все определители считаются параллельно, за счёт чего достигается сложность O(n^3) как и в методе Гаусса.
https://dl.acm.org/doi/10.1145/1878537.1878623
https://hal.science/hal-01500199/
Как известно существует не очень много точных методов решения систем линейных уравнений вида Ax=b.
Наиболее известными методами являются:
Метод Гаусса и близкое к нему LU разложение, когда матрица системы приводится к верхне треугольному виду.
Метод Кремера на основе определителей: Xi=det(Ai)/det(A).
QR разложение, связанное с ортоганализацией, используется, обычно, в методе наименьших квадратов.
Метод Гаусса и QR разложение имеют при больших размерностях O(n^3) сложность, а метод Кремера, в котором необходимо находить n+1 определителей, рассчитываемых в свою очередь с помощью того же LU разложения Гаусса с O(n^3), в итоге имеет сложность O(n^4).
Таким образом, метод Кремера, это красивый аналитический метод, имеющий огромную ценность, но для численных решений больших систем слишком трудоемкий.
И вот, в 2010 году появился новый улучшенный метод Кремера, в котором все определители считаются параллельно, за счёт чего достигается сложность O(n^3) как и в методе Гаусса.
https://dl.acm.org/doi/10.1145/1878537.1878623
https://hal.science/hal-01500199/
hal.science
A condensation-based application of Cramer's rule for solving large-scale linear systems
State-of-the-art software packages for solving large-scale linear systems are predominantly founded on Gaussian elimination techniques (e.g. LU-decomposition). This paper presents an efficient framework for solving large-scale linear systems by means of a…
🤔3🔥2👏1
Сегодня у меня специфический вопрос касающейся линейной алгебры, так как пытаюсь написать свой оригинальный букварь.
В главе про детерминанты матриц мы их сразу определяем:
1. Формулой Лейбница с перестановками.
2. Через разложение Лапласа, т.е. определители более низкого порядка.
3. Через объем параллелепипеда на векторах из столбцов или строк матрицы.
4. Как функцию от элементов квадратной матрицы, обладающую тремя фундаментальными свойствами: мультилинейность, асимметрия по строкам или столбцам, нормировка.
5. И вот тут бинго, есть пятое определение!!!
Определитель - это произведение собственных чисел матрицы.
Но вы спросите, а как найти собственные числа без определителя?
Оказывается можно: (A-גI)x=0, для этого уравнения с помощью теоремы Кронекера — Капелли ищем собственные числа ג, для которых имеются не нулевые решения x. А ранг матрицы для данной теоремы определяем или путем поиска линейно независимых строк и столбцов или с помощью метода Гаусса, приводя матрицу к ступенчатому виду и смотря сколько у нее ненулевых строк в результате получилось.
В главе про детерминанты матриц мы их сразу определяем:
1. Формулой Лейбница с перестановками.
2. Через разложение Лапласа, т.е. определители более низкого порядка.
3. Через объем параллелепипеда на векторах из столбцов или строк матрицы.
4. Как функцию от элементов квадратной матрицы, обладающую тремя фундаментальными свойствами: мультилинейность, асимметрия по строкам или столбцам, нормировка.
5. И вот тут бинго, есть пятое определение!!!
Определитель - это произведение собственных чисел матрицы.
Но вы спросите, а как найти собственные числа без определителя?
Оказывается можно: (A-גI)x=0, для этого уравнения с помощью теоремы Кронекера — Капелли ищем собственные числа ג, для которых имеются не нулевые решения x. А ранг матрицы для данной теоремы определяем или путем поиска линейно независимых строк и столбцов или с помощью метода Гаусса, приводя матрицу к ступенчатому виду и смотря сколько у нее ненулевых строк в результате получилось.
🤔4
OpenRouter подготовило обширное исследование: как реально используют LLM
Основные сценарии использования LLM:
Ролевые игры (Roleplay... И это не то что вы подумали!) — около 30–35% всего трафика. Это крупнейший сегмент: пользователи активно используют модели для диалогов, симуляций персонажей, креативных историй.
Программирование (Coding) — примерно 25–30%. Генерация кода, помощь в отладке, объяснение алгоритмов. Особенно популярны модели среднего размера (15–70B).
Общая генерация текста (General writing) — около 15–20%. Сюда входят эссе, статьи, письма, резюме, креативные тексты.
Образование и объяснения (Education / Q&A) — примерно 10–15%. Ответы на вопросы, объяснение теории, помощь в учёбе.
Анализ данных / утилитарные задачи — около 5–10%. Таблицы, преобразования текста, структурирование информации.
https://openrouter.ai/state-of-ai
На русском https://habr.com/ru/news/975226/
Основные сценарии использования LLM:
Ролевые игры (Roleplay... И это не то что вы подумали!) — около 30–35% всего трафика. Это крупнейший сегмент: пользователи активно используют модели для диалогов, симуляций персонажей, креативных историй.
Программирование (Coding) — примерно 25–30%. Генерация кода, помощь в отладке, объяснение алгоритмов. Особенно популярны модели среднего размера (15–70B).
Общая генерация текста (General writing) — около 15–20%. Сюда входят эссе, статьи, письма, резюме, креативные тексты.
Образование и объяснения (Education / Q&A) — примерно 10–15%. Ответы на вопросы, объяснение теории, помощь в учёбе.
Анализ данных / утилитарные задачи — около 5–10%. Таблицы, преобразования текста, структурирование информации.
https://openrouter.ai/state-of-ai
На русском https://habr.com/ru/news/975226/
OpenRouter
State of AI | OpenRouter
An empirical study analyzing over 100 trillion tokens of real-world LLM interactions across tasks, geographies, and time.
🤔4
Долой детерминанты!
Всегда приятно когда в какой-то сфере ты не очень большой корифей, но предлагаешь новую идеи и оказывается, что да, есть признанные специалисты, которые думают так же.
Теория матриц для меня - это математический язык, который используется в анализе данных и теории управления, которыми я занимаюсь.
Решил я написать букварь про векторы, матрицы и тензоры для не математиков, а тех кто использует высшую алгебру.
Застрял на главе про детерминанты (определители), мне показалось, что можно построить изложение так, что детерминант возникнет после собственных чисел матрицы, мало того, сам детерминант может может быть определен как произведение ее собственных чисел...
И вот пожалуйста, статья крупного американского математика и специалиста в области линейной алгебры: "Долой детерминанты!", как раз про это!
https://www.axler.net/DwD.html
Всегда приятно когда в какой-то сфере ты не очень большой корифей, но предлагаешь новую идеи и оказывается, что да, есть признанные специалисты, которые думают так же.
Теория матриц для меня - это математический язык, который используется в анализе данных и теории управления, которыми я занимаюсь.
Решил я написать букварь про векторы, матрицы и тензоры для не математиков, а тех кто использует высшую алгебру.
Застрял на главе про детерминанты (определители), мне показалось, что можно построить изложение так, что детерминант возникнет после собственных чисел матрицы, мало того, сам детерминант может может быть определен как произведение ее собственных чисел...
И вот пожалуйста, статья крупного американского математика и специалиста в области линейной алгебры: "Долой детерминанты!", как раз про это!
https://www.axler.net/DwD.html
🔥3