Рады видеть ваши ответы! Догадываемся, что наши музыкальные вкусы совпадают.

⠀
Решение вчерашней задачи:

▶️Найдём объём улучшенного нейросетью трека с голосом

количество каналов 2
время звучания 202 с
частота 48000 * 3 = 144000
битовая глубина 16 * 2 = 32 бита.
Всего: 2 * 202 * 144000 * 32 / 8 = 232704000 байт

Теперь добавим ещё столько же — это музыкальная дорожка. Итого на сам трек отводится
232704000 * 2 = 465408000 байт

▶️Найдём оставшийся свободным объём памяти
445 Мб * 1024 * 1024 - 465408000 = 1208320 байт

▶️Вычтем картинку
1208320 - 1152 * 1024 = 28672 байт

▶️Найдём число символов
28672 / 4 = 7168

⠀
Быстрый ответ для проверки: 7168

Задачу составила методист Яндекс Лицея Нелли специально для нашего канала. Накидайте ей сердечек, если понравился формат ❤️

#задача

Готовим для вас новую подборку книг на математике! Сегодняшнюю задачку взяли прямо оттуда. Кто догадается, что за книга?

⠀
📏 Условие

Круг можно разделить на семь частей с помощью трёх прямых линий.

⠀
❓Вопрос

Какое максимальное количество частей можно получить при делении круга с помощью семи прямых линий?

Решайте и показывайте результаты в комментариях под спойлером. А если справились, то вот ещё парочка несложных задач с окружностями: раз и два.

#задача

Что почитать, если любите
математику? 📚

Собрали на Яндекс Книгах
подборку с задачами,
головоломками и полезными
приёмами критического
мышления. Здесь есть и
классика отечественного
научпопа, и современные
разборы того, как цифры
помогают манипулировать
людьми.

*️⃣Для любителей задачек:

🎨🎨🎨«Загадки и диковинки
🎨🎨🎨в мире чисел»
🎨🎨🎨Яков Перельман

Классика отечественного
научпопа — Перельман сто с
лишним лет назад стал одним из
основоположников жанра
занимательной математики, и
его загадки про числа до сих пор
работают. Обязательный пункт
для тех, кто интересуется
историей популяризации науки
в России.

🎨🎨🎨«Стратегии решения
🎨🎨🎨математических задач»
🎨🎨🎨Альфред Позаментье,
Стивен Крулик

На первый взгляд это достаточно
рядовой сборник задач, но
изюминка его вот в чём: авторы
разбирают классические типы
задач и для каждой показывают
два разных пути решения —
ординарный и образцовый.
Предыдущая задача и решение,
кстати, именно из этого
сборника!

🎨🎨🎨«133 вопроса на
🎨🎨🎨знание логики,
🎨🎨🎨математики и физики»
Николай Полуэктов,
Павел Полуэктов

Сборник задач-головоломок на
сообразительность — то, что
можно решать вечером вместо
кроссворда. Логика, немного
физики, немного чистой
математики: авторы явно любят,
когда решение находится не
через формулу, а через щелчок
в голове.

*️⃣Для развития
критического мышления:

🎨🎨🎨«Как лгать при
🎨🎨🎨помощи статистики»
🎨🎨🎨Дарелл Хафф

Классика жанра — книга 1954
года, которая до сих пор не
устарела ни на йоту. Мы
писали о ней подробнее
здесь. Хафф на пальцах
показывает, как одни и те же
цифры превращаются в
убедительную ложь:
неудачная выборка,
обрезанный график, «средняя
температура по больнице».
После этой книги
критическое мышление уже
не даст так спокойно
смотреть на инфографику
в новостях.

🎨🎨🎨«Цифры врут. Как не
🎨🎨🎨дать статистике
🎨🎨🎨обмануть себя»
Том Чиверс, Дэвид Чиверс

Современное продолжение
разговора, начатого Хаффом,
— про то же самое, но с
поправкой на эпоху соцсетей
и статистики времён
пандемии. Авторы разбирают
конкретные громкие случаи,
когда журналисты (и учёные)
наступали на одни и те же
грабли, и объясняют, как
отличить надёжное
исследование от шумихи.

🎨🎨🎨«Числоголики»
🎨🎨🎨Микаэль Дален,
🎨🎨🎨Хельге Торбьёрнсен

И ещё одна книга о том, как
числа и статистика
используются и как ими
злоупотребляют в рекламе,
политике и повседневных
решениях. Авторы —
маркетолог и экономист —
показывают, как легко
манипулировать людьми с
помощью на первый взгляд
объективных цифр.

Книги, кстати, доступны в
аудиоформате — их читает
виртуальный рассказчик на
основе речевых технологий
Яндекса.

Если понравилась подборка —
ставьте ❤️. Соберём
продолжение!

#рекомендуем

Теорема, обесценивающая ИИ…
или нет? 👀

В математике есть теоремы, названия которых могут показаться шуткой: теорема о четырёх красках, теорема о причёсывании ежа, теорема о бесконечных обезьянах. К их числу относится и No Free Lunch Theorem — в буквальном переводе «бесплатных ланчей не бывает», а в более литературном — «бесплатный сыр бывает только в мышеловке».
⠀
За этим названием скрывается результат современной теории оптимизации и ML, о котором часто вспоминают, когда говорят о нейросетях и ИИ.
⠀
▶️Смысл теоремы примерно такой: если рассматривать все возможные задачи, то никакой алгоритм не может быть лучше любого другого.

На первый взгляд это звучит абсурдно. Неужели сложнейшие нейронные сети ничем не превосходят примитивные алгоритмы? Оказывается, всё зависит от того, какие задачи мы рассматриваем.
⠀

Представим себе две выборки данных. Первая напоминает прямую с небольшим шумом. Вторая выглядит как сложная волнообразная кривая. Где больше шума?

1️⃣
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀🔸
🔸⠀🔸
⠀⠀⠀___________________________
2️⃣
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸🔸
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀🔸
⠀⠀⠀🔸⠀⠀🔸⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀🔸
⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸
⠀
Большинство скажет, что первая задача проще второй: прямую легко описать уравнением вида y = ax + b, а извилистую волну придётся моделировать чем-то более сложным. Но так кажется лишь потому, что мы уже выбрали язык описания.

Если моделью служит линейная функция, первая выборка действительно оказывается простой. Но если модель — например, волновой пакет с единственным параметром (сдвигом по оси), картина меняется. Теперь вторая выборка описывается одним параметром.

Иными словами, простота задачи — не абсолютное свойство данных. Она зависит от того, какую модель мы заранее решили использовать.

⠀
⠀⠀⠀⠀История вопроса
⠀⠀⠀⠀⠀⠀⠀📚📚📚
⠀
В середине XVIII века философ Дэвид Юм сформулировал проблему индукции: можем ли мы логически обосновать перенос выводов из уже увиденного на то, чего мы ещё не видели?
⠀
Если все лебеди, которых мы встречали, были белыми, у нас нет логического основания утверждать, что и следующий лебедь окажется белым, — потому что прошлый опыт сам по себе не гарантирует будущего.
⠀
Та же логика лежит в основе No Free Lunch: без дополнительных предположений о мире ни один способ обучения на прошлых данных не имеет преимущества перед другим.

⠀⠀⠀⠀⠀⠀ ⬇️⬇️⬇️
⠀
Позже, в 1990-х, физик Дэвид Вольперт работал в Санта-Фе, где учёные годами пытались найти общий язык для описания сложности. Его интересовало, почему одни эвристики поиска работают на одних задачах прекрасно, а на других — из рук вон плохо, и можно ли вообще найти универсально хорошую стратегию поиска.

В 1997 году он опубликовал результат, который сегодня и называют No Free Lunch Theorem: если усреднить качество работы любых двух алгоритмов оптимизации по всему пространству возможных целевых функций, оказывается, что оно совпадает. Ни один метод не имеет преимущества перед другим — включая обычный случайный перебор.

⠀
Следствие теоремы выглядит парадоксально: если алгоритм работает исключительно хорошо на каком-то классе задач, обязательно найдётся другой класс задач, на котором тот же алгоритм будет работать исключительно плохо.
⠀
На этом месте многие делают неверный вывод: «Значит, бессмысленно создавать новые алгоритмы?». Совсем наоборот!

❗️Секрет в том, что реальный мир не состоит из математических задач. Мы не пытаемся распознавать произвольные функции — мы работаем с данными, имеющими реальную структуру. Поэтому поиск лучшего алгоритма — это не поиск самой мощной математической конструкции, а поиск правильных предположений о природе задачи.

Так что успех ИИ зависит не от универсальности алгоритма, а от того, насколько хорошо он учитывает устройство нашего мира. Будущему AGI достаточно работать не во всех мыслимых вселенных, а в нашей.

Накидайте Вольперту 🏆 за кликбейтную теорему. А нам ❤️, если хотите узнать, причём тут теория сложности и бритва Оккама.

#это_база

Почему нейросеть, которая распознаёт картинки, может провалиться на другой задаче? Вчера мы уже приблизились к догадке — всему виной опять математика. А точнее...

Теория сложности вычислений 👀

Это неожиданный сосед теоремы No Free Lunch. Возможно, вы слышали о проблеме равенства классов P и NP — одной из семи проблем тысячелетия. Она посвящена времени и памяти, которые требуются для решения вычислительных задач. Кстати, за её решение назначена премия в миллион долларов.

📃 В теории сложности есть понятие алгоритмического разрыва: он возникает, когда доказанная нижняя граница трудности задачи оказывается ниже, чем сложность лучшего известного алгоритма для неё.

Проще говоря, мы понимаем, что задача в теории не должна быть слишком сложной, но пока не знаем алгоритма, который решает её настолько же эффективно.

Это явление приближает учёных к ответу на вопрос, сколько ресурсов требует задача. Но нас интересует другая сторона: почему один и тот же алгоритм на похожих данных может вести себя по-разному.

Важна природа самой задачи. В ML это называют индуктивным смещением или априорными предположениями. Например:

▶️линейная регрессия предполагает, что зависимости близки к линейным
▶️деревья решений — что пространство признаков можно эффективно разделить последовательностью простых правил
▶️нейронные сети — что сложные зависимости представимы как композиция множества сравнительно простых преобразований

⠀⠀⠀Пример со свёрточными
⠀⠀⠀⠀ нейронными сетями
⠀⠀⠀⠀⠀⠀⠀⠀⠀ (CNN)

Механизм их работы довольно прост — мы изобразили его на карточке. Объясним, что происходит.

Представьте фотографию чашки. Если чашка находится в левом верхнем углу изображения, мы всё равно её узнаём. Если она окажется в центре кадра или справа, ничего не изменится: это та же чашка. Для человека это очевидно, для алгоритма — нет.

Обычная полносвязная сеть рассматривает каждый пиксель независимо: перемещение объекта по изображению меняет набор входных данных.

Свёрточная сеть устроена иначе: в неё заранее встроено предположение, что один и тот же объект должен распознаваться независимо от положения. Это свойство называют трансляционной инвариантностью.

*️⃣Важная деталь: это предположение не следует из данных. Оно заранее заложено разработчиками в архитектуру сети. Именно благодаря этому ограничению CNN работают значительно лучше универсальных полносвязных сетей на изображениях.

То есть мы снова сталкиваемся с парадоксом: сила алгоритма рождается не из универсальности, а из его «предубеждений». Чем больше алгоритм знает о структуре решаемой задачи, тем лучше он работает именно на этом классе задач — и тем хуже справляется с задачами, нарушающими эти предположения.

Эта идея выходит далеко за пределы компьютерного зрения:

▶️рекуррентные сети используют то, что данные образуют последовательности
▶️трансформеры предполагают, что элементы последовательности взаимодействуют друг с другом независимо от расстояния между ними
▶️графовые нейронные сети учитывают связи между объектами
▶️Physics-Informed Neural Networks (PINNs) напрямую встраивают в обучение известные физические законы

Во всех случаях происходит одно и то же: разработчики сознательно жертвуют универсальностью ради эффективности на интересующем их классе задач.

*️⃣Важно не путать это с теоремой об универсальной аппроксимации.

Часто можно услышать: «Нейронная сеть может выучить любую функцию». Это не совсем так. Теорема об универсальной аппроксимации утверждает лишь, что сеть достаточного размера способна представить практически любую непрерывную функцию с нужной точностью.

Но способность выразить решение и способность эффективно его обнаружить — совершенно разные вещи.

Но если под каждую задачу нужны свои предположения, почему современные большие модели выглядят всё более универсальными?

Накидайте 🔥, если интересно, и мы раскроем ответ в следующем посте. А от читателей, работающих с нейросетями, ждём догадки в комментах!

#как_устроено

Удерживаем ваше внимание, как можем, чтобы ответить на вчерашний вопрос и закрыть тему No Free Lunch...

⚡️Если теорема говорит, что универсального алгоритма не существует, почему современные нейросети всё чаще выглядят универсальными

Здесь стоит сделать важную оговорку. Сама теорема No Free Lunch требует усреднения по всем мыслимым задачам, взятым с равной вероятностью. Но что такое «случайно выбранная из всех возможных» задача?

✅ Тут нам пригодится понятие колмогоровской сложности

Если измерять сложность данных через колмогоровскую сложность — длину самой короткой программы, способной их породить, — то почти любой случайно сгенерированный набор данных окажется максимально сложным, несжимаемым шумом.

Реальные же задачи, с которыми работают люди и алгоритмы, — изображения, тексты, звук — как правило, прекрасно сжимаются, то есть обладают низкой колмогоровской сложностью.

Формально теорема остаётся верна для всего пространства задач, но интересующий нас угол этого пространства — крошечная и совсем не типичная его часть.

В 2023–2024 годах исследователи показали, что нейронные сети — причём даже необученные, со случайной инициализацией — охотнее «производят» простые, сжимаемые последовательности. Более того, архитектура, спроектированная под одну область (например, компьютерное зрение), неожиданно хорошо сжимает данные из совсем других, на первый взгляд не связанных с ней областей.

Это, по мнению авторов, отчасти объясняет происходящее сейчас в глубоком обучении: движение не в сторону зоопарка узкоспециализированных моделей, а в сторону всё более крупных и универсальных архитектур, построенных на всё меньшем числе принципов.

✅ У этой мысли есть старый философский родственник — бритва Оккама

В 2011 году Тор Латтимор и Маркус Хаттер поставили вопрос прямо: если No Free Lunch утверждает, что нельзя обойтись без знания конкретной предметной области, то как тогда вообще работает принцип «из двух объяснений выбирай более простое»? Ведь бритва Оккама претендует именно на универсальность — она не привязана к какой-то одной задаче.

Их ответ: строгая версия теоремы верна лишь тогда, когда все мыслимые задачи (включая бесструктурный шум) считаются равновероятными.

Но стоит принять в качестве предположения о мире саму идею простоты — формализованную как универсальное априорное распределение в духе индукции Соломонова, где более «сжимаемые», просто устроенные гипотезы заранее считаются более вероятными, — и парадокс снимается.

Авторы показали, что алгоритм, основанный на таком единственном предположении (простота предпочтительнее сложности), способен успешно работать на любых структурированных, то есть сжимаемых, задачах, не требуя под каждую из них отдельной, специально скроенной модели.

Иначе говоря, бритва Оккама — это не эвристика в обход No Free Lunch, а минимально необходимый «бесплатный ланч»: единственное предположение, которое стоит сделать, если вы заранее не знаете, какая перед вами задача, но подозреваете, что она не абсолютно случайна.

Именно это предположение — пусть и в неявном виде — зашито в устройство современных нейросетей.

🕊 — если вы тоже привыкли не усложнять

#как_устроено

Какой вы тип математика?

❤️ — ноль сомнений в своём деле
🤔 — а вдруг я ушёл не туда?

Поддерживайте равновесие реакциями, а мы пока приведём пример — пару противоположных типажей математиков:

Годфри Харди и Норберт Винер

Харди был одним из главных британских математиков XX века. Он занимался теорией чисел, рядами, дзета-функцией Римана и распределением простых чисел. Вместе с Джоном Литлвудом много лет работал над задачами аналитической теории чисел, а ещё именно Харди разглядел гений Сринивасы Рамануджана.

Харди хорошо известен как защитник математики «ради самой математики». В «Апологии математика» он писал о красоте математических идей как о красоте стихотворения или картины. Для него хорошая математика не обязана сразу чинить мосты, считать прибыль или запускать ракеты. Она может быть ценной просто потому, что в ней есть глубина и неожиданный ход мысли.

Ирония в том, что даже у Харди нашлось прикладное наследие. Например, закон Харди — Вайнберга теперь используют в популяционной генетике: он помогает описывать, как в большой популяции сохраняются частоты генов при определённых условиях.

Винер был другим типом математика. Он поступил в колледж в 11 лет, получил докторскую степень в Гарварде в 18, учился у Бертрана Рассела, Давида Гильберта и, кстати, у самого Харди. Его работы связывали вероятность, броуновское движение, гармонический анализ, преобразование Фурье, теорию связи и инженерные задачи.

Позже Винер стал одним из основателей кибернетики — науки об управлении и связи в машинах, организмах и обществах. Слова «обратная связь», «информация», «контроль» в современном технологическом смысле берут начало из этого круга идей.

Но важен не только масштаб его работ. Винер постоянно сомневался: в себе, в ценности текущей работы, в том, туда ли движется наука. Математик Морис Фреше вспоминал, что во время совместной работы Винер всё время спрашивал: «А стоит ли моя работа того? Не сдаю ли я позиции?»

У этого сомнения была и другая сторона. После Второй мировой войны Винер отказался участвовать в военных исследованиях и писать о работах, которые могли усилить оружие. Для него вопрос «а не туда ли мы идём?» был не только математическим, но и человеческим.

В чём же разность этих типажей?

▶️Харди говорит: чтобы сделать что-то большое, нужно заранее признать свой предмет значительным. Не ждать, пока кто-то со стороны разрешит считать задачу важной. Не извиняться за то, что тратишь силы на абстрактную идею.

▶️Винер напоминает: даже математик, который меняет язык науки, может сомневаться, туда ли он идёт.

Мы согласимся сразу с обоими. Настоящая математика начинается там, где человек достаточно уверен, чтобы продолжать, и достаточно честен, чтобы спросить себя: «А это правда работает?»

Этим сюжетом про математическую нескромность мы вдохновились в канале «Воспоминания математиков». Там можно найти много таких живых эпизодов из истории математики: не только про теоремы, но и про людей, их характеры, сомнения и странные привычки.

Очень рекомендуем — подписывайтесь!

#это_база

Это мы пишем трактат пост о четвёртом измерении ⬆️

Надеемся, вы соскучились по лонгридам!

#меммат