Последнюю пару месяцев перед уходом из 🤓 я работала над статьей про новый оптимизатор на основе Muon - коллеги разрабатывали сам оптимизатор, а я анализировала, как он (а также оригинальный Muon и AdamW) влияют на геометрию весов и эмбеддингов. В какой-то момент я дошла до анализа числа обусловленности, которое равно отношению самого большого сингулярного числа матрицы W к самому маленькому (κ(W) = σ_max / σ_min) и показывает, насколько численно стабильными будут операции с этой матрицей. К моему удивлению оказалось, что вычислить эту штуку - задача нетривиальная, особенно на великих тензорных процессорах Ascend. Так что сейчас, пока коллеги доделывают статью, я поделюсь с вами парой откровений из области численных методов, которые совершила в процессе вычисления данного числа (откровениям лет по 50, просто я прогуливала численные методы в универе и поэтому узнала их только сейчас).

Первая проблема, с которой я столкнулась, заключалась в том, что torch.linalg.svdvals не реализован на NPU, и при попытке вызвать эту функцию Асценды делают fallback на CPU, где китайские рабочие считают сингулярные значения вручную за миску невкусного риса (иначе не могу объяснить такую низкую скорость). В попытке с ней бороться, я использовала стандартный трюк: посмотреть, какая сторона матрицы W меньше, и, в зависимости от этого, быстренько умножить на NPU либо Wᵀ на W, либо W на Wᵀ (выбор надо делать в такую сторону, чтобы полученная квадратная матрица вышла как можно меньшего размера). После этого можно посчитать собственные значения полученной маленькой квадратной матрицы на CPU (благодаря маленькому размеру, считаться это будет быстрее, чем SVD оригинальной матрицы) и взять из этих значений корешки - это и будут сингулярные числа исходной W.

Но тут встает вторая проблема: WᵀW возводит число обусловленности в квадрат: κ(WᵀW) = κ(W)², и из-за последующей необходимости извлекать корень численный пол (граница, ниже которой всё слипается в неразличимый вычислительный мусор) на мелких сингулярных значениях поднимается с eps·σ_max до √eps·σ_max. Разница для fp32 - примерно три порядка точности. Все сингулярные значения, которые ниже этого порога, при подсчёте через квадратную матрицу превращаются в шум. Про то, почему так получается (а также почему вообще собственные числа WᵀW - это сингулярные числа W в квадрате) хорошо написано в начале этого поста: https://www.ethanepperly.com/index.php/2021/03/18/the-better-way-to-convert-an-svd-into-a-symmetric-eigenvalue-problem/ .

Но даже если избавиться от подсчета через квадратную матрицу и вернуться к torch.linalg.svdvals, встанет новый вопрос. Насколько я смогла постичь логику умных дядь из LAPACK Users' Guide ( https://www.netlib.org/lapack/lug/node97.html ), сингулярные значения меньшие, чем tol = σ_max · max(m, n) · eps (где eps - ограничение fp32/fp16/bf16), неотличимы от нуля - их с тем же успехом могла породить ошибка округления самой матрицы. То есть, если σ_min ниже tol, то κ для такой матрицы вообще не определено.

Но делать было нечего - пришлось вернуться к torch.linalg.svdvals на CPU, подождать всего лишь сто лет... и соснуть бибу, потому что хоть формально маленькие сигмы и превышали tol, по факту все равно были к этому tol довольно близки, и от этого много весовых матриц оказывались почти вырожденными. В результате, мы признали число обусловленности недостаточно информативным для своего ресерча и решили в статью не вставлять. Но это был еще не конец истории...

#наука #о_себе

Карьерное обновление: сегодня начинаю работу в 💳 в роли так называемого Senior NLP Researcher в управлении экспериментальных систем машинного обучения 😌

Пока что просто сижу на стуле и жду, когда выдадут ноутбук, держу в курсе 😌

#о_себе