0:00
[МУЗЫКА]
[МУЗЫКА]
[МУЗЫКА] Итак, для симметричной
матрицы мы получили представление в виде произведения трех матриц.
По бокам стоят ортогональные матрицы.
Фактически одна и та же ортогональная матрица,
только в одном случае транспонированная.
В центре стоит диагональная матрица.
Зададимся чисто теоретическим вопросом: можно ли аналогичное
представление получить для несимметричной матрицы?
Более того, для неквадратной матрицы?
Ответ на этот пока что чисто теоретический вопрос уже сталкивается
с проблемами на первом шагу, потому что для неквадратных
матриц не определяется понятие собственного числа и собственного вектора.
Но тем не менее оказывается,
что представление разложения в виде произведения,
аналогичное тому, которое было получено для симметричной матрицы,
можно выписать и для неквадратной матрицы.
Просто сначала приведу окончательный результат.
Итак, произвольная матрица A может быть представлена в
виде произведения трех матриц.
V и W, стоящие по краям, являются ортогональными матрицами.
Матрица, которая стоит посередине,
часто очень обозначается так же, как и сумма — знаком Σ.
Так вот, она имеет тот же самый порядок, что и матрица A.
То есть, вообще говоря, неквадратная.
Но ее можно назвать диагональной матрицей.
В каком смысле?
В том, что у нее практически все ее элементы нулевые, кроме тех,
которые стоят на диагонали, идущей из левого верхнего угла матрицы.
Эти диагональные элементы тоже традиционно называются Σ.
Те из них, которые являются нулевыми,
называются сингулярными числами матрицы A.
А то разложение матрицы, которое мы прокомментировали,
называется сингулярным разложением матрицы —
Singular Value Decomposition.
Схематично в виде таких блоков оно изображено на следующем слайде.
И здесь, как я сказал,
сингулярные числа матрицы A не являются собственными числами матрицы,
но они являются собственными числами другой матрицы —
A транспонированная на A или A на A транспонированная.
Любая из этих двух матриц будет квадратной.
То есть мы свели случай неквадратной матрицы к случаю
квадратной матрицы за счет введения некой вспомогательной матрицы A на
A транспонированная или, фактически то же самое, A транспонированная на A.
Вообще говоря, эти две матрица различны, у них разные порядки,
но наборы ненулевых собственных чисел у них одинаковы.
Тат вот, сингулярное число матрицы A — это корень
квадратный из собственного числа матрицы A на A транспонированная.
Оказывается, что эти собственные ненулевые числа являются все еще положительными.
Итак, снова характеристический полином для квадратной матрицы A на
A транспонированная,
и нас интересуют только ненулевые собственные числа.
Эти собственные числа положительны.
Их количество совпадает с рангом матрицы A.
Что касается элементов столбцов ортогональных матриц V и V
транспонированная, то они будут как раз собственными векторами.
Только в одном случае — собственными векторами матрицы A на A транспонированная
(это столбцы матрицы V), а в другом случае — собственными векторами матрицы
A транспонированная на A (это столбцы матрицы W).
А соответствующие сингулярные числа берутся одинаковыми.
Между собой эти столбцы (столбцы матриц V и W)
связаны линейным соотношением, которое указано на слайде.
Так вот, мы сейчас сделаем еще одно требование.
Давайте перенумеруем сингулярные числа матрицы A,
то есть нашей Σ, в порядке невозрастания —
можно сказать, убывания.
И наше сингулярное разложение матрицы A перепишем
из матричного вида в терминах столбцов матриц V и V транспонированная.
Итак, слева — произвольная матрица A,
справа — сумма матриц
с коэффициентами в виде сингулярных чисел.
Что за матрицы получились в правой части этого равенства?
Это матрицы ранга 1,
и их элементы оказываются очень небольшими.
Сумма квадратов элементов любой матрицы будет равна 1, то есть, по сути, не один
из элементов матрицы не превосходит 1, то есть они, вообще говоря, небольшие.
Но слева-то у нас стоит произвольная матрица A.
Она может быть со сколь угодно большими элементами.
За счет чего же ее элементы становятся большими,
если в правой части нашей матрицы — маленькие.
А вот только за счет сомножителей, сингулярных чисел.
И возникает гипотеза,
что в нашей сумме, стоящей в правой части,
можно ограничиться (хотя бы иногда) частичной суммой,
то есть отбросить часть слагаемых — те, которые соответствуют
маленьким сингулярным числам.
Итак, предположим, что нашу последовательность сингулярных чисел,
записанную опять-таки в порядке убывания, мы сумели разбить на два
подмножества: одни — большие, другие — маленькие.
И мы из полного сингулярного разложения оставляем только частичное — Ak,
ограничиваясь только первыми большими слагаемыми.
И возникает гипотеза,
что это приближение будет достаточно адекватно приближать матрицу A.
Теоретические результаты подтверждают это,
то есть ошибка приближения в евклидовой норме оценивается
через величины отбрасываемых сингулярных чисел.
Более того, оказывается, что матрица Ak является матрицей наилучшего (в смысле
евклидовой метрики) приближения матрицы A среди всех возможных матриц ранка k.
Итак, теоретический результат сформулирован так: в сингулярное
разложение любую матрицу можно разложить в произведение трех матриц.
Перед тем как перейти к приложениям этого теоретического результата,
мы должны, если по-честному, ответить на вопрос: а всегда
ли вот такое отбрасывание слагаемых в сингулярном разложении корректно,
всегда ли оно оправдано?
Иными словами, мы отрубаем хвост,
который становится тонким с некоторого места,
но этот хвост может оказаться достаточно длинным.
Итак, вопрос о том,
всегда ли такое отрубание можно произвести?
Почему это работает?
Всегда ли это работает?
И наконец, последний вопрос: откуда взялась сама матрица A на
A транспонированная относительно матрицы A?
В чем ее глубинный смысл?
Блеканов Иван Станиславовичдоцент
Севрюков Сергей Юрьевичстарший преподаватель
Просолупов Евгений Викторовичк.ф.-м.н., доцент
Коротков Павел Алексеевичстарший преподаватель
Мишенин Алексей Николаевичстарший преподаватель
Утешев Алексей Юрьевичпрофессор
Вольф Дмитрий Александровичассистент
Малютин Евгений Алексеевичассистент
Камалов Михаил ВалерьевичАспирант
