[ЗВУКОВАЯ_ЗАСТАВКА] [ЗВУКОВАЯ_ЗАСТАВКА] Сегодня мы обсудим последнюю тему нашего курса лекции — «Метод наименьших квадратов». Мы решили много задач, классических задач линейной алгебры, научились находить решения классических задач, и сегодня, наконец, мы займемся задачей, которая не имеет решения. Как говорил профессор Кристобаль Хунта: бессмысленно искать решение задач, которые уже имеют решение. Вот мы как раз сегодня попробуем искать решение задачи, которая не имеет решения. Простой пример: посмотрите, перед нами данные, эти данные, ну, двумерный массив данных, у нас для каждого значения x есть какое-то значение y, какая-то зависимость. Мы ничего не знаем про саму зависимость, просто такие пары данных — точки с координатами xn-ное, yn-ное. Мы видим, что эти данные близки к какой-то линейной зависимости, но кажется, что они лежат вдоль какой-то прямой. Итак, задача: найти прямую, на которой как бы лежат эти точки, линейную зависимость, которая удовлетворяет эти пары точек. Конечно, это не проблема Бен Бецалеля, но тем не менее эта задача не имеет решения. Конечно, эти точки не лежат на одной прямой. Мы не можем найти прямую, на которой лежат все эти точки. Через каждые две точки можно провести одну прямую, а через все эти точки никакая прямая совершенно точно не проходит. Тем не менее нам придется решать эту задачу. Тем не менее в жизни такие задачи решать приходится. Есть какие-то данные, которые получены из наблюдений, получены из жизни, есть какие-то предпосылки считать, что у этих данных есть линейная зависимость. Почему-то есть линейная зависимость, и мы хотим понять, какая именно линейная зависимость. Конечно, никакие данные практически невозможно получить без ошибки, без погрешности. То, что мы рассматриваем — это данные, полученные с погрешностью. Если на самом деле между этими величинами есть линейная зависимость, то между тем, что получается на наблюдениях, линейная зависимость вот так в точности не получится. Мы видели, что точки расположены близко к какой-то прямой, близко к какой-то линейной функции, но они не расположены все на одной прямой. А нам нужно угадать, на какой прямой должны были бы быть расположены эти точки, если бы не погрешность измерения. Как мы будем решать эту задачу? Мы попробуем найти прямую, которая лучше других подходит к этим точкам. Которая... на которую... которая лучше других приближает вот эту зависимость. Что значит «лучше других»? Как понять «лучше других»? Что это вообще могло бы значить? Мы хотим, чтобы отклонение точек от этой прямой было бы минимальным. Вопрос: как посчитать отклонение? Что такое отклонение? Давайте посмотрим, что мы такое ищем, и какие данные у нас есть. Итак, пусть зависимость, которую мы ищем, линейная зависимость — линейная зависимость не в смысле: линейная алгебра, а в смысле обычных функций, к которым мы привыкли в школе — линейная зависимость y = ax + b. Мы ищем такие a и b, чтобы вот эта прямая с уравнением y = ax + b лучше всего описывала, лучше всех других прямых, описывала те данные, которые у нас есть. Что такое ошибка? Что такое отклонение от этой линейной зависимости? В каждой конкретной точке мы можем посчитать, какое должно было бы быть значение, если бы зависимость действительно была линейная, это будет axn-ное + b, и у нас есть наблюдаемое значение — yn-ное. Итак, аxn-ное + b − yn-ное — это отклонение. Вот это вот отклонение, суммарное отклонение по всем точкам, мы хотели бы минимизировать. Как минимизировать суммарное отклонение по всем точкам? Может быть просто сложить отклонения в каждой точке? Посмотрим, какое отклонение получилось в первой точке, во второй, в третьей, в четвертой, в пятой и так далее, в энной, и просто сложим все эти отклонения и посмотрим, что за суммарное отклонение получилось. После этого подберем a и b, так чтобы сумма отклонений была бы минимальной. Этот план выглядит хорошим, простым, но он... результат, который мы получим в результате этого плана может оказаться совсем нелепым. Дело в том, что отклонения, они могут быть то в одну сторону, то в другую, и случайным образом отклонения могут сократиться. И получится, что даже отклонения, суммарное отклонение равно 0, но точки лежат далеко от этой прямой. Как тогда быть? Мы должны каждое отклонение учитывать без знака, у нас не должно быть отрицательных и положительных отклонений. Любое отклонение должно быть учтено с плюсом. Можно бы, конечно, было складывать модули отклонений, но мы помним, что работа с модулями всегда бывает сложной, всегда нужно рассматривать какие-то случаи и это не случайно. Действительно, когда мы рассматриваем сумму модулей, результат получается хуже, чем если мы рассматриваем сумму квадратов. Итак, давайте рассмотрим такое выражение: по всем точкам пробежимся и рассмотрим сумму квадратов отклонения линейной функции и реального результата измерения в точке xn-ное. Итак, в чем теперь состоит задача? Мы нашли суммарные отклонения точки данной xn-ная, y-ная. Такие пары точек нам даны. И нам нужно найти коэффициенты a и b, чтобы суммарное отклонение было минимальным. Давайте посмотрим теперь на задачу, уже отвлекаясь от того, откуда она возникла. Давайте посмотрим, что за задача перед нами стоит и как ее решать. У нас есть функция от двух переменных, да? Эта функция устроена как-то сложно — много слагаемых, n слагаемых, что-то в квадрате и так далее. Даже знак суммы мы используем. Тем не менее эта функция всего лишь от двух переменных, и нам надо найти такие значения переменных a и b, при которых значение этой суммы минимально. Как решается такая задача? Ну, это стандартная задача из математического анализа. Для того чтобы найти, где минимум у функции, надо найти экстремальные точки, надо найти те точки, где производная функции по первой переменной и по второй переменной равна 0. Конечно, это формальное решение, только начало пути. Если мы найдем такие точки, может оказаться, что в этой точке достигается максимум, может оказаться, что минимум вообще нигде не достигается, может быть... может оказаться, что минимум достигается на границе области, если у нас значение параметров a и b чем-то ограничено. В нашем случае значение параметров a и b ничем не ограничено, и в нашем случае окажется, что достигается именно минимум, и именно решение вот этой задачи, задачи о поиске экстремальной точки, задачи о поиске точки, где обе частные производные равны 0, даст решение исходной задачи. Даст... Мы найдем прямую, которая лучше всего приближает данные, которые мы получили из эксперимента. [ЗВУКОВАЯ_ЗАСТАВКА] [ЗВУКОВАЯ_ЗАСТАВКА]
