Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.
10.1.1. Медианная регрессия
Loading...
From the course by National Research University Higher School of Economics
Эконометрика (Econometrics)
320 ratings
From the lesson
Нестандартные сюжеты
Продвинутые методы, включая машинное обучение
Meet the Instructors
Boris DemeshevSenior Lecturer
Department of Applied Economics
В завершающей лекции мы расскажем о трех сюжетах,
чтобы показать многообразие эконометрики.
А именно эти три сюжета — это квантильная регрессия,
алгоритм случайного леса и байесовский подход.
Суть квантильной регрессии состоит в том, чтобы отказаться
от моделирования среднего, как это было в классической линейной модели,
а моделировать медиану распределения или любой другой квантиль распределения.
А именно напомним, что в классической модели линейной регрессии
предпосылки были следующие: предполагалось,
то Y_i = β₁ + β₂x_i + ε_i и предполагалось экзогенность ошибок,
а именно то, что средняя величина ошибки при известных регрессорах равна 0.
И были еще другие, конечно, предпосылки, но, в частности,
из первых двух предпосылок следовало то, что условное математическое ожидание
Y_i при фиксированном X_i — это есть β₁ + β₂Х_i.
То есть означает, что в классической линейной регрессионной модели
с увеличением X на 1, среднее значение Y_i, условное среднее, меняется на β₂.
То есть классическая линейная регрессионная модель — это модель для
среднего значения Y.
И для оценки этой регрессионной модели классической мы минимизировали
сумму квадратов ошибок прогноза, сумму (Y_i- Y_i с крышкой) в квадрате.
И получались замечательные, а именно состоятельные оценки коэффициентов,
β₁ с крышкой и β₂ с крышкой.
В медианной регрессии модель состоит в том,
что медиана Y_i условная линейно зависит β₁ + β₂Х_i от регрессора.
Давайте поясним еще раз разницу между медианой и средним.
Если представить себе большую-большую выборку при одинаковых X_i для
Y большую выборку, то, соответственно, что такое среднее?
Ну, это просто среднее арифметическое, то есть математическое ожидание похоже на
среднее арифметическое при большой выборке.
А медиана — это такое число,
выше которого лежит 50 % наблюдений и ниже которого тоже лежит 50 % наблюдений.
И, соответственно, в медианной регрессии предполагается,
что не среднее, а именно медиана зависит от регрессора.
И алгоритм оценивания немножко другой.
Мы минимизируем не сумму квадратов остатков, а сумму модулей остатков,
сумму |Y_i- Y_i с крышкой|.
И при ее минимизации можно доказать,
что получаются состоятельные оценки для медианной регрессии.
И сейчас мы рассмотрим совсем простой пример, где будет одна объясняющая
переменная, и мы получим оценку β с крышкой для медианной регрессии.
К сожалению, явных формул в медианной регрессии нет,
но в каждом конкретном случае можно численно получить оценку β с крышкой.
Рассмотрим пример задачи.
У нас есть некая модель.
На этот раз модель для медианы.
Мы предполагаем, что медиана Y_i при известном значении X очень просто
зависит от X, а именно равняется просто некой неизвестной — коэффициент β * Х_i.
Рассмотрим совсем простую модель для решения руками.
И мы хотим в этой модели получить оценку коэффициента β с крышкой.
Ну и, соответственно, у нас должны быть, естественно, какие-то данные,
потому что без данных оценить модель невозможно.
Ну, к примеру, у нас будет всего три наблюдения.
Y-зависимая переменная будет принимать значение 1, 2 и 6,
а X-объясняющая переменная будет принимать значение 1, 5 и 5.
И я предполагаю, что медиана Y зависит от X, зависит очень просто.
Вот хочу получить оценку β с крышкой.
Ну, соответственно, идея медианной регрессии говорит,
что надо выписать, как от β с крышкой
зависит сумма модулей ошибок прогноза.
Ну, естественно, у нас i будет меняться от 1 до 3 (всего 3 наблюдения),
и если модель устроена следующим образом, то, соответственно,
у нас Y_i с крышкой, прогноз Y будет устроен довольно просто.
Это будет β с крышкой помножить на значение регрессора.
Ну и в нашем случае конкретном трех наблюдений мы получаем
следующую формулу для суммы модулей ошибок прогноза.
Это, соответственно, |Y₁- Y₁ с крышкой| ошибка прогноза для первого
наблюдения плюс ошибка прогноза для второго наблюдения по модулю
плюс ошибка прогноза для третьего наблюдения.
Ну и в нашем случае поскольку прогнозы у нас считаются в соответствии
с формулой для медианы, то мы получаем |1- β с
крышкой * 1| + |2
(второй Y)- (формула для второго прогноза)
β с крышкой * 5 (второй X)|
+ |6 (последний Y) -
β крышкой * 5| И, соответственно,
медианная регрессия говорит, что вот эту сумму надо минимизировать,
подбирая какое-нибудь β с крышкой, которое обеспечит минимальную сумму модуля ошибок.
Ну, к сожалению или к счастью, эта функция недифференцируемая, но она достаточно
проста, то есть график функции M(β с крышкой) он довольно простой.
Здесь просто модули, и поэтому мы знаем что при разных значениях β,
модули будут по-разному раскрываться, но в любом случае на каждом участке,
где бы ни раскрывались модули, будет получаться линейная функция.
Соответственно, наша вся функция M(β с крышкой) – она кусочно-линейная,
кусочно-линейная, и благодаря этому факту мы легко построим ее график.
Давайте поймем, где у нее изломы?
Ну, изломы там, где выражение внутри модуля будет менять знак.
Первое выражение внутри модуля будет менять знак, когда β с крышкой равно 1,
изломы этой функции — β с крышкой равно 1, и значение функции в точке 1...
Ну, просто подставляем, получаем, что это равно 4.
Другой излом, когда второй модуль равен 0,
то есть в точке β с крышкой равное 2/5,
и значение функции в точке 2/5,
если подставить 2/5 сюда, сюда и сюда и все это сложить, то получится 4,6.
И последний излом нашей функции в точке β с крышкой,
когда последний модуль равен 0, 6/5.
Соответственно, значение функции в точке 6/5,
просто подставляем 6/5 в нашу функцию.
Получаем, что это равно 4,2.
И мы уже можем нарисовать график нашей функции.
Значит, во вертикали мы откладываем сумму модулей ошибок прогноза,
а по горизонтали откладываем β с крышкой.
Мы знаем, что изломы в точке 0,4; 1 и 1,2 (это 6/5).
Соответственно, вот один излом в точке 0,4 (это 2/5),
другой излом в точке 1 и еще один излом в точке 1,2.
Значение функции в единичке — 4.
Масштаб у меня по горизонтали и по вертикали может не соответствовать,
поэтому пусть будет тут 4, в 1,2 чуть
побольше и в единичке...
в 0,4 еще больше.
Соответственно, на этих участках функция выглядит кусочно-линейно вот так.
Но остается понять, как функция будет выглядеть за пределами этих участков.
Ну, например, если β с крышкой очень-очень маленькое, очень отрицательное, ну,
например, 0, то все модули раскрываются с плюсом,
и функция очень быстро убывает, то есть у нее здесь резко отрицательный наклон.
Если все модули раскрыть, просто убрать палочки вертикальные, то получится
итоговый наклон (- β с крышкой)- 5β с крышкой- 5β с крышкой- 11β с крышкой.
Вот здесь вот наклон (-11).
А здесь, соответственно, все модули раскроются с другим знаком,
и наклон будет положительный.
Вот так выглядит наша функция.
И несмотря на то, что она не дифференцируема,
мы не можем взять производную, приравнять к нулю, тем не менее, очевидно,
в прямом смысле этого слова, что оптимальная оценка,
которая минимизирует сумму модулей ошибок
прогноза β с крышкой равно 1.
Таким образом, мы в простом примере показали,
как получить оценку медианной регрессии.
Explore our Catalog
Join for free and get personalized recommendations, updates and offers.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2018 Coursera Inc. All rights reserved.
