В этом курсе мы поговорим о трендах и классификаторах. Анализ трендов помогает ответить на вопросы вроде: растут ли продажи, увеличивается ли количество пользователей сервиса? Если есть рост, то случайность это или закономерность? Есть ли в данных сезонные колебания? Как выделить тренд и как объяснить его? Также мы поговорим о факторном анализе, который позволяет найти скрытую переменную (или переменные), направляющие проявление множества видимых признаков. Как найти такие скрытые переменные и понять, что за ними стоит? В заключительной части курса поговорим о классификаторах, применение которых решает задачи отнесения объектов к тому или иному классу с определенной вероятностью, а также позволяет прогнозировать попадание нового объекта в определенный класс. Как предсказать исход события, зная основные характеристики действующего лица? Закончит ли слушатель курс, отдаст ли заемщик кредит? Как оценить точность прогноза и минимизировать ошибки? Мы разберемся с устройством обозначенных методов анализа данных и попрактикуемся в их применении.
3.1. Введение в факторный анализ
Loading...
From the course by Novosibirsk State University
Тренды и классификации
12 ratings
From the lesson
Факторный анализ
В этом модуле поговорим о факторном анализе. Сначала поймем общий принцип: что это за модель, и для решения каких задач она применяется. Дальше разберем методы факторного анализа и научимся строить факторы одним из самых распространенных способов: методом главных компонент. В заключительных лекциях модуля мы поговорим о том, как оценить качество факторной модели, как можно использовать построенные переменные для дальнейшего анализа, а также пошагово разберем построение факторной модели в SPSS.
Meet the Instructors
Ольга Ечевскаядоцент, кандидат социологических наук
Кафедра общей социологии ЭФ НГУ
Наталья ГалановаСпециалист по анализу данных
Компания 2GIS
Виктор ДёминСпециалист по анализу данных, кандидат технических наук
Компания 2GIS
[МУЗЫКА] [МУЗЫКА]
[МУЗЫКА] Здравствуйте всем!
В этом модуле мы возвращаемся от динамических данных,
которые вы обсуждали применительно к временным рядам,
к статическим данным и поговорим о факторном анализе.
Что такое факторный анализ?
Факторный анализ — это метод, который позволяет нам классифицировать признаки.
Что это за метод и откуда он возник?
В самом начале двадцатого века возник он из психологии,
из необходимости структурировать каким-то образом психологические склонности.
Никто толком не помнит, когда это началось, но считается поворотным
моментом 1904 год, когда вышла статья Чарльза Спирмена, которая...
вот название вы видите на экране,
и полный текст этот статьи представлен в материалах курса.
В этой статье Чарльз Спирмен обсуждал составляющие интеллекта,
intelligence, и после этого можно говорить о том,
что факторный анализ существует в том виде, в котором его сейчас используют.
Как же его собственно сейчас используют?
Для двух основных задач.
Во-первых, факторный анализ может использоваться как метод сжатия данных.
То есть у нас есть, допустим, десять признаков, которые отражают какие-то
похожие вещи, и мы понимаем, что десять, может быть, много, вполне хватило бы трёх.
И факторный анализ позволяет нам сжать с сохранением существенной информации и
оставить из избыточного набора признаков необходимые.
К примеру, у нас там есть пять или шесть параметров удовлетворённости жизнью,
но мы предполагаем, что нам вполне хватит двух,
и факторный анализ может нам помощь схлопнуть и оставить те самые два,
которые будут описывать удовлетворённость достаточным образом на нашей выборке.
Другой способ использования факторного анализа — это собственно метод
классификации признаков.
И этот метод, с моей точки зрения, — это использование самое интересное,
по крайней мере, в социальных науках.
Что здесь происходит?
Здесь у нас есть набор признаков, опять же большой достаточно,
и мы пытаемся классифицировать эти признаки в более компактный набор,
но который сохраняет опять же исходную информацию.
Какие задачи могут решаться?
Это могут быть какие-нибудь склонности, это могут быть структуры ценностей,
это могут быть структуры потребления, это могут быть структуры доверия,
в общем-то всё, что угодно.
Когда у нас есть широкий диапазон проявления признака,
а мы пытаемся как-бы угадать,
даже на угадать, а научным образом докопаться до внутренних механизмов,
которые структурируют проявления вот этого вот большого количества характеристик.
И в этом модуле мы говорим именно об этой составляющей, о том,
как классифицировать признаки при помощи факторного анализа.
Название «факторный анализ» может быть немножечко сбивающим с толку.
Кажется, что факторный анализ — это про факторы, которые влияют на что-то,
на самом деле — нет.
Факторный анализ — это про компоненты, которые составляют, но поскольку мы
предполагаем, что есть какие-то латентные признаки, которые определяют проявления
того, что мы видим, есть один скрытый, который определяет там десять видимых.
И в этом смысле наверное факторы, что мы докапываемся до чего-то скрытого,
что влияет на что-то явное.
Каким образом это делается?
Делается это на основе взаимосвязанности признаков.
То есть откуда мы вообще знаем, что за этими признаками стоит что-то латентное?
Мы видим, что то, как эти признаки вместе себя ведут, каким-то образом согласовано,
и эту самую согласованность мы измеряем корреляционными методами.
Поскольку, как мы понимаем, корреляция — метод специфический,
она предполагает, что у нас признаки будут упорядоченными,
и она предполагает, что признаки у нас будут ещё и определённой формы.
То есть в идеале факторный анализ вообще строить только на интервальных признаках и
на метрических шкалах.
Кроме того, необходимо избавиться от выбросов, потому что корреляция,
как мы знаем, к ним очень чувствительная.
Также мы можем использовать дихотомические признаки ноль-один.
То что касается порядковых переменных, то общая рекомендация — не использовать,
но если у нас вариантов нет, нам нужны именно эти данные,
а они существуют в порядковом виде, то тогда их нужно либо преобразовать в те же
дихотомические ноль-один, проанализировав их распределение, либо, если у
нас достаточно больше количество значений у этой порядковой переменной, ну, скажем,
десять, и мы можем её интерпретировать как условно интервальную, тогда с
определёнными оговорками можно строить факторный анализ на порядковых переменных.
Но опять-таки, если можно этого избежать, то лучше избегать.
Как это происходит?
Что собственно происходит в факторном анализе?
У нас есть пространство признаков n, которое вот обозначено иксами,
и их этого пространства признаков n получается количество факторов k, которое
сохраняет всю важную информацию, которую несли иксы, но при этом более компактно.
То есть вот здесь на картинке у нас условно шесть иксов превращаются в
три фактора.
Но бывает там 50 превращаются в пять.
То есть то, насколько компактнее станет пространство, это зависит от данных,
от объёма выборки и много ещё от чего.
В результате вот этого преобразования у нас получается,
что у нас все вот эти вот дисперсии иксов,
наших исходных признаков, которые мы схлопываем, раскладываются на две части.
Одна часть вот эта вот a и F — это общность, то есть это то,
что вот эта вот факторная модель объяснилась, это та информация их иксов,
которая перенеслась в новую факторную модель,
а также U от английского слова unique — это то, что моделью не объяснилось,
то есть это вот помехи, это то, что осталось в стороне, это та информация,
которую мы потеряли при переходе от большего числа признаков к меньшему.
Естественно, мы с неизбежностью будем что-то терять,
но чем меньше потери и чем больше общность, тем лучше наша модель.
Как это оценить и как это гарантировать в каком-то смысле,
мы опять-таки в этом модуле обсудим.
Что такое факторные нагрузки?
F — это факторы, понятно, U — это специфичность, понятно,
факторные нагрузки — что это такое?
В том случае, если у нас исходные признаки стандартизованы, факторы независимы и
также стандартизованы, то факторные нагрузки у нас совпадают с коэффициентами
корреляции между исходными признаками и получившимися факторами.
Есть у нас разные способы построения факторной модели,
и далеко не все удовлетворяют этим требованиям.
Есть модели, которые, например, строят факторы не независимым образом.
Но те, которые соблюдают эти три условия, там факторные нагрузки можно условно
интерпретировать как коэффициент корреляции.
Исходный признак, получившийся фактор.
И именно они помогают нам интерпретировать полученные факторы,
об этом мы поговорим в следующих лекциях модуля.
Что же происходит с исходными признаками?
Дисперсии каждого исходного признака также раскладываются у нас на уже знакомы вам
две составляющие: это общность, та часть дисперсии признака,
которая моделью объяснилась, и специфичность,
та часть дисперсии признака, которая при построении модели потерялась.
И для каждого признака хорошо, когда у нас общность велика, а специфичность мала.
И мы, когда уже построили модель, мы анализируем признаки и смотрим,
совпадают ли, удовлетворяют ли они вот этим вот требованиям.
Если мы видим, к примеру, что признак принёс дисперсию там 100%, и моделью
объяснилось только десять, а 90 выпало, то помех от этого признака гораздо больше,
чем помощи, вполне возможно, что его стоит отбросить и перестроить модель без него.
Метод главных компонентов.
Это один из самых распространённых методов факторного анализа по нескольким сразу
причинам.
Во-первых, потому что он собственно хорошо отвечает задачам,
ради которого факторный анализ придуман.
И кроме того, он единственный статистически обоснованный.
Если мы говорили уже о том, что факторный анализ — это такая разведочная штука,
которая позволяет нам структурировать пространство признаков, но мы не можем
говорить о том, что в генеральной совокупности обязательно будет так.
Метод главных компонент имеет какие-то статистические под собой признаки,
которые позволяют оценить качество модели, обоснованность модели,
мы о них поговорим в следующих лекциях модуля.
Что происходит в методе главных компонентов?
Там у нас коррелированные признаки, вот эта вот исходная матрица, заменяются
некоррелированными компонентами, которые построены на их основе.
Каким образом это делается?
Вот, допустим, у нас есть облако данных.
И почему собственно метод называется главными компонентами?
Потому что у нас строятся такие линии, такие векторы вдоль вот этого облака,
которые объясняют максимум дисперсии, которая вот в этом облаке видна.
Первая главная компонента — это вектор,
который объясняет максимум имеющейся дисперсии.
Мы её построили, после чего перпедикулярно или ортогонально ей мы проводим следующий
компонет, который объясняет максимум от оставшейся дисперсии, и продолжаем так,
пока вся дисперсия не будет исчерпана.
В итоге у нас получится столько же компонент,
сколько было исходных признаков.
Вы спросите, зачем, если идея у нас схлопнуть пространство,
а мы получаем столько же, сколько ввели.
Но, на самом деле, есть в этом своя логика, оставим мы не все компоненты,
которые были построены, оставим только главные.
А те последние, которые выделятся и будут совсем уж остатки объяснять,
то это будет та самая специфичность, которую мы в итоге отбросим.
Каким образом, опять же мы поговорим.
Если вас интересует математическая сторона процесса, то добро пожаловать в материалы
курса, там есть источники, которые показывают ту сложную математику,
которая стоит за построением этих векторов.
Сейчас давайте обратимся к гипотетическому примеру,
чтобы на каком-то живом материале понять, о чём же мы здесь разговариваем.
Я сама этот файл придумала, то есть эти вот данные по 60 школьникам,
их не существует в реальности.
Ну, допустим, есть у нас 60 школьников, которые учатся и получают оценки по
100-бальной системе по шести курсам: алгебра, геометрия, физика, русский язык,
литература и иностранный язык.
И мы предполагаем, что у нас мало того, что кто-то из них учится лучше,
кто-то из них учится хуже, кто-то их них предрасположен скорее к точным наукам,
кто-то к гуманитарным.
Или даже я директор школы и мне нужно их распределить по профильным классам —
гуманитарным или математическим — и факторный анализ может мне помочь это
сделать.
Если мы вот эти вот самые переменные, определённым образом подготовив,
введём в факторный анализ, то мы получим что-то вроде вот этого.
У нас будет табличка, где у нас по строкам исходные признаки, то есть оценки по
каждому отдельному предмету, а по столбцам те самые полученные факторы.
А в клетках факторные нагрузки, вы уже знаете,
те самые коэффициенты корреляции между исходным признаком и полученным фактором.
И мы видим, что фактор номер один коррелирует сильно положительно с такими
оценками, как по алгебре, геометрии и физике, и мы соответственно можем его
называть там физико-математической специализацией, например.
Второй фактор, он у нас сильно и положительно коррелирует
с оценками по русскому языку, иностранному языку и литературе.
Этот фактор можно называть, условно говоря, гуманитарной ориентированностью.
И если мы потом проанализируем значение вот этих вот факторов по нашим ученикам,
это может нам помочь распределить тех, кто лучше учится по математике и физике,
в физмат класс, тех, кто лучше учится по литературу и русскому, например,
в гуманитарный класс.
Каким образом эту модель построить, как гарантировать её качество и что с ней
потом делать, об этом мы поговорим в следующих лекциях.
Explore our Catalog
Join for free and get personalized recommendations, updates and offers.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2018 Coursera Inc. All rights reserved.
