Представляют собой совокупность статистических процедур, направленных на выделение из заданного множества переменных подмножеств переменных, тесно связанных (коррелирующих) между собой. Переменные, входящие в одно подмножество и коррелирующие между собой, но в значительной степени независимые от переменных из других подмножеств, образуют факторы. Цель факторного анализа - идентифицировать явно не наблюдаемые факторы с помощью множества наблюдаемых переменных. Дополнительным способом проверки числа выделенных факторов является вычисление корреляционной матрицы, которая близка исходной, если факторы выделены правильно. Эта матрица называется воспроизведенной корреляционной матрицей. Для того чтобы увидеть, как эта матрица отклоняется от исходной корреляционной матрицы (с которой начинался анализ), можно вычислить разность между ними. Остаточная матрица может указать на "несогласие", т. е. на то, что рассматриваемые коэффициенты корреляции не могут быть получены с достаточной точностью на основе имеющихся факторов. В методах главных компонент и факторного анализа не существует такого внешнего критерия, позволяющего судить о правильности решения. Вторая проблема заключается в том, что после выделения факторов возникает бесконечное множество вариантов вращения, базирующихся на тех же исходных переменных, но дающих разные решения (факторные структуры определяются несколько иным образом). Окончательный выбор между возможными альтернативами внутри бесконечного множества математически равнозначных решений зависит от содержательного осмысления исследователями результатов интерпретации. А поскольку объективного критерия для оценки различных решений нет, предлагаемые обоснования выбора решения могут казаться голословными и неубедительными.

Надо отметить, что четких статистических критериев полноты факторизации не существует. Тем не менее, низкие ее значения, например меньше 0,7, свидетельствуют о желательности сокращения количества признаков или увеличения количества факторов.

Мет Коэффициент взаимосвязи между некоторым признаком и общим фактором, выражающий меру влияния фактора на признак, называется факторной нагрузкой данного признака по данному общему фактору.

Матрица, состоящая из факторных нагрузок и имеющая число столбцов, равное числу общих факторов, и число строк, равное числу исходных признаков, называется факторной матрицей.

Основой для вычисления факторной матрицы является матрица парных коэффициентов корреляции исходных признаков.

Корреляционная матрица фиксирует степень взаимосвязи между каждой парой признаков. Аналогично факторная матрица фиксирует степень линейной связи каждого признака с каждым общим фактором.

Величина факторной нагрузки не превышает по модулю единицы, а знак ее говорит о положительной или отрицательной связи признака с фактором.

Чем больше абсолютная величина факторной нагрузки признака по некоторому фактору, тем в большей степени этот фактор определяет данный признак.

Значение факторной нагрузки по некоторому фактору, близкое к нулю, говорит о том, что этот фактор практически на данный признак не влияет.

Факторная модель дает возможность вычислять вклады факторов в общую дисперсию всех признаков. Суммируя квадраты факторных нагрузок для каждого фактора по всем признакам, получаем его вклад в общую дисперсию системы признаков: чем выше доля этого вклада, тем более значимым, существенным является данный фактор.

При этом можно выявить и оптимальное количество общих факторов, достаточно хорошо описывающих систему исходных признаков.

Значение (мера проявления) фактора у отдельного объекта называется факторным весом объекта по данному фактору. Факторные веса позволяют ранжировать, упорядочить объекты по каждому фактору.

Чем больше факторный вес некоторого объекта, тем больше в нем проявляется та сторона явления или та закономерность, которая отражается данным фактором.

Факторные веса могут быть как положительными, так и отрицательными.

В силу того, что факторы являются стандартизованными величинами со средним значением, равным нулю, факторные веса, близкие к нулю, говорят о средней степени проявления фактора, положительные – о том, что эта степень выше средней, отрицательные – о том. ч то она ниже средней.

Практически, если число уже найденных главных компонент (или факторов) не больше, чем m /2, объясняемая ими дисперсия не менее 70%, а следующая компонента дает вклад в суммарную дисперсию не более 5%, факторная модель считается достаточно хорошей.

Если Вы хотите найти значения факторов и сохранить их в виде дополнительных переменных задействуйте выключатель Scores... (Значения) Факторное значение, как правило, лежит в пределах -3 до +3.

Факторный анализ - более мощный и сложный аппарат, чем метод главных

компонент, поэтому он применяется в том случае, если результаты

компонентного анализа не вполне устраивают. Но поскольку эти два метода

решают одинаковые задачи, необходимо сравнить результаты компонентного и

факторного анализов, т. е. матрицы нагрузок, а также уравнения регрессии на

главные компоненты и общие факторы, прокомментировать сходство и различия

результатов.

Максимально возможное количество факторов m при заданном числе признаков р определяется неравенством

(р+m)<(р-m)2,

В завершение всей процедуры факторного анализа с помощью математических преобразований выражают факторы fj через исходные признаки, то есть получают в явном виде параметры линейной диагностической модели.

Методы главных компонент и факторного анализа представляют собой совокупность статистических процедур, направленных на выделение из заданного множества переменных подмножеств переменных, тесно связанных (коррелирующих) между собой. Переменные, входящие в одно подмножество и коррелирующие между собой, но в значительной степени независимые от переменных из других подмножеств, образуют факторы1 . Цель факторного анализа - идентифицировать явно не наблюдаемые факторы с помощью множества наблюдаемых переменных.

Общее выражение для j -го фактора может быть записано так:

где Fj (j изменяется от 1 до k ) - это общие факторы, Ui - характерный, Aij - константы, используемые в линейной комбинации k факторов. Характерные факторы могут не коррелировать друг с другом и с общими факторами.

Процедуры факторно-аналитической обработки, применяемые к полученным данным, различны, но структура (алгоритм) анализа состоит из одних и тех же основных этапов: 1. Подготовка исходной матрицы данных. 2. Вычисление матрицы взаимосвязей признаков. 3. Факторизация (при этом необходимо указать количество факторов, выделяемых в ходе факторного решения, и метод вычисления). На этом этапе (как и на следующем) можно также оценить, насколько хорошо полученное факторное решение сближает исходные данные. 4. Вращение - преобразование факторов, облегчающее их интерпретацию. 5. Подсчет факторных значений по каждому фактору для каждого наблюдения. 6. Интерпретация данных .

изобретение факторного анализа было связано именно с необходимостью одновременного анализа большого количества коэффициентов корреляции различных шкал между собой. Одна из проблем, связанных с методами главных компонент и факторного анализа заключается в том, что критериев, которые позволяли бы проверить правильность найденного решения, не существует. Например, при регрессионном анализе можно сопоставить показатели по зависимым переменным, полученные эмпирическим путем, с показателями, вычисленными теоретически на основе предлагаемой модели, и использовать корреляцию между ними как критерий правильности решения по схеме корреляционного анализа для двух наборов переменных. В дискриминантном анализе правильность решения базируется на том, насколько точно предсказана принадлежность испытуемых к тем или иным классам (если сравнивать с реальной принадлежностью, имеющей место в жизни). К сожалению, в методах главных компонент и факторного анализа не существует такого внешнего критерия, позволяющего судить о правильности решения, Вторая проблема заключается в том, что после выделения факторов возникает бесконечное множество вариантов вращения, базирующихся на тех же исходных переменных, но дающих разные решения (факторные структуры определяются несколько иным образом). Окончательный выбор между возможными альтернативами внутри бесконечного множества математически равнозначных решений зависит от содержательного осмысления исследователями результатов интерпретации. А поскольку объективного критерия для оценки различных решений нет, предлагаемые обоснования выбора решения могут казаться голословными и неубедительными.

Третья проблема заключается в том, что факторный анализ довольно часто применяют с целью спасти плохо продуманное исследование, когда становится ясно, что ни одна статистическая процедура не дает желаемого результата. Мощь методов главных компонент и факторного анализа позволяет из хаотичной информации выстроить упорядоченную концепцию (что и создает им сомнительную репутацию).

Вторая группа терминов относится к матрицам, которые строятся и интерпретируются как часть решения. Поворот факторов - это процесс поиска наиболее легко интерпретируемого решения для данного количества факторов. Существуют два основных класса поворотов: ортогональный и косоугольный . В первом случае все факторы априорно выбираются ортогональными (не коррелирующими друг с другом) и строится матрица факторных нагрузок , представляющая собой матрицу взаимосвязей между наблюдаемыми переменными и факторами. Величина нагрузок отражает степень связи каждой наблюдаемой переменной и каждым фактором и интерпретируется как коэффициент корреляции между наблюдаемой переменной и фактором (латентной переменной), а потому изменяется в пределах от -1 до 1. Решение, полученное после ортогонального поворота, интерпретируется на основе анализа матрицы факторных нагрузок путем выявления того, с каким из факторов в максимальной степени связана та или иная наблюдаемая переменная. Таким образом, каждый фактор оказывается заданным группой первичных переменных, имеющих по нему наибольшие факторные нагрузки.

Если выполняется косоугольное вращение (т. е. априорно допускается возможность корреляции факторов между собой), то строится еще несколько дополнительных матриц. Матрица факторной корреляции содержит корреляции между факторами. Матрица факторных нагрузок , упомянутая выше, расщепляется на две: структурную матрицу взаимосвязей между факторами и переменными и матрицу факторного отображения , выражающую линейные взаимосвязи между каждой наблюдаемой переменной и каждым фактором (без учета влияния наложения одних факторов на другие, выражаемого корреляцией факторов между собой). После косоугольного вращения интерпретация факторов происходит на основе группировки первичных переменных (подобно тому, как было описано выше), но уже с использованием в первую очередь матрицы факторного отображения.

Наконец, для обоих поворотов вычисляется матрица коэффициентов факторных значений , используемая в специальных уравнениях регрессионного типа для вычисления факторных значений (факторных баллов, показателей по факторам) для каждого наблюдения на основе значений для них первичных переменных.

Сравнивая методы главных компонент и факторного анализа, отметим следующее. В ходе выполнения анализа по методу главных компонент строится модель для наилучшего объяснения (максимального воспроизведения) полной дисперсии экспериментальных данных, полученных по всем переменным. В результате выделяются «компоненты». При факторном анализе предполагается, что каждая переменная объясняется (детерминируется) некоторым количеством гипотетических общих факторов (влияющих на все переменные) и характерными факторами (для каждой переменной своими). И вычислительные процедуры выполняются таким образом, чтобы освободиться как от дисперсии, полученной в результате ошибки измерения, так и от дисперсии, объясняемой специфичными факторами, и анализировать только дисперсии, объясняемые гипотетически существующими общими факторами. В результате получаются объекты, называемые факторами. Однако, как уже упоминалось, с содержательно-психологической точки зрения эта разница в математических моделях существенного значения не имеет, поэтому в дальнейшем, если не дается особых пояснений, о каком именно случае идет речь, мы будем использовать термин «фактор» как по отношению к компонентам, так и по отношению к факторам.

Размеры выборки и пропущенные данные. Чем больше выборка, тем больше достоверность показателей взаимосвязи. Поэтому очень важно иметь достаточно большую выборку. Требуемый размер выборки также зависит от степени взаимосвязи показателей в популяции в целом и количества факторов: при сильной и достоверной взаимосвязи и небольшом количестве четко очерченных факторов будет достаточно и не очень большой выборки.

Так, выборка, размер которой 50 испытуемых, оценивается как очень плохая, 100 - плохая, 200 - средняя, 300 - хорошая, 500 - очень хорошая и 1000 - превосходная (Comrey, Lee , 1992). Исходя из этих соображений, в качестве общего принципа можно порекомендовать исследовать выборки не менее 300 испытуемых. Для решения, базирующегося на достаточном количестве маркерных переменных с высокими факторными нагрузками (>0.80) достаточно выборки порядка 150 испытуемых (Guadagnoli, Velicer , 1988). нормальность для каждой переменной в отдельности проверяется по асимметрии (насколько кривая изучаемого распределения сдвинута вправо или влево по сравнению с теоретически нормальной кривой) и эксцессу (степень вытянутости вверх или прогнутости вниз «колокола» имеющегося распределения, визуально представленного в частотной диаграмме, в сравнении с «колоколом» графика плотности, характерным для нормального распределения). Если переменная имеет существенные асимметрию и эксцесс, то ее можно преобразовать, введя новую переменную (как однозначную функцию от рассматриваемой) таким образом, чтобы эта новая переменная была распределена нормально (подробнее об этом см.: Tabachnik, Fidell , 1996, гл. 4).

Собственные векторы и соответствующие собственные числа
для рассматриваемого учебного примера

Собственный вектор 1	Собственный вектор 2
Собственное значение 1	Собственное значение 2

Поскольку корреляционная матрица диагонализируема, то для получения результатов факторного анализа к ней можно применять матричную алгебру собственных векторов и собственных величин (см. Приложение 1). Если матрица диагонализируема, то вся существенная информация о факторной структуре содержится в ее диагональной форме. В факторном анализе собственные числа соответствуют дисперсии, объясняемой факторами. Фактор с наибольшей собственной величиной объясняет наибольшую дисперсию и т. д., пока не доходит до факторов с небольшими или отрицательными собственными величинами, которые обычно не учитываются при анализе. Матрица факторных нагрузок является матрицей взаимосвязей (интерпретируемых как коэффициенты корреляций) между факторами и переменными. Первый столбец - это корреляции между первым фактором и каждой переменной по очереди: стоимость путевки (-.400), комфортабельность комплекса (.251), температура воздуха (.932), температура воды (.956). Второй столбец - это корреляции между вторым фактором и каждой переменной: стоимость путевки (.900), комфортабельность комплекса (-.947), температура воздуха (.348), температура воды (.286). Фактор интерпретируется на основе сильно связанных с ним (т. е. имеющих по нему высокие нагрузки) переменных. Так, первый фактор главным образом «климатический» (температура воздуха и воды ), в то время как второй «экономический» (стоимость путевки и комфортабельность комплекса ).

Интерпретируя эти факторы, следует обратить внимание на то, что переменные, имеющие высокие нагрузки по первому фактору (температура воздуха и температура воды ), взаимосвязаны положительно, тогда как переменные, имеющие высокие нагрузки по второму фактору (стоимость путевки и комфортабельность комплекса ), взаимосвязаны отрицательно (от дешевого курорта нельзя ожидать большой комфортабельности). Первый фактор называется униполярным (все переменные сгруппированы на одном полюсе), а второй - биполярным (переменные распались на две противоположные по смыслу группы - два полюса). Переменные, имеющие факторные нагрузки со знаком «плюс», образуют положительный полюс, а со знаком «минус» - отрицательный. При этом названия полюсов «положительный» и «отрицательный» при интерпретации фактора не имеют оценочного смысла «плохой» и «хороший». Выбор знака происходит во время вычислений случайным образом. Ортогональное вращение

Вращение обычно применяется после выделения факторов для максимизации высоких корреляций и минимизации низких. Существуют многочисленные методы вращения, но чаще всего используется поворот варимакс , представляющий собой процедуру максимизации дисперсий. Этот поворот максимизирует дисперсии факторных нагрузок, делая высокие нагрузки выше, а низкие ниже для каждого из факторов. Эта цель достигается с помощью матрицы преобразования Λ:

Матрица преобразования - это матрица синусов и косинусов угла Ψ, на который выполняется поворот. (Отсюда и название преобразования - поворот , потому что с геометрической точки зрения происходит поворот осей вокруг начала координат факторного пространства.) Выполнив поворот и получив матрицу факторных нагрузок после поворота, можно проанализировать серию других показателей (см. табл. 4). Общность переменной - это дисперсия, рассчитанная с помощью факторных нагрузок. Это квадратичная множественная корреляция переменной, предсказанная факторной моделью. Общность вычисляется как сумма квадратов факторных нагрузок (СКН) для переменной по всем факторам. В табл. 4 общность для стоимости путевки равна (-.086)2+(.981)2 = .970, т. е. 97% дисперсии стоимости путевки объясняется факторами 1 и 2.

Доля дисперсии фактора по всем переменным - это СКН по фактору, деленная на количество переменных (в случае ортогонального вращения)7 . Для первого фактора доля дисперсии равна:

[(-.086)2+(-.071)2+(.994)2+(.997)2]/4 = 1.994/4 = .50,

т. е. первый фактор объясняет 50% дисперсии переменных. Второй фактор объясняет 48% дисперсии переменных и (в силу ортогональности вращения) два фактора в сумме объясняют 98% дисперсии переменных.

Связь между факторными нагрузками, общностями, СКН,
дисперсией и ковариацией ортогональных факторов после поворота

			Общности (h2 )
Стоимость путевки			∑a2 =.970
Уровень комфорта			∑a2 =.960
Температура воздуха			∑a2 =.989
Температура воды			∑a2 =.996
	∑a2 =1.994	∑a2 =1.919
Доля дисперсии
Доля ковариации

Доля дисперсии решения, объясняемая фактором, - доля ковариации - это СКН для фактора, деленная на сумму общностей (сумму СКН по переменным). Первый фактор объясняет 51% дисперсии решения (1.994/3.915); второй - 49% (1.919/3.915); два фактора вместе объясняют всю ковариацию.

Eigenval – отражают величину дисперсии соответствующего количества факторов. В качестве упражнения рекомендуем выписать все эти формулы для получения расчетных значений по переменным. Например, для первого респондента:

1.23 = -.086(1.12) + .981(-1.16)

1.05 = -.072(1.12) - .978(-1.16)

1.08 = .994(1.12) + .027(-1.16)

1.16 = .997(1.12) - .040(-1.16)

Или в алгебраической форме:

Z стоимости путевки = a 11F 1 + a 12F 2

Z комфортабельности комплекса = a 2lF 1 + a 22F 2

Z температуры воздуха = a 31F 1 + a 32F 2

Z температуры воды = a 41F 1 + a 42F 2

Чем больше нагрузка, тем с большей уверенностью можно считать, что переменная определяет фактор. Комри и Ли (Comrey, Lee , 1992) предполагают, что нагрузки, превышающие 0.71 (объясняет 50% дисперсии), - превосходные, 0% дисперсии) - очень хорошие, 0%) - хорошие, 0%) - удовлетворительные и 0.32 (объясняет 10% дисперсии) - слабые.

Предположим, что вы проводите (до некоторой степени "глупое") исследование, в котором измеряете рост ста людей в дюймах и сантиметрах. Таким образом, у вас имеются две переменные. Если далее вы захотите исследовать, например, влияние различных пищевых добавок на рост, будете ли вы продолжать использовать обе переменные? Вероятно, нет, т. к. рост является одной характеристикой человека, независимо от того, в каких единицах он измеряется.

Зависимость между переменными можно обнаружить с помощью диаграммы рассеяния . Полученная путем подгонки линия регрессии дает графическое представление зависимости. Если определить новую переменную на основе линии регрессии, изображенной на этой диаграмме, то такая переменная будет включить в себя наиболее существенные черты обеих переменных. Итак, фактически, вы сократили число переменных и заменили две одной. Отметим, что новый фактор (переменная) в действительности является линейной комбинацией двух исходных переменных.

В общем случае для объяснения корреляционной матрицы потребуется не один, а несколько факторов. Каждый фактор характеризуется столбцом, каждая переменная - строкойматрицы . Фактор называется генеральным, если все его нагрузки значительно отличаются от нуля и он имеет нагрузки от всех переменных. Генеральный фактор имеет нагрузки от всех переменных и схематически такой фактор изображен на рис.1. столбцом .Фактор называется общим , если хотя бы две его нагрузки значительно отличаются от нуля. Столбцы , на рис. 1. представляют такие общие факторы. Они имеют нагрузки от более чем двух переменных. Если у фактора только одна нагрузка, значительно отличающаяся от нуля, то он называется характерным фактором (см. столбцы на рис. 1. ) Каждый такой фактор представляет только одну переменную. Решающее значение в факторном анализе имеют общие факторы. Если общие факторы установлены, то характерные факторы получаются автоматически. Число высоких нагрузок переменной на общие факторы называется сложностью . Например, переменная на рис.1. имеет сложность 2, а переменная - три.

Рис. 1. Схематическое изображение факторного отображения. Крестик означает высокую факторную нагрузку.

Итак, построим модель

, (4)

где - ненаблюдаемые факторы m < k ,

Наблюдаемые переменные (исходные признаки),

Факторные нагрузки,

Случайная ошибка связанная только с с нулевым средним и дисперсией :

И - некорpелированы,

Некоррелированные случайные величины с нулевым средним и единичной дисперсией .

(5)

Здесь - i -ая общность представляющая собой часть дисперсии , обусловленная факторами, - часть дисперсии , обусловленная ошибкой. В матричной записи факторная модель примет вид:

(6)

где - матрица нагрузок, - вектор факторов, - вектор ошибок.

Корреляции между переменными, выраженные факторами, можно вывести следующим образом:

где - диагональная матрица порядка , содержащая дисперсии ошибок[i]. Основное условие: - диагональная, - неотрицательно определенная матрица. Дополнительным условием единственности решения является диагональность матрицы .

Имеется множество методов решения факторного уравнения. Наиболее ранним методом факторного анализа является метод главных факторов , в котором методика анализа главных компонент используется применительно к редуцированной корреляционной матрице с общностями на главной диагонали. Для оценки общностей обычно пользуются коэффициентом множественной корреляции между соответствующей переменной и совокупностью остальных переменных.

Факторный анализ проводится исходя из характеристического уравнения, как и в анализе главных компонент:

(8)

Решая которое, получают собственные числа λ i и матрицу нормированных (характеристических) векторов V, и затем находят матрицу факторного отображения:

Для получения оценок общностей и факторных нагрузок используется эмпирический итеративный алгоритм, который сходится к истинным оценкам параметров. Сущность алгоритма сводится к следующему: первоначальные оценки факторных нагрузок определяются с помощью метода главных факторов. На основании корреляционной матрицы R формально определяются оценки главных компонент и общих факторов:

(9)

где - соответствующее собственное значение матрицы R;

Исходные данные (вектор-столбцы);

Коэффициенты при общих факторах;

Главные компоненты (вектор-столбцы).

Оценками факторных нагрузок служат величины

Оценки общностей получаются как

На следующей итерации модифицируется матрица R - вместо элементов главной диагонали подставляются оценки общностей, полученные на предыдущей итерации; на основании модифицированной матрицы R с помощью вычислительной схемы компонентного анализа повторяется расчет главных компонент (которые не являются таковыми с точки зрения компонентного анализа), ищутся оценки главных факторов, факторных нагрузок, общностей, специфичностей. Факторный анализ можно считать законченным, когда на двух соседних итерациях оценки общностей меняются слабо.

Примечание. Преобразования матрицы R могут нарушать положительную определенность матрицы R + и, как следствие, некоторые собственные значения R + могут быть отрицательными.

Национальный исследовательский ядерный университет «МИФИ»
Факультет бизнес-информатики и управления
комплексными системами
Кафедра экономики и менеджмента
в промышленности (№ 71)
Математические и инструментальные методы обработки
статистической информации
Киреев В.С.,
к.т.н., доцент
Email:
Москва, 2017
1

Нормализация

Десятичное масштабирование
Минимаксная нормализация
Нормализация с помощью стандартного преобразования
Нормализация с помощью поэлементных преобразований
2

Десятичное масштабирование

Vi
"
Vi k , max (Vi) 1
10
"
3

Минимаксная нормализация

Vi
Vi min (Vi)
"
i
max (Vi) min (Vi)
i
i
4

Нормализация с помощью стандартного отклонения

Vi
"
V
V
Vi V
V
- выборочное
среднее
- выборочное среднее квадратическое
отклонение
5

Нормализация с помощью поэлементных преобразований

Vi f Vi
"
Vi 1
"
log Vi
, Vi log Vi
"
Vi exp Vi
"
Vi Vi , Vi 1 y
Vi
"
y
"
6

Факторный анализ

(ФА) представляет собой совокупность методов, которые на
основе реально существующих связей анализируемых признаков, связей самих
наблюдаемых объектов, позволяют выявлять скрытые (неявные, латентные)
обобщающие характеристики организационной структуры и механизма развития
изучаемых явлений, процессов.
Методы факторного анализа в исследовательской практике применяются главным
образом с целью сжатия информации, получения небольшого числа обобщающих
признаков, объясняющих вариативность (дисперсию) элементарных признаков (Rтехника факторного анализа) или вариативность наблюдаемых объектов (Q-техника
факторного анализа).
Алгоритмы факторного анализа основываются на использовании редуцированной
матрицы парных корреляций (ковариаций). Редуцированная матрица – это матрица, на
главной диагонали которой расположены не единицы (оценки) полной корреляции или
оценки полной дисперсии, а их редуцированные, несколько уменьшенные величины. При
этом постулируется, что в результате анализа будет объяснена не вся дисперсия
изучаемых признаков (объектов), а ее некоторая часть, обычно большая. Оставшаяся
необъясненная часть дисперсии - это характерность, возникающая из-за специфичности
наблюдаемых объектов, или ошибок, допускаемых при регистрации явлений, процессов,
т.е. ненадежности вводных данных.
7

Классификация методов ФА

8

Метод главных компонент

(МГК) применяется для снижения размерности
пространства наблюдаемых векторов, не приводя к существенной потере
информативности. Предпосылкой МГК является нормальный закон распределения
многомерных векторов. В МГК линейные комбинации случайных величин определяются
характеристическими
векторами
ковариационной
матрицы.
Главные
компоненты представляют собой ортогональную систему координат, в которой дисперсии
компонент характеризуют их статистические свойства. МГК не относят к ФА, хотя он имеет
схожий алгоритм и решает схожие аналитические задачи. Его главное отличие
заключается в том, что обработке подлежит не редуцированная, а обычная матрица
парных корреляций, ковариаций, на главной диагонали которой расположены единицы.
Пусть дан исходный набор векторов X линейного пространства Lk. Применение
метода главных компонент позволяет перейти к базису пространства Lm (m≤k), такому
что: первая компонента (первый вектор базиса) соответствует направлению, вдоль
которого дисперсия векторов исходного набора максимальна. Направление второй
компоненты (второго вектора базиса) выбрано таким образом, чтобы дисперсия исходных
векторов вдоль него была максимальной при условии ортогональности первому вектору
базиса. Аналогично определяются остальные векторы базиса. В результате, направления
векторов базиса выбраны так, чтобы максимизировать дисперсию исходного набора
вдоль первых компонент, называемых главными компонентами (или главными
осями).Получается, что основная изменчивость векторов исходного набора векторов
представлена несколькими первыми компонентами, и появляется возможность, отбросив
менее существенные компоненты, перейти к пространству меньшей размерности.
9

10. Метод главных компонент. Схема

10

11. Метод главных компонент. Матрица счетов

Матрица счетов T дает нам проекции исходных образцов (J –мерных
векторов
x1,…,xI)
на
подпространство
главных
компонент
(A-мерное).
Строки t1,…,tI матрицы T – это координаты образцов в новой системе координат.
Столбцы t1,…,tA матрицы T – ортогональны и представляют проекции всех образцов на
одну новую координатную ось.
При исследовании данных методом PCA, особое внимание уделяется графикам
счетов. Они несут в себе информацию, полезную для понимания того, как устроены
данные. На графике счетов каждый образец изображается в координатах (ti, tj), чаще всего
– (t1, t2), обозначаемых PC1 и PC2. Близость двух точек означает их схожесть, т.е.
положительную корреляцию. Точки, расположенные под прямым углом, являются
некоррелироваными, а расположенные диаметрально противоположно – имеют
отрицательную корреляцию.
11

12. Метод главных компонент. Матрица нагрузок

Матрица нагрузок P – это матрица перехода из исходного пространства
переменных x1, …xJ (J-мерного) в пространство главных компонент (A-мерное). Каждая
строка матрицы P состоит из коэффициентов, связывающих переменные t и x.
Например, a-я строка – это проекция всех переменных x1, …xJ на a-ю ось главных
компонент. Каждый столбец P – это проекция соответствующей переменной xj на новую
систему координат.
График нагрузок применяется для исследования роли переменных. На этом
графике каждая переменная xj отображается точкой в координатах (pi, pj), например
(p1, p2). Анализируя его аналогично графику счетов, можно понять, какие переменные
связаны, а какие независимы. Совместное исследование парных графиков счетов и
нагрузок, также может дать много полезной информации о данных.
12

13. Особенности метода главных компонент

В основе метода главных компонент лежат следующие допущения:
допущение о том, что размерность данных может быть эффективно понижена
путем линейного преобразования;
допущение о том, что больше всего информации несут те направления, в которых
дисперсия входных данных максимальна.
Можно легко видеть, что эти условия далеко не всегда выполняются. Например,
если точки входного множества располагаются на поверхности гиперсферы, то никакое
линейное преобразование не сможет понизить размерность (но с этим легко справится
нелинейное преобразование, опирающееся на расстояние от точки до центра сферы).
Это недостаток в равной мере свойственен всем линейным алгоритмам и может быть
преодолен за счет использования дополнительных фиктивных переменных, являющихся
нелинейными функциями от элементов набора входных данных (т.н. kernel trick).
Второй недостаток метода главных компонент состоит в том, что направления,
максимизирующие дисперсию, далеко не всегда максимизируют информативность.
Например, переменная с максимальной дисперсией может не нести почти никакой
информации, в то время как переменная с минимальной дисперсией позволяет
полностью разделить классы. Метод главных компонент в данном случае отдаст
предпочтение первой (менее информативной) переменной. Вся дополнительная
информация, связанная с вектором (например, принадлежность образа к одному из
классов), игнорируется.
13

14. Пример данных для МГК

К. Эсбенсен. Анализ многомерных данных, сокр. пер. с англ. под
ред. О. Родионовой, Из-во ИПХФ РАН, 2005
14

15. Пример данных для МГК. Обозначения

Height
Рост: в сантиметрах
Weight
Вес: в килограммах
Hair
Волосы: короткие: –1, или длинные:
+1
Shoes
Обувь: размер по европейскому
стандарту
Age
Возраст: в годах
Income
Доход: в тысячах евро в год
Beer
Пиво: потребление в литрах в год
Wine
Вино: потребление в литрах в год
Sex
Пол: мужской: –1, или женский: +1
Strength
Сила: индекс, основанный на
проверке физических способностей
Region
Регион: север: –1, или юг: +1
IQ
Коэффициент интеллекта,
измеряемый по стандартному тесту
15

16. Матрица счетов

16

17. Матрица нагрузок

17

18. Объекты выборки в пространстве новых компонент

Женщины (F) обозначены кружками ● и ●, а
мужчины (M) – квадратами ■ и ■. Север (N)
представлен голубым ■, а юг (S) – красным
цветом ●.
Размер и цвет символов отражает доход – чем
больше и светлее, тем он больше. Числа
представляют возраст
18

19. Исходные переменные в пространстве новых компонент

19

20. График «каменистой осыпи» (scree plot)

20

21. Метод главных факторов

В парадигме метода главных факторов задача снижения размерности признакового
пространства выглядит так, что n признаков можно объяснить с помощью меньшего
количества m-латентных признаков - общих факторов, где m< исходными признаками и введёнными общими факторами (линейными комбинациями)
учитывают с помощью так называемых характерных факторов.
Конечная цель статистического исследования, проводимого с привлечением
аппарата факторного анализа, как правило, состоит в выявлении и интерпретации
латентных общих факторов с одновременным стремлением минимизировать как их
число, так и степень зависимости от своих специфических остаточных случайных
компонент.
Каждый признак
является результатом
воздействия m гипотетических общих и
одного характерного факторов:
X 1 a11 f1 a12 f 2 a1m f m d1V1
X a f a f a f d V
2
21 1
22 2
2m m
2
X n a n1 f1 a n 2 f 2 a nm f m d nVn
21

22. Вращение факторов

Вращение - это способ превращения факторов, полученных на предыдущем этапе,
в более осмысленные. Вращение делится на:
графическое (проведение осей, не применяется при более чем двухмерном
анализе),
аналитическое (выбирается некий критерий вращения, различают ортогональное и
косоугольное) и
матрично-приближенное (вращение состоит в приближении к некой заданной
целевой матрице).
Результатом вращения является вторичная структура факторов. Первичная
факторная структура (состоящая из первичных нагрузок (полученных на предыдущем
этапе) - это, фактически, проекции точек на ортогональные оси координат. Очевидно, что
если проекции будут нулевыми, то структура будет проще. А проекции будут нулевыми,
если точка лежит на какой-то оси. Таким образом, можно считать вращение переходом от
одной системы координат к другой при известных координатах в одной системе(
первичные факторы) и итеративно подбираемых координатах в другой системе
(вторичные факторы). При получении вторичной структуры стремятся перейти к такой
системе координат, чтобы провести через точки (объекты) как можно больше осей, чтобы
как можно больше проекции (и соответственно нагрузок) были нулевыми. При этом могут
сниматься ограничения ортогональности и убывания значимости от первого к последнему
факторам, характерные для первичной структуры.
22

23. Ортогональное вращение

подразумевает, что мы будем вращать факторы, но не
будем нарушать их ортогональности друг другу. Ортогональное вращение
подразумевает умножение исходной матрицы первичных нагрузок на ортогональную
матрицу R(такую матрицу, что
V=BR
Алгоритм ортогонального вращения в общем случае таков:
0. B - матрица первичных факторов.
1.
Ищем
ортогональную
матрицу
RT
размера
2*2
для
двух
столбцов(факторов) bi и bj матрицы B такую, что критерий для матрицы
R максимален.
2.
Заменяем столбцы bi и bj на столбцы
3.
Проверяем, все ли столбцы перебрали. Если нет, то переход на 1.
4.
Проверяем, что критерий для всей матрицы вырос. Если да, то переход на 1. Если
нет, то конец алгоритма.
.
23

24. Варимаксное вращение

Этот критерий использует формализацию
дисперсию квадратов нагрузок переменной:
сложности
фактора
через
Тогда критерий в общем виде можно записать как:
При этом, факторные нагрузки могут нормироваться для избавления от
влияния отдельных переменных.
24

25. Квартимаксное вращение

Формализуем понятие факторной сложности q i-ой переменной через
дисперсию квадратов факторных нагрузок факторов:
где r - число столбцов факторной матрицы, bij - факторная нагрузка j-го
фактора на i-ю переменную, - среднее значение. Критерий квартимакс старается
максимизировать сложность всей совокупности переменных, чтобы достичь
легкости интерпретации факторов (стремится облегчить описание столбцов):
Учитывая, что
- константа (сумма собственных чисел матрицы
ковариации) и раскрыв среднее значение (а также учтя, что степенная функция
растет пропорционально аргументу), получим окончательный вид критерия для
максимизации:
25

26. Критерии определения числа факторов

Главной проблемой факторного анализа является выделение и интерпретация
главных факторов. При отборе компонент исследователь обычно сталкивается с
существенными трудностями, так как не существует однозначного критерия выделения
факторов, и потому здесь неизбежен субъективизм интерпретаций результатов.
Существует несколько часто употребляемых критериев определения числа факторов.
Некоторые из них являются альтернативными по отношению к другим, а часть этих
критериев можно использовать вместе, чтобы один дополнял другой:
Критерий Кайзера или критерий собственных чисел. Этот критерий предложен
Кайзером, и является, вероятно, наиболее широко используемым. Отбираются только
факторы с собственными значениями равными или большими 1. Это означает, что если
фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной
переменной, то он опускается.
Критерий каменистой осыпи (англ. scree) или критерий отсеивания. Он является
графическим методом, впервые предложенным психологом Кэттелом. Собственные
значения возможно изобразить в виде простого графика. Кэттел предложил найти такое
место на графике, где убывание собственных значений слева направо максимально
замедляется. Предполагается, что справа от этой точки находится только
«факториальная осыпь» - «осыпь» является геологическим термином, обозначающим
обломки горных пород, скапливающиеся в нижней части скалистого склона.
26

27. Критерии определения числа факторов. Продолжение

Критерий значимости. Он особенно эффективен, когда модель генеральной
совокупности известна и отсутствуют второстепенные факторы. Но критерий непригоден
для поиска изменений в модели и реализуем только в факторном анализе по методу
наименьших квадратов или максимального правдоподобия.
Критерий доли воспроизводимой дисперсии. Факторы ранжируются по доле
детерминируемой дисперсии, когда процент дисперсии оказывается несущественным,
выделение следует остановить. Желательно, чтобы выделенные факторы объясняли
более 80 % разброса. Недостатки критерия: во-первых, субъективность выделения, вовторых, специфика данных может быть такова, что все главные факторы не смогут
совокупно объяснить желательного процента разброса. Поэтому главные факторы
должны вместе объяснять не меньше 50,1 % дисперсии.
Критерий интерпретируемости и инвариантности. Данный критерий сочетает
статистическую точность с субъективными интересами. Согласно ему, главные факторы
можно выделять до тех пор, пока будет возможна их ясная интерпретация. Она, в свою
очередь, зависит от величины факторных нагрузок, то есть если в факторе есть хотя бы
одна сильная нагрузка, он может быть интерпретирован. Возможен и обратный вариант -
если сильные нагрузки имеются, однако интерпретация затруднительна, от этой
компоненты предпочтительно отказаться.
27

28. Пример использования МГК

Пусть
имеются
следующие
показатели
экономической
деятельности
предприятия: трудоемкость (x1), удельный вес покупных изделий в продукции (x2),
коэффициент сменности оборудования (x3), удельный вес рабочих в составе предприятия
(x4), премии и вознаграждения на одного работника (x5), рентабельность (y). Линейная
регрессионная модель имеет вид:
y = b0 + b1*x1 + b2*x2 + b3*x3 + b4*x4 + b5*x5
x1
x2
x3
x4
x5
y
0,51
0,2
1,47
0,72
0,67
9,8
0,36
0,64
1,27
0,7
0,98
13,2
0,23
0,42
1,51
0,66
1,16
17,3
0,26
0,27
1,46
0,69
0,54
7,1
0,27
0,37
1,27
0,71
1,23
11,5
0,29
0,38
1,43
0,73
0,78
12,1
0,01
0,35
1,5
0,65
1,16
15,2
0,02
0,42
1,35
0,82
2,44
31,3
0,18
0,32
1,41
0,8
1,06
11,6
0,25
0,33
1,47
0,83
2,13
30,1
28

29. Пример использования МГК

Построение регрессионной модели в статистическом пакете показывает,
коэффициент X4 не значим (p-Value > α = 5%) , и его можно исключить из модели.
что
После исключения X4 снова запускается процесс построения модели.
29

30. Пример использования МГК

Критерий Кайзера для МГК показывает, что можно оставить 2 компоненты, объясняющие
около 80% исходной дисперсии.
Для выделенных компонент можно построить уравнения в исходной системе координат:
U1 = 0,41*x1 - 0,57*x2 + 0,49*x3 - 0,52*x5
U2 = 0,61*x1 + 0,38*x2 - 0,53*x3 - 0,44*x5
30

31. Пример использования МГК

Теперь можно построить в новых компонентах новую регрессионную модель:
y = 15,92 - 3,74*U1 - 3,87*U2
31

32. Метод сингулярного разложения (SVD)

Beltrami и Jordan считаются основателями теории сингулярного
разложения. Beltrami – за то, что он первым опубликовал работу о
сингулярном разложении, а Jordan – за элегантность и полноту своей
работы. Работа Beltrami появилась в журнале “Journal of Mathematics for
the Use of the Students of the Italian Universities” в 1873 году, основная
цель которой заключалась в том, чтобы ознакомить студентов с
билинейными формами.Суть метода в разложении матрицы A размера n
x m с рангом d = rank (M) <= min(n,m) в произведение матриц меньшего
ранга:
A =UDVT,
где матрицы U размера n x d и V размера m x d состоят из
ортонормальных столбцов, являющихся собственными векторами при
ненулевых собственных значениях матриц AAT и ATA соответственно и
UTU = V TV = I , а D размера d x d - диагональная матрица с
положительными диагональными элементами, отсортированными в
порядке убывания. Столбцы матрицы U представляют собой,
ортонормальный базис пространства столбцов матрицы A, а столбцы
матрицы V – ортонормальный базис пространства строк матрицы A.
32

33. Метод сингулярного разложения (SVD)

Важным свойством SVD-разложения является тот факт, что если
для k только из k наибольших диагональных элементов, а также
оставить в матрицах U и V только k первых столбцов, то матрица
Ak=UkDkVkT
будет являться лучшей аппроксимацией матрицы A относительно
нормы Фробениуса среди всех матриц с рангом k.
Это усечение во-первых уменьшает размерность векторного
пространства, снижает требования хранения и вычислительные
требования к модели.
Во-вторых, отбрасывая малые сингулярные числа, малые
искажения в результате шума в данных удаляются, оставляя
только самые сильные эффекты и тенденции в этой модели.

Познакомившись с понятиями факторной нагрузки и области совместных изменений, можно пойти дальше, снова привлекая для изложения аппарат матриц, элементами которых на этот раз будут коэффициенты корреляции.

Матрица коэффициентов корреляции, полученных, как правило, экспериментальным путем, называется матрицей корреляции, или корреляционной матрицей.

Элементы этой матрицы являются коэффициентами корреляции между всеми переменными данной совокупности.

Если мы имеем, например, набор, состоящий из тестов, то число коэффициентов корреляции, полученных экспериментальным путем, составит

Эти коэффициенты заполняют половину матрицы, находящуюся по одну сторону ее главной диагонали. По другую сторону находятся, очевидно, те же коэффициенты, так как и т. д. Поэтому корреляционная матрица симметрична.

Схема 3.2. Полная матрица корреляции

На диагонали этой матрицы находятся единицы, поскольку корреляция каждой переменной с самой собой равна +1.

Матрица корреляции, у которой элементы главной диагонали равны 1, называется «полной матрицей» корреляции (схема 3.2) и обозначается

Необходимо отметить, что, помещая на главной диагонали единицы, или корреляции каждой переменной с самой собой, мы учитываем полную дисперсию каждой переменной, представленной в матрице. Тем самым принимается во внимание влияние не только общих, но и специфичных факторов.

Наоборот, если на главной диагонали корреляционной матрицы находятся элементы соответствующие общностям и относящиеся лишь к общей дисперсии переменных, то учитывается влияние только общих факторов, элиминируется влияние специфичных факторов и ошибок, т. е. отбрасываются специфичность и дисперсия ошибок.

Матрица корреляции, в которой элементы главной диагонали соответствуют общностям, называется редуцированной и обозначается R (схема 3.3).

Схема 3.3. Редуцированная матрица корреляции

Выше уже говорилось о факторной нагрузке, или наполнении данной переменной конкретным фактором. При этом подчеркивалось, что факторная нагрузка имеет вид коэффициента корреляции между данной переменной и данным фактором.

Матрица, столбцы которой состоят из нагрузок данного фактора применительно ко всем переменным данной совокупности, а строки - из факторных нагрузок данной переменной, называется матрицей факторов, или факторной матрицей. Здесь также можно говорить о полной и редуцированной факторной матрице. Элементы полной факторной матрицы соответствуют полной единичной дисперсии каждой переменной из данной совокупности. Если нагрузки на общие факторы обозначить через с, а нагрузки специфичных факторов - через и, то полную факторную матрицу можно представить в следующем виде:

Схема 3.4. Полная факторная матрица для четырех переменных

Показанная здесь факторная матрица состоит из двух частей Первая часть содержит элементы, относящиеся к четырем переменным и трем общим факторам, причем предполагается, что все они относятся ко всем переменным. Это не есть необходимое условие, так как некоторые элементы первой части матрицы могут быть равными нулю, а это значит, что некоторые факторы относятся не ко всем переменным. Элементы первой части матрицы - это нагрузки общих факторов (например, элемент показывает нагрузку второго общего фактора при первой переменной).

Во второй части матрицы мы видим 4 нагрузки характерных факторов, по одной в каждой строке, что соответствует их характерности. Каждый из этих факторов относится лишь к одной переменной. Все другие элементы этой части матрицы равны нулю. Характерные факторы можно, очевидно, разбить на специфичные и обусловленные ошибками.

Столбец факторной матрицы характеризует фактор и его влияние на все переменные. Строка характеризует переменную и, ее наполненность различными факторами, иначе говоря, факторную структуру переменной.

При анализе только первой части матрицы мы имеем дело с факторной матрицей, показывающей общую дисперсию каждой переменной. Эта часть матрицы называется редуцированной и обозначается F. Эта матрица не учитывает нагрузки характерных факторов и не принимает во внимание специфичной дисперсии. Напомним, что в соответствии со сказанным выше об общих дисперсиях и факторных нагрузках, представляющих собой квадратные корни из общих дисперсий, сумма квадратов элементов каждой строки редуцированной факторной матрицы F равна общности данной переменной

Соответственно сумма квадратов всех элементов строки полной матрицы факторов равна , или полной дисперсии данной переменной.

Так как в факторном анализе основное внимание уделяется общим факторам, то мы в дальнейшем будем использовать главным образом редуцированную корреляционную и редуцированную факторную матрицу.

Если проводить факторный анализ как полагается, а не удовлтеоряться установками по умолчанию ("маленьким джиффи", как с насмешкой обозвали стандартный джентльменский набор методологи), предпочитаемым методом извлечения факторов является или метод максимального правдоподобия, или обобщенный метод наименьших квадратов. Вот тут-то нас может ожидать неприятность: процедура выдает сообщение об ошибке: correlation matrix is not positive definite. Что это означает, отчего случается и как бороться с проблемой?
Дело в том, что в процессе факторизации процедура выполняет поиск так называемой обратной матрицы по отношению к корреляционной. Здесь существует аналогия с привычными действительными числами: умножив число на обратное к нему число, мы должны получить единицу (например, 4 и 0.25). Однако для некоторых чисел обратных к ним не существует -- ноль невозможно умножить на что-то, что даст в итоге единицу. С матрицами та же история. Матрица, умноженная на обратную к ней матрицу, дает единичную матрицу (единицы стоят по диагонали, а все другие значения нулевые). Однако для некоторых матриц не существует обратных, а значит, провести для таких случаев факторный анализ становится невозможным. Выяснить данный факт можно при помощи особого числа, называющегося определителем (детерминантом). Если оно для матрицы стремится к нулю или отрицательное, то мы столкнулись с проблемой.
Каковы же причины этой ситуации? Чаще всего она возникает вследствие существования линейной зависимости между переменными. Звучит странно, поскольку именно такие зависимости мы ведь и ищем, используя многомерные методы. Однако, в случае, когда такие зависимости перестают быть вероятностными, становятся жестко детерминированными, алгоритмы многомерного анализа дают сбой. Рассмотрим следующий пример. Пусть у нас имеется такой набор данных:
data list free / V1 to V3. begin data. 1 2 3 2 1 2 3 5 4 4 4 5 5 3 1 end data. compute V4 = V1 + V2 + V3.
Последняя переменная представляет собой точную сумму первых трех. Когда возникает подобная ситуация в реальном исследовании? Когда мы включаем в набор переменных сырые баллы по субтестам и тесту в целом; когда количество переменных намного больше числа испытуемых (особенно если переменные сильно коррелируют или имеют ограниченный набор значений). В этом случае точные линейные зависимости могут возникать случайно. Часто зависимости являются артефактом процедуры измерения -- например, если подсчитываются проценты внутри наблюдений (скажем, процент высказываний определенного типа), используется метод ранжирования или распределения постоянной суммы, вводятся каие-то гораничения на выбор альтернатив и т.п. Как видим, вполне распространенные ситуации.
Если при проведении факторного анализа в SPSS вышеприведенного массива заказать вывод детерминанта и обратной корреляционной матрицы, то пакет сообщит о проблеме.
Как выявить группу переменных, которые создают мультиколлинеарность? Оказывается, старый добрый метод главных компонент, невзирая на линейную зависимость, продолжает работать и что-то выдает на-гора. Если увидите, что общности какой-то из переменных приближаются к 0.90-0.99, а собственные числа некоторых факторов становятся очень маленькими (или даже отрицательными), это нехороший знак. Закажите вдобавок вращение варимакс и посмотрите, какая группа переменных попала вместе с подозреваемой в преступной связи товаркой. Обычно и нагрузка ее на это фактор является необычно большой (0.99, к примеру). Если этот набор переменных небольшой, содержательно разнородный, исключена возможность артефактной линейной зависимости и выборка достаточно большая, то обнаружение такой связи можно считатьб не менее ценным результатом. Можно такую группу покрутить в регрессионном анализе: ту переменную, которая показала наибольшую нагрузку, сделать зависимой, а все остальные попробовать в качестве предикторов. R, т.е. коэффициент множественной корреляции, должен в этом случае быть равным 1. Если линейная связь очень запущенная, то регрессия молча выбросит еще какие-то из предикторов, смотрите внимательно, чего не хватает. Заказав дополнительно вывод диагностики мультиколлинеарности, можно в конце концов нащупать злополучный набор, образующий точную линейную зависимость.
Ну и, наконец, еще нресколько более мелких причин того, что корреляционная матрица не является положительно определенной. Это, во-первых, присутствие большого количества неответов. Иногда, чтобы использовать максимум имеющейся информации, исследователь заказывает обработку пропусков попарным способом. В итоге может получиться настолько "нелогичная" матрица связи, что модели факторного анализа она окажется не по зубам. Во-вторых, если вы решили факторизовать корреляционную матрицу, приведенную в литературе, вы можете столкнуться с негативным влиянием округления чисел.