Multivariate Statistik - Exam

Aufgabe 1)

In einer Studie soll die Wirkung eines neuen Therapieverfahrens auf verschiedene psychologische Variablen untersucht werden. Es wurden 200 Probanden randomisiert in zwei Gruppen eingeteilt: eine Kontrollgruppe und eine Therapiegruppe. Die gemessenen Variablen umfassen Angst (gemessen durch einen Fragebogen), Depressionssymptome (gemessen durch einen standardisierten Test) und Selbstwirksamkeit (gemessen durch eine Skala). Die folgenden Analysen sollen durchgeführt werden, um die Wirkung der Therapie umfassend zu beurteilen:

a)

a) Durchführung einer MANOVA: Beschreibe die grundlegende Struktur und die Hypothesen eines MANOVA-Tests. Erkläre, wie die MANOVA-Ergebnisse interpretiert werden können, um festzustellen, ob es signifikante Unterschiede zwischen der Kontrollgruppe und der Therapiegruppe über die verschiedenen gemessenen Variablen gibt.

Lösung:

a) Durchführung einer MANOVA:

• Grundlegende Struktur eines MANOVA-Tests:

  • Die multivariate Varianzanalyse, kurz MANOVA, ist eine statistische Methode, die verwendet wird, um Unterschiede in mehr als einer abhängigen Variablen simultan zu bewerten.
  • In dieser Studie haben wir drei abhängige Variablen: Angst, Depressionssymptome und Selbstwirksamkeit.
  • Die unabhängige Variable ist die Gruppenzugehörigkeit (Kontrollgruppe vs. Therapiegruppe).

• Hypothesen eines MANOVA-Tests:

  • Nullhypothese (H₀): Es gibt keinen multivariaten Mittelwertunterschied der abhängigen Variablen (Angst, Depressionssymptome und Selbstwirksamkeit) zwischen den Gruppen (Kontrollgruppe und Therapiegruppe).
  • Alternativhypothese (H₁): Es gibt einen multivariaten Mittelwertunterschied der abhängigen Variablen zwischen den Gruppen.

• Interpretation der MANOVA-Ergebnisse:

  • Die Ergebnisse einer MANOVA werden häufig durch den Wilks-Lambda-Test zusammengefasst, der prüft, ob die gruppenspezifischen Mittelwerte der abhängigen Variablen signifikant voneinander abweichen.
  • Ein niedriger p-Wert (meistens unter 0,05) zeigt an, dass die Nullhypothese verworfen werden kann und es signifikante Unterschiede zwischen den Gruppen gibt.
  • Falls der MANOVA-Test signifikant ist, deutet dies darauf hin, dass es Unterschiede in Bezug auf die abhängigen Variablen zwischen den Gruppen gibt. Jedoch gibt er keine Auskunft darüber, welche spezifischen Variablen diese Unterschiede verursachen.
  • Um detaillierte Informationen zu erhalten, werden nachfolgende univariate ANOVAs oder post-hoc Tests auf jeder abhängigen Variable durchgeführt. Dies ermöglicht zu erkennen, welche spezifischen Variablen signifikante Unterschiede aufweisen.

b)

b) Fehlerwahrscheinlichkeit und Post-hoc-Analysen: Angenommen, die MANOVA zeigt einen signifikanten Gesamteffekt. Erkläre, wie Du vorgehen würdest, um die spezifischen Variablen zu identifizieren, die zu den beobachteten Unterschieden beitragen. Diskutiere die Bedeutung der Fehlerwahrscheinlichkeit und wie Du sie kontrollierst, insbesondere in Bezug auf multiple Vergleiche.

Lösung:

b) Fehlerwahrscheinlichkeit und Post-hoc-Analysen:

• Fortführung nach einem signifikanten MANOVA-Gesamteffekt:

  • Wenn die MANOVA einen signifikanten Gesamteffekt zeigt, weist dies darauf hin, dass es Unterschiede zwischen den Gruppen in den gemessenen Variablen gibt. Um herauszufinden, welche spezifischen Variablen zu diesen Unterschieden beitragen, werden folgende Schritte unternommen:
  • Durchführung univariater ANOVAs (Analysen der Varianz) für jede der abhängigen Variablen (Angst, Depressionssymptome und Selbstwirksamkeit). Diese Tests helfen zu bestimmen, welche der einzelnen Variablen signifikante Unterschiede zwischen der Kontrollgruppe und der Therapiegruppe aufweisen.

• Bedeutung der Fehlerwahrscheinlichkeit und Kontrolle von multiplen Vergleichen:

  • Bei der Durchführung von mehreren statistischen Tests steigt die Wahrscheinlichkeit, einen Typ-I-Fehler (fälschlicherweise die Nullhypothese ablehnen) zu begehen. Diese erhöhte Fehlerwahrscheinlichkeit wird als Inflationsgefahr bei multiplen Vergleichen bezeichnet.
  • Eine gängige Methode zur Kontrolle der Fehlerwahrscheinlichkeit bei multiplen Vergleichen ist die Bonferroni-Korrektur. Hierbei wird das Signifikanzniveau (\( \textit{α} \)) durch die Anzahl der durchgeführten Tests geteilt. Beispielsweise, wenn wir ein ursprünglich festgelegtes \( \textit{α} \) von 0,05 haben und drei separate ANOVAs durchführen, dann wäre das korrigierte Signifikanzniveau \( \frac{0,05}{3} = 0,017 \).
  • Obwohl die Bonferroni-Korrektur effektiv ist, neigt sie dazu, sehr konservativ zu sein und kann die Wahrscheinlichkeit für Typ-II-Fehler erhöhen (das Übersehen eines echten Effekts). Deswegen werden manchmal weniger konservative Methoden wie die Holm-Bonferroni-Methode oder die Kontrolle der falschen Entdeckungsrate (False Discovery Rate, FDR) verwendet.
  • Die Holm-Bonferroni-Methode sortiert die p-Werte der Tests und vergleicht jeden geordneten p-Wert mit einem zunehmend strengeren Schwellenwert, wodurch sie weniger konservativ als die ursprüngliche Bonferroni-Korrektur ist.
  • Die Kontrolle der falschen Entdeckungsrate (FDR) passt das Signifikanzniveau an, indem sie das Verhältnis der erwarteten falsch-positiven Ergebnisse zu den insgesamt signifikanten Ergebnissen berücksichtigt. Diese Methode ist flexibler und ermöglicht es, mehr wahre Signale zu entdecken, ohne die Fehlerrate drastisch zu erhöhen.

Aufgabe 2)

Du hast einen Datensatz mit den Variablen Alter, Gewicht, Geschlecht (männlich=1, weiblich=2) sowie einen fehlenden Wert in der Gewicht-Säule.

Der Datensatz sieht wie folgt aus:

Index | Alter | Gewicht | Geschlecht1 | 25 | 70 | 12 | 30 | NA | 23 | 22 | 65 | 14 | 28 | 72 | 25 | 35 | 80 | 1

a)

Datenbereinigung und Vorverarbeitung:

1.1 Entferne alle Zeilen mit fehlenden Werten und berechne den Mittelwert des Gewichts für den bereinigten Datensatz.

1.2 Eine andere Methode zur Behandlung fehlender Werte ist die Imputation. Imputiere den fehlenden Wert in der Gewichtsspalte mit dem Mittelwert der nicht fehlenden Werte. Gib den neuen Datensatz an.

Lösung:

• Datenbereinigung und Vorverarbeitung:
• 1.1 Entferne alle Zeilen mit fehlenden Werten und berechne den Mittelwert des Gewichts für den bereinigten Datensatz.

• 1. Entferne die Zeile mit den fehlenden Werten:

Index | Alter | Gewicht | Geschlecht1     | 25    | 70      | 13     | 22    | 65      | 14     | 28    | 72      | 25     | 35    | 80      | 1

• 2. Berechne den Mittelwert des Gewichts im bereinigten Datensatz:
Der Datensatz enthält nun die Gewichtswerte 70, 65, 72 und 80. Der Mittelwert wird wie folgt berechnet:

• Der bereinigte Mittelwert des Gewichts beträgt: 71.75 kg

• 1.2 Eine andere Methode zur Behandlung fehlender Werte ist die Imputation. Imputiere den fehlenden Wert in der Gewichtsspalte mit dem Mittelwert der nicht fehlenden Werte. Gib den neuen Datensatz an:Um die Imputation durchzuführen:
  • 1. Berechne den Mittelwert der nicht fehlenden Werte:
  Der vorhandene Datensatz:

  Index | Alter | Gewicht | Geschlecht1     | 25    | 70      | 13     | 22    | 65      | 14     | 28    | 72      | 25     | 35    | 80      | 1

  Der vorhandene Mittelwert beträgt 71.75 kg.
  • 2. Ersetze den fehlenden Wert durch diesen Mittelwert:

  Index | Alter | Gewicht | Geschlecht1     | 25    | 70      | 12     | 30    | 71.75   | 23     | 22    | 65      | 14     | 28    | 72      | 25     | 35    | 80      | 1

  • Der neue Datensatz nach der Imputation ist:
  Index | Alter | Gewicht | Geschlecht1 | 25 | 70 | 12 | 30 | 71.75 | 23 | 22 | 65 | 14 | 28 | 72 | 25 | 35 | 80 | 1

Aufgabe 3)

Du arbeitest als Datenanalyst in einem psychologischen Forschungsprojekt. Deine Aufgabe ist es, ein lineares Regressionsmodell zu erstellen, um die allgemeine Lebenszufriedenheit (abhängige Variable, y) anhand von drei unabhängigen Variablen vorherzusagen: Einkommen (x_1), wöchentliche Arbeitsstunden (x_2) und Schlafdauer pro Nacht in Stunden (x_3). Gegeben sind die folgenden Daten:

• Ein Einkommen von 45.000 Euro pro Jahr
• Eine durchschnittliche Arbeitszeit von 40 Stunden pro Woche
• Eine durchschnittliche Schlafdauer von 7 Stunden pro Nacht

Die allgemeine Lebenszufriedenheit wird auf einer Skala von 1 bis 10 gemessen. Verwende die folgenden Schätzmethoden und diagnostischen Techniken, um das Modell zu erstellen und zu optimieren:

• Modellformel: y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + \text{Fehler}
• Kleinste-Quadrate-Methode (OLS)
• Güte des Modells: R^2, Adjustiertes R^2, F-Test
• Modelldiagnostik: Residuenanalyse, Multikollinearitätsprüfung (VIF)
• Modelloptimierung: Schrittweise Regression, Regularisierungstechniken (Lasso, Ridge)

a)

Erste Teilaufgabe: Modellerstellung

Erstelle das lineare Regressionsmodell basierend auf den gegebenen Daten und ermittele die Koeffizienten \( \beta_0, \beta_1, \beta_2 \) und \( \beta_3 \), indem Du die Kleinste-Quadrate-Methode (OLS) anwendest. Zeige alle Berechnungen und Schritte deines Lösungsweges auf.

Lösung:

Erste Teilaufgabe: Modellerstellung

Um das lineare Regressionsmodell basierend auf den gegebenen Daten zu erstellen und die Koeffizienten \( \beta_0, \beta_1, \beta_2 \) und \( \beta_3 \) zu ermitteln, wenden wir die Kleinste-Quadrate-Methode (OLS) an. Hier sind die Schritte und Berechnungen im Detail:

• Schritt 1: Spezifizierung des Modells

Das lineare Regressionsmodell ist wie folgt formuliert:

\( y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + \text{Fehler} \)

• Schritt 2: Vorbereitung der Daten

Die gegebenen Daten sind:

• Ein Einkommen von 45.000 Euro pro Jahr (x_1)
• Eine durchschnittliche Arbeitszeit von 40 Stunden pro Woche (x_2)
• Eine durchschnittliche Schlafdauer von 7 Stunden pro Nacht (x_3)
• Schritt 3: Erstellung der Designmatrix und des Zielvektors

Da wir nur einen Datensatz haben, wird die Designmatrix X und der Zielvektor y wie folgt aussehen:

import numpy as np# Designmatrix (mit einer Spalte für den Bias-Term)X = np.array([[1, 45000, 40, 7]])# Zielvektor (Beispieldaten: Die Lebenszufriedenheit, die gemessen wurde)# Da wir keine spezifische Lebenszufriedenheit y gegeben haben, nehmen wir hier ein Beispiel any = np.array([8])  # Dies ist die abhängige Variable

Wir berechnen die Koeffizienten mithilfe der Normalengleichungen:

\( (X^T X) \beta = X^T y \)

# Transponierte von XX_transpose = X.T# Berechnung der Koeffizienten β = (X^T X)^-1 X^T ybeta = np.linalg.inv(X_transpose.dot(X)).dot(X_transpose).dot(y)# Ausgabe der Koeffizienten β0, β1, β2 und β3beta

Die resultierenden Koeffizienten \( \beta_0, \beta_1, \beta_2 \) und \( \beta_3 \) spiegeln den Einfluss von Einkommen, Arbeitsstunden und Schlafdauer auf die allgemeine Lebenszufriedenheit wider. Diese Koeffizienten werden genutzt, um die Lebenszufriedenheit vorherzusagen:

\( y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 \)

Zusammenfassung: Wir haben ein lineares Regressionsmodell erstellt und die Koeffizienten mithilfe der Kleinste-Quadrate-Methode (OLS) ermittelt. Die spezifischen Werte von \( \beta_0, \beta_1, \beta_2 \) und \( \beta_3 \) sollten mit tatsächlichen Lebenszufriedenheitsdaten berechnet werden.

b)

Zweite Teilaufgabe: Modelldiagnostik

Überprüfe die Güte deines Modells mithilfe von R^2, adjustiertem R^2 und dem F-Test. Analysiere im Anschluss die Residuen, um eventuelle Muster oder Auffälligkeiten zu identifizieren. Berechne außerdem den Variance Inflation Factor (VIF) für jede unabhängige Variable und interpretiere das Ergebnis in Bezug auf Multikollinearität.

Lösung:

Zweite Teilaufgabe: Modelldiagnostik

Um die Güte deines Modells zu überprüfen und die Modelldiagnostik durchzuführen, müssen wir folgende Schritte durchlaufen:

• Schritt 1: Berechnung von $R^2$, adjustiertem $R^2$ und dem F-Test
• Schritt 2: Residuenanalyse
• Schritt 3: Multikollinearitätsprüfung (VIF)

Wir verwenden dafür Python und die Module numpy, scikit-learn und statsmodels.

Schritt 1: Berechnung von $R^2$, adjustiertem $R^2$ und dem F-Test

Der Bestimmtheitsmaß ($R^2$) gibt den Anteil der Varianz in der abhängigen Variable an, der durch die unabhängigen Variablen erklärt wird. Das adjustierte $R^2$ berücksichtigt die Anzahl der Prädiktoren im Modell und bestraft die Hinzufügung irrelevanter Variablen. Der F-Test prüft die Gesamtbedeutung des Modells.

import numpy as npfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import r2_scoreimport statsmodels.api as sm# Beispielhafte Daten X und yX = np.array([[45000, 40, 7]])X_bias = sm.add_constant(X)  # Hinzufügen des Bias Terms (Konstante)y = np.array([8])  # Beispielhafter Wert für Lebenszufriedenheit# Lineares Regressionsmodellmodel = LinearRegression().fit(X, y)y_pred = model.predict(X)# Berechnung von R^2r_squared = r2_score(y, y_pred)# Berechnung des adjustierten R^2n = X.shape[0]  # Anzahl der Beobachtungenk = X.shape[1]  # Anzahl der Prädiktorenadjusted_r_squared = 1 - (1-r_squared)*(n-1)/(n-k-1)# Berechnung des F-Wertesols_model = sm.OLS(y, X_bias).fit()f_statistic = ols_model.fvalue# Ausgabe der Ergebnisseprint('R^2:', r_squared)print('Adjustiertes R^2:', adjusted_r_squared)print('F-Test Statistik:', f_statistic)

Schritt 2: Residuenanalyse

Die Residuenanalyse hilft dabei, Muster oder Auffälligkeiten in den Residuen zu identifizieren, die möglicherweise auf Probleme im Modell hinweisen (z.B. Heteroskedastizität).

import matplotlib.pyplot as plt# Berechnung der Residuenresiduals = y - y_pred# Residuen Plotplt.scatter(y_pred, residuals)plt.xlabel('Vorhergesagte Werte')plt.ylabel('Residuen')plt.title('Residuenanalyse')plt.axhline(y=0, color='r', linestyle='--')plt.show()

Schritt 3: Multikollinearitätsprüfung (VIF)

Der Variance Inflation Factor (VIF) misst, wie stark die Varianz einer geschätzten Regressionskoeffizienten erhöht wird, wenn die unabhängigen Variablen korreliert sind. Ein hoher VIF-Wert (größer als 5 oder 10) kann auf Multikollinearität hinweisen.

from statsmodels.stats.outliers_influence import variance_inflation_factor# Berechnung der VIF-Wertevif_data = [variance_inflation_factor(X_bias, i) for i in range(X_bias.shape[1])]# Ausgabe der VIF-Werteprint('Variance Inflation Factor (VIF):')for i, vif in enumerate(vif_data):    print(f'VIF für Feature {i}: {vif}')

Beachte, dass in diesem Beispiel nur ein Datensatz vorliegt, weswegen einige Statistiken keinen Sinn ergeben oder zu fehlerhaften Interpretationen führen können. Realistische Analysen erfordern eine größere Datenmenge.

Zusammenfassung:

Wir haben die Güte des Modells mithilfe von $R^2$, dem adjustierten $R^2$ und dem F-Test überprüft. Anschließend haben wir die Residuen analysiert, um eventuelle Muster oder Auffälligkeiten zu identifizieren. Schließlich haben wir den Variance Inflation Factor (VIF) für jede unabhängige Variable berechnet, um das Modell auf Multikollinearität zu prüfen.

c)

Dritte Teilaufgabe: Modelloptimierung

Optimiere Dein Modell mithilfe der schrittweisen Regression und Regularisierungstechniken wie Lasso und Ridge. Vergleiche die Ergebnisse dieser Techniken und erläutere, welches optimierte Modell am besten geeignet ist, um die allgemeine Lebenszufriedenheit vorherzusagen. Diskutiere auch, warum eine Regularisierung notwendig sein könnte.

Lösung:

Dritte Teilaufgabe: Modelloptimierung

Um das Modell zur Vorhersage der allgemeinen Lebenszufriedenheit zu optimieren, verwenden wir schrittweise Regression sowie Regularisierungstechniken wie Lasso und Ridge. Hier sind die Schritte und Methoden im Detail:

• Schritt 1: Schrittweise Regression

Die schrittweise Regression ist eine Technik, bei der Variablen hinzugefügt oder entfernt werden, basierend auf bestimmten Kriterien wie dem p-Wert, um das beste Vorhersagemodell zu finden.

Hier ist ein Beispiel für schrittweise Regression:

import pandas as pddf = pd.DataFrame({    'x1': [45000],    'x2': [40],    'x3': [7],    'y': [8]})  # Beispielhafte Datenimport statsmodels.api as smdef stepwise_selection(X, y,        initial_list=[],        threshold_in=0.01,        threshold_out=0.05):    included = list(initial_list)    while True:        changed = False        # Try adding features        excluded = list(set(X.columns) - set(included))        new_pval = pd.Series(index=excluded)        for new_column in excluded:            model = sm.OLS(y, sm.add_constant(pd.DataFrame(X[included + [new_column]]))).fit()            new_pval[new_column] = model.pvalues[new_column]        best_pval = new_pval.min()        if best_pval < threshold_in:            best_feature = new_pval.idxmin()            included.append(best_feature)            changed = True            if not changed:                break    return includedX = df[['x1', 'x2', 'x3']]y = df['y']result = stepwise_selection(X, y)print('Ausgewählte Features:', result)

Lasso (Least Absolute Shrinkage and Selection Operator) ist eine Regularisierungstechnik, die sowohl zur Merkmalsauswahl als auch zur Regularisierung verwendet wird. Sie minimiert den Fehlerterm unter zusätzlicher Berücksichtigung der Summe der absoluten Werte der Koeffizienten. Hier ist ein Beispiel:

from sklearn.linear_model import Lasso# Lasso-Regressionmodell = Lasso(alpha=1.0)modell.fit(X, y)# Ausgabe der Koeffizientenbeta_lasso = modell.coef_print('Lasso Koeffizienten:', beta_lasso)

Die Ridge-Regression ist eine andere Form der Regularisierung, die anstelle der absoluten Werte der Koeffizienten die Summe der Quadrate der Koeffizienten minimiert. Hier ist ein Beispiel:

from sklearn.linear_model import Ridge# Ridge-Regressionmodell = Ridge(alpha=1.0)modell.fit(X, y)# Ausgabe der Koeffizientenbeta_ridge = modell.coef_print('Ridge Koeffizienten:', beta_ridge)

Nachdem wir die Modelle erstellt haben, können wir sie anhand von Kriterien wie dem R^2-Wert, der Residuenanalyse und dem Modellfehlstand vergleichen:

# Vergleich von R^2 und Residuen für alle drei Modelleols_r_squared = ols_model.rsquaredlasso_r_squared = modell.score(X, y)ridge_r_squared = modell.score(X, y)# Ausgabe der R^2-Werteprint('OLS R^2:', ols_r_squared)print('Lasso R^2:', lasso_r_squared)print('Ridge R^2:', ridge_r_squared)

Zusammenfassung und Diskussion

Warum eine Regularisierung notwendig sein kann:

• Regularisierung hilft dabei, Überanpassung (Overfitting) zu vermeiden, indem sie die Complexity des Modells reduziert.
• Sie kann irrelevante Merkmale eliminieren oder deren Einfluss minimieren.
• Dies führt zu einem stabileren und generalisierbareren Modell, besonders wenn viele Merkmale oder Korrelationen zwischen den Merkmalen existieren.

Durch das Vergleichen der R^2-Werte und anderer Modellgüte-Maße können wir feststellen, welches Modell am besten geeignet ist. Angenommen, das Ridge-Modell zeigt eine bessere Balance zwischen Bias und Varianz, könnte es als das robusteste Modell angesehen werden.

Endergebnis: Wir optimieren das Modell mithilfe der schrittweisen Regression und Regularisierungstechniken Lasso und Ridge. Von den drei analysierten Modellen (OLS, Lasso, Ridge) wählen wir das Modell mit der besten Performance und interpretierbaren Ergebnissen aus.

Aufgabe 4)

Angenommen, Du führst eine Faktoranalyse durch, um die zugrunde liegenden Faktoren eines Datensatzes von psychologischen Messungen zu bestimmen. Dabei stehen Dir verschiedene Extraktionsmethoden zur Verfügung, jede mit ihren eigenen Vor- und Nachteilen. Deine Aufgabe ist es, die am besten geeignete Methode auszuwählen und die Analysen entsprechend durchzuführen.

b)

Teilaufgabe B:

Die Maximum-Likelihood-Methode basiert auf der Annahme der multivariaten Normalverteilung und der Schätzung von Parametern, die die beobachtete Kovarianz am besten erklären. Erläutere, wie diese Methode verwendet wird, um Faktoren zu extrahieren und beschreibe die mathematischen Grundlagen dieser Methode. Welche Vorteile bietet die Maximum-Likelihood-Methode im Vergleich zu PCA?

Lösung:

Teilaufgabe B:

Die Maximum-Likelihood-Methode (ML) ist eine statistische Methode zur Schätzung von Modellparametern, indem sie die Wahrscheinlichkeit maximiert, dass die beobachteten Daten unter dem Modell auftreten. In der Faktoranalyse wird die ML-Methode verwendet, um Faktoren zu extrahieren, die die zugrunde liegende Struktur von psychologischen Messdaten erklären. Diese Methode basiert auf der Annahme einer multivariaten Normalverteilung der Daten und zielt darauf ab, die Parameter zu schätzen, die die beobachtete Kovarianzmatrix am besten erklären.

Hier sind die Hauptkonzepte und Schritte der ML-Methode zur Faktoranalyse:

• 1. Modellannahmen: Angenommen wird ein Modell, in dem die beobachteten Variablen als lineare Kombination von latenten Faktoren und einem Fehlerterm dargestellt werden.

 X = \Lambda F + \epsilon 

• \(X\) ist ein Vektor der beobachteten Variablen.
• \(\Lambda\) ist die Faktorladungsmatrix.
• \(F\) ist ein Vektor der latenten Faktoren.
• \(\epsilon\) ist ein Vektor der Fehlerterme.
• \(\Sigma\) ist die Kovarianzmatrix der Fehlerterme.

• 2. Likelihood-Funktion: Die Likelihood-Funktion wird definiert, die die Wahrscheinlichkeit der beobachteten Daten unter dem gegebenen Modell beschreibt.

 \mathcal{L}(\Lambda, \Sigma) = P(X|\Lambda, \Sigma) 

• \(\mathcal{L}(\Lambda, \Sigma)\) ist die Likelihood-Funktion.
• \(P(X|\Lambda, \Sigma)\) ist die Wahrscheinlichkeit der beobachteten Daten gegeben das Modell.

• 3. Maximierung der Likelihood-Funktion: Die Parameter \(\Lambda\) und \(\Sigma\) werden so geschätzt, dass die Likelihood-Funktion maximiert wird. Das bedeutet, dass die Werte von \(\Lambda\) und \(\Sigma\), die die beobachtete Kovarianzmatrix am besten erklären, gefunden werden.

 \hat{\Lambda}, \hat{\Sigma} = \underset{\Lambda, \Sigma}{\text{argmax}} \mathcal{L}(\Lambda, \Sigma) 

• \(\hat{\Lambda}\) und \(\hat{\Sigma}\) sind die geschätzten Parameter.
• \(\text{argmax}\) bedeutet, dass die Parameter so gewählt werden, dass sie die Likelihood-Funktion maximieren.

• 4. Iterative Optimierung: Diese Maximierungsaufgabe wird in der Regel mit iterativen Optimierungstechniken wie dem Erwartungs-Maximierungs-Algorithmus (EM-Algorithmus) durchgeführt.

Die Vorteile der Maximum-Likelihood-Methode im Vergleich zur PCA:

• 1. Modellbasiert: Im Gegensatz zur PCA, die eine rein deskriptive Methode ist, basiert die ML-Methode auf einem statistischen Modell, das Annahmen über die Daten trifft. Dies ermöglicht eine fundiertere Interpretation der Ergebnisse.
• 2. Schätzung von Unsicherheiten: Die ML-Methode ermöglicht es, Konfidenzintervalle für die geschätzten Parameter zu berechnen, was bei PCA nicht möglich ist.
• 3. Hypothesentests: Die ML-Methode erlaubt es, Hypothesen über die Faktorenstruktur zu testen, z.B. durch Likelihood-Ratio-Tests.
• 4. Anpassung an spezifizierte Modelle: Die ML-Methode kann an spezifische Modelle angepasst werden, die zusätzliche Struktur oder Einschränkungen für die Faktoren und Fehlerterme umfassen.

Zusammengefasst ermöglicht die Maximum-Likelihood-Methode eine fundierte, modellbasierte Schätzung der zugrunde liegenden Faktoren in einem Datensatz und bietet mehrere Vorteile gegenüber der PCA in Bezug auf Unsicherheitsabschätzung und Hypothesentests.

c)

Teilaufgabe C:

Vergleiche die Principal Axis Factoring (PAF) Methode mit der Alpha-Faktor-Analyse. Wie unterscheidet sich PAF in der Schätzung der Kommunalitäten von der Alpha-Faktor-Analyse? Erläutere die Unterschiede unter Berücksichtigung der jeweiligen mathematischen Formeln und Erklärungen.

Lösung:

Teilaufgabe C:

Sowohl Principal Axis Factoring (PAF) als auch die Alpha-Faktor-Analyse sind Methoden der Faktoranalyse, die darauf abzielen, Faktoren zu extrahieren, die die Beziehungen zwischen beobachteten Variablen erklären. Hier sind die Unterschiede zwischen den beiden Methoden, insbesondere in Bezug auf die Schätzung der Kommunalitäten:

Principal Axis Factoring (PAF)

• Initialschätzung der Kommunalitäten: In der PAF-Methode werden die initialen Kommunalitäten (\(h_i^2\)) häufig auf Basis der quadrierten multiplen Korrelationen jeder Variable mit allen anderen Variablen geschätzt:

 h_i^2 = R_{ii}^2 

• \(h_i^2\) ist die initiale Schätzung der Kommunalität für die i-te Variable.
• \(R_{ii}^2\) ist die multiple Korrelation der i-ten Variable mit den anderen Variablen.

 \mathbf{R} \mathbf{\Lambda} = \mathbf{\Lambda} \mathbf{D} 

• \(\mathbf{R}\) ist die Korrelationsmatrix.
• \(\mathbf{\Lambda}\) ist die Faktorladungsmatrix.
• \(\mathbf{D}\) ist die Diagonalmatrix der Eigenwerte.

Alpha-Faktor-Analyse

Die Alpha-Faktor-Analyse ist eine spezialisierte Methode der Faktoranalyse, die spezielle Annahmen über die Struktur der Fehlerterme macht.

• Modellannahme: Die Methode basiert darauf, dass die Fehlerterme zusätzliche Faktoren enthalten:

 \mathbf{X} = \mathbf{\Lambda} \mathbf{F} + \mathbf{\epsilon} 

• \(\mathbf{X}\) sind die beobachteten Variablen.
• \(\mathbf{\Lambda}\) ist die Faktorladungsmatrix.
• \(\mathbf{F}\) sind die Faktoren.
• \(\mathbf{\epsilon}\) sind die Fehlerterme mit zusätzlichen Faktoren.

 h_i^2 = \sum_{k=1}^m \lambda_{ik}^2 

• \(h_i^2\) ist die Kommunalität der i-ten Variable.
• \(\lambda_{ik}\) sind die Ladungen der Alpha-Faktoren.

Vergleich der Methoden

• Initialisierung und Iteration: PAF beginnt mit initialen Schätzungen der Kommunalitäten und passt diese iterativ an, während die Alpha-Faktor-Analyse eine direkte Schätzung der Kommunalitäten auf Basis der Alpha-Faktorladeungen vornimmt.
• Fehlerterme: Die Alpha-Faktor-Analyse berücksichtigt spezielle Strukturen der Fehlerterme, was in PAF nicht der Fall ist. PAF konzentriert sich auf die Minimierung der einzigartigen Varianz der Variablen.
• Anwendungsflexibilität: PAF ist flexibil und robuster bei unterschiedlichen Datenstrukturen, während die Alpha-Faktor-Analyse spezifische Vorauskenntnisse über die Datenstruktur erfordert.

Insgesamt bietet PAF eine robuste und iterative Methode zur Schätzung von Kommunalitäten, während die Alpha-Faktor-Analyse eine spezifischere, modellbasierte Methode darstellt. Jede Methode hat ihre eigenen Vorteile und ist je nach Anwendungsfall unterschiedlich geeignet.

d)

Teilaufgabe D:

Du möchtest die Anzahl der signifikanten Faktoren bestimmen und erwägst die Parallelanalyse als Methode. Beschreibe, wie die Parallelanalyse dieses Problem angeht, und formuliere einen Schritt-für-Schritt-Ansatz zur Durchführung dieser Methode. Erkläre dabei, wie der Vergleich der Eigenwerte von realen und randomisierten Daten erfolgt und wie daraus die Entscheidung über die Anzahl der zu extrahierenden Faktoren getroffen wird.

Lösung:

Teilaufgabe D:

Die Parallelanalyse ist eine statistische Methode zur Bestimmung der Anzahl signifikanter Faktoren in einer Faktoranalyse. Sie vergleicht die Eigenwerte der Kovarianzmatrix des ursprünglichen Datensatzes mit denen von zufällig generierten (randomisierten) Datensätzen. Faktoren, deren Eigenwerte größer sind als die entsprechenden Eigenwerte der randomisierten Daten, werden als signifikant betrachtet.

Hier ist ein Schritt-für-Schritt-Ansatz zur Durchführung der Parallelanalyse:

Schritt-für-Schritt-Ansatz zur Parallelanalyse

• Schritt 1: Durchführung der Faktoranalyse
  • Berechne die Eigenwerte der Kovarianzmatrix des ursprünglichen Datensatzes.
• Schritt 2: Erstellung randomisierter Datensätze
  • Generiere eine große Anzahl (z.B. 1000) randomisierter Datensätze, die dieselbe Anzahl von Beobachtungen und Variablen wie der ursprüngliche Datensatz enthalten.
  • Die Randomisierung erfolgt durch Zufallsgenerierung, wobei jede Variable unabhängig von den anderen zufällig permutiert wird.
• Schritt 3: Berechnung der Eigenwerte für randomisierte Datensätze
  • Führe für jeden randomisierten Datensatz eine Faktoranalyse durch und berechne die Eigenwerte der Kovarianzmatrix.
• Schritt 4: Aggregation der Eigenwerte
  • Berechne für jede der k Faktoren die durchschnittlichen Eigenwerte über alle randomisierten Datensätze hinweg.
• Schritt 5: Vergleich der Eigenwerte
  • Vergleiche die Eigenwerte des ursprünglichen Datensatzes mit den durchschnittlichen Eigenwerten der randomisierten Datensätze.
  • Ein Faktor wird als signifikant betrachtet, wenn sein Eigenwert größer ist als der entsprechende durchschnittliche Eigenwert der randomisierten Datensätze.
• Schritt 6: Bestimmung der Anzahl signifikanter Faktoren
  • Die Anzahl der zu extrahierenden Faktoren entspricht der Anzahl der Faktoren, deren Eigenwerte größer sind als die durchschnittlichen Eigenwerte der randomisierten Datensätze.

Beispielhafte Illustration

Angenommen, wir haben einen Datensatz mit 10 Variablen und führen eine Parallelanalyse durch:

• Schritt 1: Die Eigenwerte der Kovarianzmatrix des ursprünglichen Datensatzes sind z.B. 5.0, 3.0, 2.0, 1.5, 1.0, 0.8, 0.6, 0.4, 0.2, und 0.1.
• Schritt 2 und 3: Für jeden der 1000 randomisierten Datensätze berechnen wir die Eigenwerte der Kovarianzmatrix und aggregieren die Ergebnisse.
• Schritt 4: Die durchschnittlichen Eigenwerte der randomisierten Datensätze könnten z.B. 1.5, 1.4, 1.3, 1.2, 1.1, 1.0, 0.9, 0.8, 0.7 und 0.6 sein.
• Schritt 5: Wir vergleichen die Eigenwerte des ursprünglichen Datensatzes (5.0, 3.0, 2.0, ...) mit den durchschnittlichen Eigenwerten der randomisierten Datensätze (1.5, 1.4, 1.3, ...).
• Schritt 6: Da die ersten drei Eigenwerte des ursprünglichen Datensatzes (5.0, 3.0, 2.0) größer sind als die ersten drei durchschnittlichen Eigenwerte der randomisierten Datensätze (1.5, 1.4, 1.3), bestimmen wir, dass es drei signifikante Faktoren gibt.

Zusammengefasst: Die Parallelanalyse bietet eine robuste Methode zur Bestimmung der Anzahl signifikanter Faktoren, indem sie die Eigenwerte des ursprünglichen Datensatzes mit denen von randomisierten Datensätzen vergleicht. Diese Methode hilft, die Extraktion zu entscheiden und gleichzeitig die Gefahr zu vermindern, zufällige Varianz als signifikante Faktoren zu interpretieren.