Modul MS: Mathematische Statistik - Cheatsheet

Axiome der Wahrscheinlichkeit

Definition:

Axiome der Wahrscheinlichkeit sind grundlegende Regeln, die Wahrscheinlichkeitsverteilungen charakterisieren.

Details:

• Nichtnegativität: Für jedes Ereignis A gilt: \(P(A) \geq 0\).
• Normiertheit: Für das sichere Ereignis \(\Omega\) gilt: \(P(\Omega) = 1\).
• Endliche Additivität: Für disjunkte Ereignisse \(A_1, A_2, ..., A_n\) gilt: \(P\left(\bigcup_{i=1}^{n} A_i\right) = \sum_{i=1}^{n} P(A_i)\).

Zentraler Grenzwertsatz

Definition:

Der Zentrale Grenzwertsatz besagt, dass die Summe einer großen Anzahl unabhängiger, identisch verteilter Zufallsvariablen näherungsweise normalverteilt ist, unabhängig von der ursprünglichen Verteilung der Variablen.

Details:

• Gegeben eine Sequenz von unabhängigen und identisch verteilten Zufallsvariablen \(X_1, X_2, ..., X_n\).
• Jede \(X_i\) hat denselben Erwartungswert \(\mu\) und dieselbe Varianz \(\sigma^2\).
• Die normierte Summe \(\frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu)\) konvergiert in Verteilung gegen eine Normalverteilung: \(\frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu) \xrightarrow{d} N(0, \sigma^2)\).

Maximum-Likelihood-Schätzung

Definition:

Verfahren zur Parameterschätzung, das die Parameter eines Modells so bestimmt, dass die Wahrscheinlichkeit der beobachteten Daten maximiert wird.

Details:

• Grundidee: Schätze Parameter \(\theta\) durch Maximierung der Likelihood-Funktion \(L(\theta|x_1, ..., x_n)\).
• Die Likelihood-Funktion: \[L(\theta|x_1,...,x_n)=\prod_{i=1}^{n} f(x_i|\theta)\]
• Log-Likelihood zur Vereinfachung: \[l(\theta)=\log L(\theta|x_1,...,x_n)=\sum_{i=1}^{n} \log f(x_i|\theta)\]
• MLE durch Lösen: \(\frac{\partial l(\theta)}{\partial \theta} = 0\)
• Eigenschaften: Konsistenz, Asymptotische Normalität, Effizienz (unter bestimmten Bedingungen).

Bayesianische Schätzung

Definition:

Bayesianische Schätzung: Methode zur Parameterbestimmung unter Verwendung der Bayesschen Statistik. Dabei werden Vorwissen (a priori) und neue Daten (a posteriori) kombiniert.

Details:

• A priori-Verteilung: Vorwissen über den Parameter.
• Likelihood-Funktion: Wahrscheinlichkeit der Daten gegeben den Parameter.
• A posteriori-Verteilung: Aktualisierte Verteilung nach Berücksichtigung der neuen Daten. Formel: \[ P(\theta|x) = \frac{P(x|\theta)P(\theta)}{P(x)} \]
• Bayes‘ Theorem: Basis der Methode. Formel: \[ P(\theta|x) = \frac{P(x|\theta)P(\theta)}{\int P(x|\theta)P(\theta)d\theta} \]
• Interpretation: Kombination von Vorwissen und Daten führt zu besseren Schätzungen.

Typ-I und Typ-II Fehler

Definition:

Fehler, die bei Hypothesentests auftreten: Typ-I Fehler (Ablehnung einer wahren Nullhypothese) und Typ-II Fehler (Annahme einer falschen Nullhypothese).

Details:

• Typ-I Fehler (Fehler erster Art): Nullhypothese wahr, abgelehnt. Wahrscheinlichkeit: Signifikanzniveau (\(\alpha\)).
• Typ-II Fehler (Fehler zweiter Art): Nullhypothese falsch, angenommen. Wahrscheinlichkeit: \(\beta\).
• Power (Teststärke): \(1 - \beta\), Wahrscheinlichkeit, eine falsche Nullhypothese korrekt abzulehnen.
• Balancierung zwischen \(\alpha\) und \(\beta\) oft nötig.

Einfache lineare Regression

Definition:

Methode zur Modellierung der linearen Beziehung zwischen einer abhängigen Variablen und einer unabhängigen Variablen.

Details:

• Lineares Modell: \( Y = \beta_0 + \beta_1X + \epsilon \)
• \( \beta_0 \) (Achsenabschnitt) und \( \beta_1 \) (Steigung) mittels Kleinste-Quadrate-Schätzung bestimmt
• Residuum: \( \epsilon = Y - (\beta_0 + \beta_1X) \)
• Annahmen: Lineare Beziehung, Unabhängigkeit der Fehler, Homoskedastizität, Normalverteilung der Fehler
• Bestimmtheitsmaß: \( R^2 \) zur Bewertung der Anpassungsgüte

Bootstrap-Methoden

Definition:

Methode zur Schätzung der Verteilung einer Statistik durch Resampling mit Zurücklegen.

Details:

• Erzeugung von vielen Resamples von der Originalstichprobe
• Berechnung der Statistik für jedes Resample
• Verwendung der Resample-Statistiken zur Annäherung der Verteilung
• Gängige Anwendung: Konfidenzintervalle, Hypothesentests
• Annahme: Stichprobe repräsentativ für Population
• Formel für Schätzung mit Bootstrap: \[\theta^* = \frac{1}{B} \sum_{b=1}^{B} \theta (\textbf{x}^*_b)\]

Kernelschätzung

Definition:

Schätzung einer Wahrscheinlichkeitsdichte durch Glättung eines Histogramms mithilfe einer Kernfunktion.

Details:

• Zentrale Idee: Summe von verschobenen und skalierten kernfunktionen
• Formel: \[ \hat{f}_h(x) = \frac{1}{nh} \sum_{i=1}^{n} K \left(\frac{x - X_i}{h}\right) \]
• Parameter h (Bandbreite): bestimmt Glättungsgrad
• Kernfunktion K: üblicherweise symmetrisch und stetig, z.B. Gauß-Kernel, Epanechnikov-Kernel
• Eigenschaften: Konsistenz und Verzerrung-Bandbreiten Trade-Off