Statistical Signal Processing - Cheatsheet

Grundlagen der Wahrscheinlichkeit und Statistik

Definition:

Definiton und grundlegende Konzepte zu Wahrscheinlichkeitsrechnung und Statistik.

Details:

• Zufallsvariable: Variable mit einer bestimmten Verteilung
• Verteilungen: Normalverteilung, Exponentialverteilung, Binomialverteilung
• Erwartungswert: \(E[X] = \sum x_i p(x_i)\)
• Varianz: \(Var(X) = E[(X - E[X])^2]\)
• Gesetz der großen Zahlen und zentraler Grenzwertsatz
• Häufigkeit vs. Wahrscheinlichkeit
• Schätzmethoden: Maximum-Likelihood, Methode der kleinsten Quadrate
• Bayes-Theorem: \(P(A|B) = \frac{P(B|A) P(A)}{P(B)}\)
• Korrelation und Kausalität

Maximum-Likelihood-Schätzung

Definition:

Schätzverfahren zur Parameterbestimmung, die die Wahrscheinlichkeit der beobachteten Daten maximiert.

Details:

• Gegeben: Datensatz \(\boldsymbol{x} = [x_1, x_2, \ldots, x_n]\) und Wahrscheinlichkeitsdichtefunktion \(\boldsymbol{p(x | \theta)}\)
• Ziel: Schätzung des Parameters \(\theta\) durch Maximierung der Likelihood-Funktion \( L( \theta; \boldsymbol{x}) = \prod_{i=1}^n p(x_i | \theta) \)
• Log-Likelihood: \( \ln L( \theta; \boldsymbol{x}) = \sum_{i=1}^n \ln p(x_i | \theta) \)
• Schätzparameter: \( \hat{\theta} = \arg\max_\theta \ln L( \theta; \boldsymbol{x}) \)

Bayessche Schätzung

Definition:

Stell eine Wahrscheinlichkeit ein, basierend auf vorherigen Daten und neuen Beobachtungen.

Details:

• Bayessches Theorem: \[ P(A|B) = \frac{P(B|A) \, P(A)}{P(B)} \]
• A-priori-Wahrscheinlichkeit: Wissen vor der Beobachtung, \( P(\theta) \).
• Likelihood: Wahrscheinlichkeit der Beobachtungen basierend auf den Parametern, \( P(D|\theta) \).
• A-posteriori-Wahrscheinlichkeit: Aktualisierte Wahrscheinlichkeit nach der Beobachtung, \( P(\theta|D) \).
• Beispiel: Schätzwerte für Parameter basierend auf vorheriger Verteilung und neuen Daten.

ARMA- und ARIMA-Modelle

Definition:

ARMA- und ARIMA-Modelle: Stochastische Modelle zur Analyse und Vorhersage zeitlicher Daten, basierend auf Autoregression (AR) und gleitendem Durchschnitt (MA).

Details:

• ARMA-Modell: Kombiniert Autoregressive (AR) und Moving Average (MA) Modelle.
• AR-Modell: AR(p) beschreibt einen Wert als Linearkombination seiner vorherigen p Werte.
• MA-Modell: MA(q) beschreibt einen Wert als Linearkombination der vorherigen q Fehler hinsichtlich eines weißen Rauschens.
• Formel ARMA(p,q): \[x_t = \sum_{i=1}^p \varphi_i x_{t-i} + \sum_{i=1}^q \theta_i \epsilon_{t-i} + \epsilon_t\]
• ARIMA-Modell: Integrierter ARMA-Prozess, beinhaltet Differenzierung zur Stationarisierung.
• Formel ARIMA(p,d,q)\[(1 - \sum_{i=1}^p \varphi_i L^i) (1 - L)^d x_t = (1 + \sum_{i=1}^q \theta_i L^i) \epsilon_t\]
• d = Differenzierungsgrad um Stationarität zu erreichen.
• Verwendung: Zeitreihenanalyse, Prognose.

Spektrale Methoden in der Zeitreihenanalyse

Definition:

Spektrale Methoden analysieren frequenzbasierte Eigenschaften von Zeitreihen und nutzen Fourier-Transformationen zur Identifikation periodischer Muster.

Details:

• Fourier-Transformation: Umwandlung von Zeit- in Frequenzdomäne
• Leistungsspektrum (Power Spectrum): Verteilung der Signalenergie über Frequenzen
• Periodogramm: Geschätztes Leistungsspektrum einer Zeitreihe
• Spektraldichte: Smoothed Version des Periodogramms
• Definition der Frequenzen: \( f = \frac{k}{N \Delta t} \) für \( k = 0, 1, ..., N-1 \)
• Fourier-Koeffizienten: \( X(f) = \sum_{t=0}^{N-1} x(t) e^{-i 2 \pi f t} \)

Fourier-Transformation und ihre Anwendungen

Definition:

Fourier-Transformation wandelt zeitliche Signale in ihre Frequenzkomponenten um.

Details:

• Direkte Transformation: \( X(f) = \int_{-\infty}^{\infty} x(t) e^{-i 2 \pi f t} dt \)
• Inverse Transformation: \( x(t) = \int_{-\infty}^{\infty} X(f) e^{i 2 \pi f t} df \)
• Eigenschaften: Linearität, Zeit- und Frequenzverschiebung, Faltungstheorem
• Diskrete Fourier-Transformation (DFT): Verwendung in der digitalen Signalverarbeitung
• Schnelle Fourier-Transformation (FFT): Algorithmus zur effizienten Berechnung der DFT

LMS-Algorithmus (Least Mean Squares)

Definition:

LMS-Algorithmus, auch bekannt als Least-Mean-Squares-Algorithmus, ist ein adaptives Filterungs- und Schätzverfahren, das zur Minimierung des Mittelwertquadrats des Fehlers zwischen dem geschätzten Signal und dem gewünschten Signal verwendet wird.

Details:

• Ziel: Minimierung der Kostenfunktion \( E[e^2(n)] \)
• Anwendbar bei adaptiven Filteralgorithmen in Echtzeitsystemen
• Aktualisierungsregel für die Filterkoeffizienten: \[ w(n+1) = w(n) + \mu \cdot e(n) \cdot x(n) \]
• \( e(n) = d(n) - y(n) \): Fehlerterm
• \( y(n) = w(n)^T \cdot x(n) \): Ausgangssignal
• \( \mu \): Schrittweite, bestimmt Konvergenzgeschwindigkeit und Stabilität
• Kompromiss zwischen schneller Konvergenz und geringem Überschwingen notwendig

RLS-Algorithmus (Recursive Least Squares)

Definition:

RLS-Algorithmus wird verwendet zur adaptiven Filterung und für Online-Schätzungen von Parametern.

Details:

• Minimiert die quadratische Fehlerfunktion: \( J(n) = \frac{1}{2} \boldsymbol{e}^T(n) \boldsymbol{e}(n) \) mit \( \boldsymbol{e}(n) = \boldsymbol{d}(n) - \boldsymbol{X}(n)^T \boldsymbol{w}(n) \)
• Aktualisierung der Gewichtungsvektoren: \( \boldsymbol{w}(n+1) = \boldsymbol{w}(n) + \boldsymbol{K}(n) [\boldsymbol{d}(n) - \boldsymbol{X}^T(n) \boldsymbol{w}(n)] \)
• Gain-Vektor: \( \boldsymbol{K}(n) = \frac{\boldsymbol{P}(n-1) \boldsymbol{X}(n)}{\boldsymbol{\tau} + \boldsymbol{X}^T(n) \boldsymbol{P}(n-1) \boldsymbol{X}(n)} \)
• Update der P-Matrix: \( \boldsymbol{P}(n) = \frac{1}{\boldsymbol{\tau}} (\boldsymbol{P}(n-1) - \boldsymbol{K}(n) \boldsymbol{X}^T(n) \boldsymbol{P}(n-1)) \)
• Verwendet eine Exponentialgewichtung der Fehler: \( \tau \rightarrow 1 \) für wenig Vergessen, \( \tau < 1 \) für mehr Vergessen.