Schätzverfahren in der Regelungstechnik - Cheatsheet

Einführung in stochastische Prozesse und Zufallsvariablen

Definition:

Einführung in stochastische Prozesse und Zufallsvariablen; stochastische Prozesse beschreiben Systeme, die sich zufällig entwickeln; Zufallsvariablen repräsentieren zufällige Größen

Details:

• Stochastische Prozesse: Familien von Zufallsvariablen \( X = (X_t)_{t \in T} \) auf einem gemeinsamen Wahrscheinlichkeitsraum
• Wichtige Klassen: Diskrete und kontinuierliche Prozesse, z.B. Binomialprozess, Wiener-Prozess
• Zufallsvariablen: Funktion \( X: \Omega \rightarrow \mathbb{R} \), die jedem Ergebnis eines Zufallsexperiments eine Zahl zuweist
• Verteilungsfunktion: \[ F_X(x) = P(X \leq x) \]
• Erwartungswert: \[ E[X] = \int_{-\infty}^{\infty} x f_X(x) dx \] (für stetige ZVs)
• Varianz: \[ Var(X) = E[(X - E[X])^2] \]

Eigenschaften von Schätzern: Erwartungstreue, Konsistenz, Effizienz

Definition:

Eigenschaften von Schätzern: Erwartungstreue, Konsistenz, Effizienz

Details:

• Erwartungstreue: Ein Schätzer ist erwartungstreu, wenn der Erwartungswert des Schätzers gleich dem wahren Wert des Parameters ist.
• Mathematisch: \( E(\hat{\theta}) = \theta \)
• Konsistenz: Ein Schätzer ist konsistent, wenn er für eine steigende Stichprobenanzahl gegen den wahren Parameterwert konvergiert.
• Mathematisch: \( \hat{\theta}_{n} \xrightarrow{P} \theta \)
• Effizienz: Ein Schätzer ist effizient, wenn er unter allen möglichen erwartungstreuen Schätzern die kleinste Varianz besitzt.
• Mathematisch: Varianz ist minimal bei: \( \text{Var}(\hat{\theta}) \leq \text{Var}(\tilde{\theta}) \)

Bayessche Theoreme und A-priori Wissen

Definition:

Bayesscher Satz kombiniert A-priori Wissen (\textit{prior probability}) mit neuen Daten (\textit{likelihood}), um verbesserte Schätzungen (\textit{posterior probability}) zu erhalten.

Details:

• Bayesscher Satz: \[ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} \]
• P(A|B): Posterior Wahrscheinlichkeit
• P(A): A-priori Wahrscheinlichkeit
• P(B|A): Likelihood
• P(B): Gesamte Wahrscheinlichkeit von B

Kovarianz-Matrizen und ihre Rolle

Definition:

Kovarianz-Matrizen quantifizieren die Abhängigkeiten zwischen den Elementen eines Zufallsvektors.

Details:

• Kovarianz-Matrix: \Sigma = E[(X - \mu)(X - \mu)^T]
• Symmetrisch und positiv semidefinit
• Erforderlich für Zustands- und Parameterabschätzung
• Hilft bei der Fehleranalyse und Unsicherheitsquantifizierung in Schätzverfahren

Rekursionsformeln und deren Implementierung im Kalman-Filter

Definition:

Rekursionsformeln im Kalman-Filter dienen der laufenden Berechnung und Aktualisierung von Zustands- und Fehlerkovarianzschätzungen eines dynamischen Systems auf Basis neuer Messdaten.

Details:

• Zustandsvorhersage: \[\textbf{x}_{k|k-1} = \textbf{F}_{k-1} \textbf{x}_{k-1|k-1} + \textbf{B}_{k-1} \textbf{u}_{k-1}\]
• Fehlerkovarianzvorhersage: \[\textbf{P}_{k|k-1} = \textbf{F}_{k-1} \textbf{P}_{k-1|k-1} \textbf{F}_{k-1}^\top + \textbf{Q}_{k-1}\]
• Berechnung des Kalman-Gewichts: \[\textbf{K}_k = \textbf{P}_{k|k-1} \textbf{H}_k^\top (\textbf{H}_k \textbf{P}_{k|k-1} \textbf{H}_k^\top + \textbf{R}_k)^{-1}\]
• Zustandsaktualisierung: \[\textbf{x}_{k|k} = \textbf{x}_{k|k-1} + \textbf{K}_k (\textbf{z}_k - \textbf{H}_k \textbf{x}_{k|k-1})\]
• Fehlerkovarianzaktualisierung: \[\textbf{P}_{k|k} = (\textbf{I} - \textbf{K}_k \textbf{H}_k) \textbf{P}_{k|k-1}\]

Maximum-Likelihood-Schätzer für verschiedene Wahrscheinlichkeitsverteilungen

Definition:

Maximum-Likelihood-Schätzer (ML-Schätzer) nutzt die Likelihood-Funktion, um die Parameter einer Wahrscheinlichkeitsverteilung zu schätzen, die die beobachteten Daten am wahrscheinlichsten macht.

Details:

• Bisektionsmethode oft verwendet zur numerischen Bestimmung von ML-Schätzern.
• Allgemein für beliebige Verteilungen nutzbar: Normalverteilung, Exponentialverteilung, etc.
• Normalverteilung: \( \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i \) und \( \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \hat{\mu})^2 \)
• Exponentialverteilung: \( \hat{\lambda} = \frac{n}{\sum_{i=1}^{n} x_i} \)
• Voraussetzt Differenzierbarkeit der Likelihood-Funktion.
• Stichprobenverteilung der ML-Schätzer asymptotisch normal verteilt (bei großem n).

Posterior-Verteilungen und deren Berechnungen

Definition:

Satzungen der Parameter eines Modells basierend auf der Verteilung der Daten nach der Beobachtung.

Details:

• Bayesscher Ansatz: Posterior-Verteilung proportional zu Likelihood und Prior
• Formel: \[ P(\theta|x) = \frac{P(x|\theta) P(\theta)}{P(x)} \]
• Numerische Methoden: MCMC, Gibbs Sampler
• Schätzverfahren in der Regelungstechnik: Oft verwendet zur Identifikation und Kalibrierung von Modellen

Anwendung des Kalman-Filters in Echtzeitverarbeitung

Definition:

Anwendung des Kalman-Filters zur Echtzeitverarbeitung von Signalen zur Schätzung des Zustands eines Systems basierend auf verrauschten Messungen.

Details:

• Weißes, gaußsches Rauschen und lineare Systeme vorausgesetzt
• Zwei Hauptschritte: Vorhersage (\textit{Predict}) und Korrektur (\textit{Update})
• Vorhersage-Schritt: \[ \textbf{x}_{k|k-1} = \textbf{A}\textbf{x}_{k-1} + \textbf{B}\textbf{u}_{k-1} \] \[ \textbf{P}_{k|k-1} = \textbf{A}\textbf{P}_{k-1}\textbf{A}^T + \textbf{Q} \]
• Korrektur-Schritt: \[ \textbf{K}_k = \textbf{P}_{k|k-1}\textbf{H}^T(\textbf{H}\textbf{P}_{k|k-1}\textbf{H}^T + \textbf{R})^{-1} \] \[ \textbf{x}_k = \textbf{x}_{k|k-1} + \textbf{K}_k(\textbf{z}_k - \textbf{H}\textbf{x}_{k|k-1}) \] \[ \textbf{P}_k = (\textbf{I} - \textbf{K}_k\textbf{H})\textbf{P}_{k|k-1} \]
• Echtzeitanwendungen: Navigationssysteme, Robotik, Finanzdatenschätzung