Schätzverfahren in der Regelungstechnik - Exam

Aufgabe 1)

Angenommen, Du hast einen stochastischen Prozess \( X_t \) , der das Verhalten eines Systems beschreibt, das sich zufällig über die Zeit entwickelt. Dieser Prozess hat die folgenden Eigenschaften:

• Der stochastische Prozess beginnt zur Zeit \( t = 0 \) mit einem Anfangswert \( X_0 = 5 \).
• Für jede weitere Zeit \( t \in \{1, 2, 3, ...\} \) folgt \( X_t \) einer Zufallsvariablen, die normalverteilt ist mit Mittelwert \( \mu = 2 \) und Varianz \( \sigma^2 = 4 \).
• Sei \( Y = 3X_2 - X_1 \).

a)

Berechne den Erwartungswert \( E[Y] \).

Lösung:

Erwartungswert berechnen

Der stochastische Prozess hat die folgenden Eigenschaften:

• Der stochastische Prozess beginnt zur Zeit t = 0 mit einem Anfangswert X_0 = 5.
• Für jede weitere Zeit t \in \{1, 2, 3, ...\} folgt X_t einer Zufallsvariablen, die normalverteilt ist mit Mittelwert \mu = 2 und Varianz \sigma^2 = 4.
• Sei Y = 3X_2 - X_1.

Zur Berechnung des Erwartungswerts von Y verwenden wir die linearität des Erwartungswerts:

• Erwartungswert von X_1: \[ E[X_1] = \mu = 2 \]
• Erwartungswert von X_2: \[ E[X_2] = \mu = 2 \]

Um den Erwartungswert E[Y] zu berechnen, nutzen wir die Linearität des Erwartungswerts: \[ E[Y] = E[3X_2 - X_1] \] Dies lässt sich weiter zerlegen in: \[ E[Y] = 3E[X_2] - E[X_1] \] Einsetzen der Erwartungswerte ergibt: \[ E[Y] = 3 \cdot 2 - 2 = 6 - 2 = 4 \] Der Erwartungswert E[Y] beträgt 4.

b)

Berechne die Varianz \( Var(Y) \).

Lösung:

Varianz berechnen

Gegeben ist der stochastische Prozess mit den folgenden Eigenschaften:

• Der stochastische Prozess beginnt zur Zeit t = 0 mit einem Anfangswert X_0 = 5.
• Für jede weitere Zeit t \in \{1, 2, 3, ...\} folgt X_t einer Zufallsvariablen, die normalverteilt ist mit Mittelwert \mu = 2 und Varianz \sigma^2 = 4.
• Sei Y = 3X_2 - X_1.

Um die Varianz von Y zu berechnen, verwenden wir die Tatsache, dass die Varianz einer Linearkombination von unabhängigen Zufallsvariablen wie folgt berechnet werden kann: Die Varianz eines stochastischen Prozesses X_t mit gegebenen Eigenschaften ist:

• Varianz von X_1: \[ \text{Var}(X_1) = \sigma^2 = 4 \]
• Varianz von X_2: \[ \text{Var}(X_2) = \sigma^2 = 4 \]

Da X_1 und X_2 unabhängige Zufallsvariablen sind, gilt: \[ \text{Var}(Y) = \text{Var}(3X_2 - X_1) \] Das ergibt: \[ \text{Var}(Y) = 3^2 \cdot \text{Var}(X_2) + (-1)^2 \cdot \text{Var}(X_1) \] Einsetzen der Varianzen: \[ \text{Var}(Y) = 9 \cdot 4 + 1 \cdot 4 = 36 + 4 = 40 \] Die Varianz \text{Var}(Y) beträgt 40.

c)

Bestimme die Verteilungsfunktion von \( X_1 \) und \( X_2 \).

Lösung:

Verteilungsfunktion von X₁ und X₂

Gegeben ist ein stochastischer Prozess, der die folgenden Eigenschaften hat:

• Der stochastische Prozess beginnt zur Zeit t = 0 mit einem Anfangswert X₀ = 5.
• Für jede weitere Zeit t \in \{1, 2, 3, ...\} folgt X_t einer Zufallsvariablen, die normalverteilt ist mit Mittelwert \mu = 2 und Varianz \sigma^2 = 4.

Da X₁ und X₂ unabhängig sind und beide derselben Normalverteilung folgen, können wir die Verteilungsfunktion der Normalverteilung mit gegebenen Parametern bestimmen. Eine Normalverteilung lässt sich durch die Dichtefunktion beschreiben:

• Mittelwert \mu = 2
• Varianz \sigma^2 = 4 (Standardabweichung \sigma = \sqrt{4} = 2)

Die Dichtefunktion einer normalverteilten Zufallsvariablen X ist: \[ f(X) = \frac{1}{\sigma \sqrt{2\pi}} \exp\left(-\frac{(X - \mu)^2}{2\sigma^2}\right) \] Für X₁ und X₂ ist die Dichtefunktion daher:

• \[ f(X) = \frac{1}{2 \sqrt{2\pi}} \exp\left(-\frac{(X - 2)^2}{8}\right) \]

Die Verteilungsfunktion F(X) (d.h. die kumulative Verteilungsfunktion) für X₁ und X₂ ist die Integrale der Dichtefunktion: \[ F(X) = P(X \leq x) = \int_{-\infty}^{x} \frac{1}{2 \sqrt{2\pi}} \exp\left(-\frac{(t - 2)^2}{8}\right) dt \] Die Verteilungsfunktion von X₁ und X₂ basiert auf der Normalverteilung mit \mu = 2 und \sigma^2 = 4 .

d)

Überlege, ob \( X_t \) ein diskreter oder ein kontinuierlicher stochastischer Prozess ist, und begründe Deine Antwort.

Lösung:

Diskreter oder kontinuierlicher stochastischer Prozess?

Gegeben: Ein stochastischer Prozess X_t mit den folgenden Eigenschaften:

• Der stochastische Prozess beginnt zur Zeit t = 0 mit einem Anfangswert X_0 = 5.
• Für jede weitere Zeit t \in \{1, 2, 3, ...\} folgt X_t einer Zufallsvariablen, die normalverteilt ist mit Mittelwert \mu = 2 und Varianz \sigma^2 = 4.

Zu lösende Aufgabe: Bestimmen, ob X_t ein diskreter oder kontinuierlicher stochastischer Prozess ist, und begründen. Antwort: Ein stochastischer Prozess kann wie folgt charakterisiert werden:

• Ein Prozess ist diskret, wenn er zu diskreten Zeitpunkten Werte annimmt, also beispielsweise nur für t = 0, 1, 2, ...
• Ein Prozess ist kontinuierlich, wenn er zu jedem beliebigen Zeitpunkt Werte annimmt, also auf einem kontinuierlichen Zeitintervall definiert ist.

Bei dem gegebenen Prozess X_t:

• Es ist angegeben, dass X_t zu festen, diskreten Zeitpunkten t \in \{0, 1, 2, ...\} betrachtet wird.
• Da t eine diskrete Menge von Zeitpunkten ist, wird der Prozess X_t entsprechend auch nur zu diesen diskreten Zeitpunkten definiert.

Schlussfolgerung: Der stochastische Prozess X_t ist ein diskreter stochastischer Prozess, weil er nur zu bestimmten diskreten Zeitpunkten betrachtet wird und Werte annimmt.

Aufgabe 2)

In einem Regelungssystem werden die Parameter eines Transferfunktionsmodells geschätzt. Du hast drei verschiedene Schätzer zur Verfügung:

• Schätzer A: Dieser Schätzer benutzt Stichproben, um den Wert des Parameters zu schätzen.
• Schätzer B: Dieser Schätzer verwendet ein Glättungsverfahren, um die Schätzung zu verbessern.
• Schätzer C: Dieser Schätzer basiert auf einer Maximum-Likelihood-Schätzung.

a)

Angenommen, der wahre Wert des Parameters \( \theta \) beträgt 5. Die erwarteten Werte der geschätzten Parameter (\( \hat{\theta} \)) und deren Varianz für die drei Schätzer sind wie folgt:

• Für Schätzer A: \( E( \hat{\theta}_A ) = 5, \text{Var}( \hat{\theta}_A ) = 2 \)
• Für Schätzer B: \( E( \hat{\theta}_B ) = 4.8, \text{Var}( \hat{\theta}_B ) = 1.5 \)
• Für Schätzer C: \( E( \hat{\theta}_C ) = 5, \text{Var}( \hat{\theta}_C ) = 1.2 \)

Beurteile die Erwartungstreue, Konsistenz und Effizienz der drei Schätzer.

Lösung:

Um die Schätzer A, B, und C zu beurteilen, betrachten wir die Konzepte Erwartungstreue, Konsistenz und Effizienz.

• Erwartungstreue: Ein Schätzer ist erwartungstreu, wenn der Erwartungswert des geschätzten Parameters dem wahren Parameterwert entspricht. Dies bedeutet, dass der Schätzer im Mittelwert korrekt ist.
• Für Schätzer A: \(\text{E}( \hat{\theta}_A ) = 5\), also ist Schätzer A erwartungstreu.
• Für Schätzer B: \(\text{E}( \hat{\theta}_B ) = 4.8\), also ist Schätzer B nicht erwartungstreu, da der Erwartungswert nicht gleich dem wahren Wert (5) ist.
• Für Schätzer C: \(\text{E}( \hat{\theta}_C ) = 5\), also ist Schätzer C erwartungstreu.
• Konsistenz: Ein Schätzer ist konsistent, wenn er mit zunehmender Stichprobengröße immer genauer wird, d.h., die Varianz des Schätzers geht gegen Null und der Erwartungswert konvergiert gegen den wahren Parameterwert. Da in der Aufgabe keine Stichprobengrößen gegeben sind, können wir die Konsistenz hier nicht direkt beurteilen. Beachten wir jedoch, dass erwartungstreue Schätzer oft auch konsistent sind.
• Effizienz: Ein Schätzer ist effizient, wenn er unter allen erwartungstreuen Schätzern die geringste Varianz aufweist.
• Für Schätzer A: \(\text{Var}( \hat{\theta}_A ) = 2\).
• Für Schätzer C: \(\text{Var}( \hat{\theta}_C ) = 1.2\). Da die Schätzer A und C beide erwartungstreu sind, vergleichen wir ihre Varianzen. Schätzer C hat die geringere Varianz und ist daher effizienter als Schätzer A.

Zusammenfassung:

• Schätzer A ist erwartungstreu, und hat eine Varianz von 2.
• Schätzer B ist nicht erwartungstreu.
• Schätzer C ist erwartungstreu und effizienter als A, da er eine geringere Varianz (1.2) aufweist.

b)

Angenommen, Du hast eine große Stichprobe und möchtest den effizientesten Schätzer für den Parameter \( \theta \) wählen. Welcher Schätzer würdest Du auswählen und warum? Begründe Deine Wahl mathematisch anhand der gegebenen Varianzen.

Lösung:

Um den effizientesten Schätzer für den Parameter \( \theta \) zu wählen, betrachten wir die gegebenen Varianzen der drei Schätzer. Effizienz eines Schätzers bedeutet, dass er unter allen erwartungstreuen Schätzern die geringste Varianz hat. In der Aufgabe sind die Varianzen wie folgt gegeben:

• Für Schätzer A: \( \text{Var}( \hat{\theta}_A ) = 2 \)
• Für Schätzer B: \( \text{Var}( \hat{\theta}_B ) = 1.5 \)
• Für Schätzer C: \( \text{Var}( \hat{\theta}_C ) = 1.2 \)

Da Du eine große Stichprobe hast, ist die Konsistenz der Schätzer außerdem ein wichtiger Faktor, weil konsistente Schätzer mit zunehmender Stichprobengröße immer exakter werden. Die erwartungstreuen Schätzer (A und C) sind in der Regel auch konsistent.

• Schätzer A ist erwartungstreu und hat eine Varianz von 2.
• Schätzer B ist nicht erwartungstreu, daher weniger geeignet unabhängig von seiner Varianz.
• Schätzer C ist erwartungstreu und hat die geringste Varianz von 1.2.

Da Schätzer C sowohl erwartungstreu als auch effizient (aufgrund der geringsten Varianz) ist, ist Schätzer C die beste Wahl für die Schätzung des Parameters \( \theta \).

Mathematisch ausgedrückt:

 \( \text{Var}( \hat{\theta}_A ) = 2 \)  \( \text{Var}( \hat{\theta}_B ) = 1.5 \)  \( \text{Var}( \hat{\theta}_C ) = 1.2 \) 

Da \( \text{Var}( \hat{\theta}_C ) < \text{Var}( \hat{\theta}_A ) \) und \( \text{Var}( \hat{\theta}_C ) < \text{Var}( \hat{\theta}_B ) \), wähle ich Schätzer C aufgrund seiner Effizienz und erwartungstreuen Eigenschaften.

Aufgabe 3)

In einem Produktionsbetrieb wird die Qualität der hergestellten Teile durch eine Inspektion überprüft. Es gibt zwei Maschinen, Maschine A und Maschine B, die jeweils einen Anteil der Produktion übernehmen. Die Wahrscheinlichkeit, dass Maschine A ein defektes Teil produziert, beträgt 5%. Für Maschine B beträgt diese Wahrscheinlichkeit 1%. Maschine A produziert 60% der gesamten Teile, während Maschine B 40% produziert. Ein Teil wird zufällig ausgewählt und als defekt erkannt.

b)

Berechne die Wahrscheinlichkeit, dass ein zufällig ausgewähltes Teil defekt ist. Verwende die gegebenen Wahrscheinlichkeiten für die einzelnen Maschinen und ihre Produktionsanteile.

Lösung:

Um die Wahrscheinlichkeit zu berechnen, dass ein zufällig ausgewähltes Teil defekt ist, verwenden wir die Wahrscheinlichkeiten für die einzelnen Maschinen und ihre Produktionsanteile. Hierbei nutzen wir die totale Wahrscheinlichkeit.

Die Gesamtwahrscheinlichkeit, dass ein Teil defekt ist, kann mit der Formel der totalen Wahrscheinlichkeit berechnet werden:

• \[ P(\text{defekt}) = P(\text{defekt} | A) \, P(A) + P(\text{defekt} | B) \, P(B) \]

Hierbei sind:

• \(P(\text{defekt})\): Die Wahrscheinlichkeit, dass ein Teil defekt ist.
• \(P(\text{defekt} | A)\): Die Wahrscheinlichkeit, dass ein Teil defekt ist, gegeben dass es von Maschine A produziert wurde. Diese Wahrscheinlichkeit beträgt 5% oder 0,05.
• \(P(A)\): Die Wahrscheinlichkeit, dass ein Teil von Maschine A produziert wurde. Diese Wahrscheinlichkeit beträgt 60% oder 0,6.
• \(P(\text{defekt} | B)\): Die Wahrscheinlichkeit, dass ein Teil defekt ist, gegeben dass es von Maschine B produziert wurde. Diese Wahrscheinlichkeit beträgt 1% oder 0,01.
• \(P(B)\): Die Wahrscheinlichkeit, dass ein Teil von Maschine B produziert wurde. Diese Wahrscheinlichkeit beträgt 40% oder 0,4.

Wir setzen die Werte in die Formel ein:

• \[ P(\text{defekt}) = (0,05 \, * \, 0,6) + (0,01 \, * \, 0,4) \]

Wir berechnen dies schrittweise:

• \[ P(\text{defekt}) = 0,05 \, * \, 0,6 + 0,01 \, * \, 0,4 \]
• \[ P(\text{defekt}) = 0,03 + 0,004 \]
• \[ P(\text{defekt}) = 0,034 \]

Die Wahrscheinlichkeit, dass ein zufällig ausgewähltes Teil defekt ist, beträgt also 0,034 oder 3,4%.

c)

Ein neues Inspektionssystem wird eingeführt, das die Wahrscheinlichkeit, ein defektes Teil korrekt zu erkennen, auf 98% steigert. Angenommen, ein defektes Teil wurde korrekt erkannt. Bestimme die aktualisierte Wahrscheinlichkeit, dass dieses Teil von Maschine A produziert wurde.

Lösung:

Um die aktualisierte Wahrscheinlichkeit zu berechnen, dass ein korrekt als defekt erkanntes Teil von Maschine A produziert wurde, nutzen wir den Bayesschen Satz unter Berücksichtigung der Erkennungsrate des neuen Inspektionssystems.

Der Bayessche Satz lautet:

• \[ P(A|D) = \frac{P(D|A) \, P(A)}{P(D)} \]

Hierbei sind:

• \(P(A|D)\): Die Wahrscheinlichkeit, dass das Teil von Maschine A produziert wurde, gegeben dass es als defekt erkannt wurde.
• \(P(D|A)\): Die Wahrscheinlichkeit, dass das Teil als defekt erkannt wurde, gegeben dass es von Maschine A stammt.
• \(P(A)\): Die Wahrscheinlichkeit, dass ein Teil von Maschine A produziert wurde (0,6).
• \(P(D)\): Die Wahrscheinlichkeit, dass ein Teil als defekt erkannt wird.

Zunächst bestimmen wir \(P(D|A)\), die Wahrscheinlichkeit, dass ein defektes Teil von Maschine A als defekt erkannt wird:

• \[ P(D|A) = P(\text{Erkennung} | \text{defekt, A}) \, P(\text{defekt} | A) \]

• \[ P(D|A) = 0,98 \, * \, 0,05 = 0,049 \]

Für Maschine B ist diese Wahrscheinlichkeit:

• \[ P(D|B) = P(\text{Erkennung} | \text{defekt, B}) \, P(\text{defekt} | B) \]

• \[ P(D|B) = 0,98 \, * \, 0,01 = 0,0098 \]

Nun berechnen wir \(P(D)\), die Wahrscheinlichkeit, dass ein Teil als defekt erkannt wird, unter Berücksichtigung beider Maschinen:

• \[ P(D) = (P(D|A) \, P(A)) + (P(D|B) \, P(B)) \]

• \[ P(D) = (0,049 \, * \, 0,6) + (0,0098 \, * \, 0,4) \]

Wir berechnen:

• \[ P(D) = 0,0294 + 0,00392 = 0,03332 \]

Nun wenden wir den Bayesschen Satz an:

• \[ P(A|D) = \frac{0,049 \, * \, 0,6}{0,03332} \]

Wir berechnen:

• \[ P(A|D) = \frac{0,0294}{0,03332} \, ≈ \, 0,8821 \]

Die aktualisierte Wahrscheinlichkeit, dass das korrekt als defekt erkannte Teil von Maschine A produziert wurde, beträgt also etwa 88,21%.

Aufgabe 4)

Gegeben sei ein Zufallsvektor X bestehend aus den Elementen X₁ und X₂ mit den Mittelwerten μ₁ und μ₂. Die Kovarianz-Matrix Σ des Zufallsvektors X ist definiert als:

• Σ = E[(X - μ)(X - μ)^T]
• Die Kovarianz-Matrix ist symmetrisch und positiv semidefinit.
• Sie ist erforderlich für die Zustands- und Parameterabschätzung und hilft bei der Fehleranalyse und Unsicherheitsquantifizierung in Schätzverfahren.

a)

a) Berechne die Kovarianz-Matrix Σ für den Zufallsvektor X, gegeben dass:

• X₁ hat einen Mittelwert von 2 und eine Varianz von 4
• X₂ hat einen Mittelwert von 3 und eine Varianz von 9
• Die Kovarianz zwischen X₁ und X₂ beträgt 1

Zeige Deine Berechnungen und formuliere die resultierende Kovarianz-Matrix Σ.

Lösung:

Um die Kovarianz-Matrix \(\Sigma\) für den Zufallsvektor \(X\) zu berechnen, verwenden wir die gegebenen Daten:

• Mittelwert von \(X_1\) = 2
• Varianz von \(X_1\) = 4
• Mittelwert von \(X_2\) = 3
• Varianz von \(X_2\) = 9
• Kovarianz zwischen \(X_1\) und \(X_2\) = 1

Die Kovarianz-Matrix \(\Sigma\) hat die folgende Form:

\[ \Sigma = \begin{pmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) \ \text{Cov}(X_1, X_2) & \text{Var}(X_2) \end{pmatrix} \]

Wir setzen die gegebenen Werte in die Matrix ein:

\[ \Sigma = \begin{pmatrix} 4 & 1 \ 1 & 9 \end{pmatrix} \]

Dies ist die resultierende Kovarianz-Matrix \(\Sigma\) für den Zufallsvektor \(X\).

b)

b) Zeige, dass die resultierende Kovarianz-Matrix Σ symmetrisch und positiv semidefinit ist. Bestimme dazu zunächst die Eigenwerte und überprüfe diese.

Lösung:

Um zu zeigen, dass die resultierende Kovarianz-Matrix \(\Sigma\) symmetrisch und positiv semidefinit ist, müssen wir die folgenden Schritte ausführen:

• Überprüfen, ob \(\Sigma\) symmetrisch ist
• Die Eigenwerte von \(\Sigma\) berechnen und überprüfen, ob sie alle nicht-negativ sind (positiv semidefinit)

Symmetrie

Die Kovarianz-Matrix \(\Sigma\) ist symmetrisch, wenn:

\[ \Sigma = \Sigma^T \]

Die resultierende Kovarianz-Matrix war:

\[ \Sigma = \begin{pmatrix} 4 & 1 \ 1 & 9 \end{pmatrix} \]

Die Transponierte ist:

\[ \Sigma^T = \begin{pmatrix} 4 & 1 \ 1 & 9 \end{pmatrix} \]

Da \(\Sigma = \Sigma^T\), ist die Matrix symmetrisch.

Positive Semidefinitheit

Eine Matrix ist positiv semidefinit, wenn alle ihre Eigenwerte nicht-negativ sind. Wir berechnen die Eigenwerte der Matrix \(\Sigma\):

• Um die Eigenwerte zu berechnen, lösen wir die charakteristische Gleichung:

\[ \det(\Sigma - \lambda I) = 0 \]

Setzen wir \(\Sigma\) ein, erhalten wir:

\[ \det\begin{pmatrix} 4 - \lambda & 1 \ 1 & 9 - \lambda \end{pmatrix} = 0 \]

Berechnen wir die Determinante:

\[ (4 - \lambda)(9 - \lambda) - 1 = 0 \]

Das ergibt:

\[ 36 - 13\lambda + \lambda^2 - 1 = 0 \]

\[ \lambda^2 - 13\lambda + 35 = 0 \]

Die Eigenwerte berechnen wir durch Lösen dieser quadratischen Gleichung:

\[ \lambda = \frac{13 \pm \sqrt{169 - 140}}{2} \]

\[ \lambda = \frac{13 \pm 3}{2} \]

Das ergibt die beiden Eigenwerte:

\[ \lambda_1 = \frac{16}{2} = 8 \]

\[ \lambda_2 = \frac{10}{2} = 5 \]

• Da beide Eigenwerte 8 und 5 nicht-negativ sind, ist die Matrix \(\Sigma\) positiv semidefinit.

Daher haben wir gezeigt, dass die Kovarianz-Matrix \(\Sigma\) sowohl symmetrisch als auch positiv semidefinit ist.