Modul MS: Mathematische Statistik - Exam

Aufgabe 1)

In einem zufälligen Experiment werden zwei Würfel geworfen. Die Ergebnisse der Würfe werden als Ereignisraum betrachtet, bestehend aus Paaren (x, y), wobei x und y die Anzahl der Punkte auf den Würfeln darstellen. Sei A das Ereignis, dass die Summe der Punkte auf den beiden Würfeln gleich 7 ist, und B das Ereignis, dass die Summe der Punkte auf den beiden Würfeln kleiner als 5 ist. Verwende die Axiome der Wahrscheinlichkeit, um nachfolgende Fragen zu beantworten.

a)

Bestimme die Wahrscheinlichkeiten der Ereignisse A und B und zeige, dass sie die Axiome der Nichtnegativität und Normiertheit erfüllen. Nutze dafür die endliche Additivität, um P(A) und P(B) zu berechnen.

Lösung:

Gegeben:Im Kontext eines Experiments, bei dem zwei Würfel geworfen werden, betrachten wir die Ereignisse:

• Ereignis A: Die Summe der Punkte auf den Würfeln ist gleich 7.
• Ereignis B: Die Summe der Punkte auf den Würfeln ist kleiner als 5.

Aufgabe:1. Die Wahrscheinlichkeiten der Ereignisse A und B berechnen.2. Zeigen, dass sie die Axiome der Nichtnegativität und Normiertheit erfüllen.Schritt-für-Schritt Lösung:1. Ereignisraum bestimmen:Der Ereignisraum Ω besteht aus allen möglichen Paaren (x, y), wobei x und y die Anzahl der Punkte auf den Würfeln darstellen. Da es 6 mögliche Ergebnisse pro Würfel gibt, besteht der Ereignisraum aus:Ω = {(1,1), (1,2), ..., (1,6), (2,1), ..., (6,6)}Es gibt insgesamt 6 * 6 = 36 mögliche Ergebnisse.2. P(A) berechnen:Wir identifizieren diejenigen Paare (x, y), bei denen die Summe der beiden Würfel gleich 7 ist:

• (1,6)
• (2,5)
• (3,4)
• (4,3)
• (5,2)
• (6,1)

Es gibt 6 Paare, die die Summe 7 ergeben. Da jedes Ergebnis im Ereignisraum gleich wahrscheinlich ist:

P(A) = \frac{6}{36} = \frac{1}{6}

3. P(B) berechnen:Wir identifizieren diejenigen Paare (x, y), bei denen die Summe der beiden Würfel kleiner als 5 ist:

• (1,1)
• (1,2)
• (1,3)
• (2,1)
• (2,2)
• (3,1)

Es gibt 6 Paare, bei denen die Summe kleiner als 5 ist. Da jedes Ergebnis im Ereignisraum gleich wahrscheinlich ist:

P(B) = \frac{6}{36} = \frac{1}{6}

4. Überprüfung der Axiome der Wahrscheinlichkeit:

• Nichtnegativität: Da P(A) und P(B) Werte zwischen 0 und 1 sind (P(A) = \frac{1}{6} und P(B) = \frac{1}{6}), erfüllen sie das Axiom der Nichtnegativität.
• Normiertheit: Die Wahrscheinlichkeiten aller möglichen Ergebnisse in Ω summieren sich zu 1. Da es 36 mögliche Ergebnisse gibt und jedes Ergebnis eine Wahrscheinlichkeit von \frac{1}{36} hat, ist die Summe der Wahrscheinlichkeiten:

  \frac{36}{36} = 1

  Dies zeigt, dass das Axiom der Normiertheit erfüllt ist.
• Endliche Additivität: Die Wahrscheinlichkeit der Vereinigung disjunkter Ereignisse ist gleich der Summe der Wahrscheinlichkeiten der einzelnen Ereignisse. Da A und B keine gemeinsamen Ergebnisse haben, sind sie disjunkt. Daher gilt:

  P(A \bigcup B) = P(A) + P(B) = \frac{1}{6} + \frac{1}{6} = \frac{2}{6} = \frac{1}{3}

Fazit:

• Die Wahrscheinlichkeiten der Ereignisse A und B sind beide \frac{1}{6}.
• Sie erfüllen die Axiome der Nichtnegativität und Normiertheit.
• Die Berechnung mittels endlicher Additivität bestätigt die Ergebnisse.

b)

Finde die Wahrscheinlichkeit für das Ereignis C, bei dem entweder das Ereignis A oder das Ereignis B eintritt (A und B sind disjunkt). Verifiziere, dass die axiomatische Bedingung der endlichen Additivität erfüllt ist.

Lösung:

Gegeben:Im Kontext eines Experiments, bei dem zwei Würfel geworfen werden, betrachten wir die Ereignisse:

• Ereignis A: Die Summe der Punkte auf den Würfeln ist gleich 7.
• Ereignis B: Die Summe der Punkte auf den Würfeln ist kleiner als 5.

Aufgabe:Finde die Wahrscheinlichkeit für das Ereignis C, bei dem entweder das Ereignis A oder das Ereignis B eintritt. Zeige, dass die axiomatische Bedingung der endlichen Additivität erfüllt ist.Schritt-für-Schritt Lösung:1. Berechnung der Wahrscheinlichkeiten:Wie aus der vorhergehenden Berechnung bekannt:

• P(A) = \(\frac{1}{6}\)
• P(B) = \(\frac{1}{6}\)

2. Wahrscheinlichkeit des Ereignisses C:Da A und B disjunkt sind (sie können nicht gleichzeitig eintreten), nutzen wir die Regel der endlichen Additivität, um P(C) zu berechnen.

P(C) = P(A \cup B) = P(A) + P(B)

3. Berechnen von P(C):

P(C) = \(\frac{1}{6} + \frac{1}{6} = \frac{2}{6} = \frac{1}{3}\)

4. Überprüfung der Endlichen Additivität:

• Disjunktheit: A und B haben keine gemeinsamen Ergebnisse, also sind sie disjunkt.
• Berechnung: P(A \cup B) = P(A) + P(B). Die Berechnung ergibt:\(\frac{1}{3}\), was zeigt, dass die Bedingung der endlichen Additivität erfüllt ist.

Fazit:

• Die Wahrscheinlichkeit für das Ereignis C, bei dem entweder A oder B eintritt, ist \(\frac{1}{3}\).
• Die axiomatische Bedingung der endlichen Additivität ist erfüllt.

Aufgabe 2)

Betrachten wir den zentralen Grenzwertsatz: Gegeben sei eine Sequenz von unabhängigen und identisch verteilten Zufallsvariablen \(X_1, X_2, ..., X_n\), wobei jede \(X_i\) den selben Erwartungswert \(\mu\) und dieselbe Varianz \(\sigma^2\) besitzt. Der zentrale Grenzwertsatz besagt, dass die normierte Summe \(\frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu)\) in Verteilung gegen eine Normalverteilung konvergiert: \(\frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu) \xrightarrow{d} N(0, \sigma^2)\).

a)

(a) Sei \(X_1, X_2, ..., X_n\) eine Sequenz von unabhängigen und identisch verteilten Zufallsvariablen mit Erwartungswert \(\mu = 5\) und Varianz \(\sigma^2 = 25\). Berechne die Wahrscheinlichkeit, dass die normierte Summe \(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - \mu)\) für \(n = 100\) im Intervall \[-10, 10\] liegt.

Lösung:

Um die Wahrscheinlichkeit zu berechnen, dass die normierte Summe \(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - \mu)\) für \(n = 100\) im Intervall \[-10, 10\] liegt, können wir den zentralen Grenzwertsatz anwenden.

• Schritt 1: Zuerst fassen wir die gegebenen Informationen zusammen:
• \(\mu = 5\)
• \(\sigma^2 = 25\)
• \(\sigma = \sqrt{25} = 5\)
• \(n = 100\)
• Schritt 2: Gemäß dem zentralen Grenzwertsatz konvergiert die normierte Summe:

\[ \frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - \mu) \xrightarrow{d} N(0, \sigma^2) \]

Da \(\sigma^2 = 25\), erhalten wir:

\[ \frac{1}{\sqrt{100}} \sum_{i=1}^n (X_i - \mu) \xrightarrow{d} N(0, 25) \]

Da \(\frac{1}{\sqrt{100}} = \frac{1}{10}\), konvergiert die normierte Summe gegen:

\[ N(0, \frac{25}{100}) = N(0, 0.25) \]

• Schritt 3: Die Standardabweichung der resultierenden Normalverteilung ist somit \(\sqrt{0.25} = 0.5\).
• Schritt 4: Nun betrachten wir das Intervall \[-10, 10\]. Die Wahrscheinlichkeit, dass eine normalverteilte Zufallsvariable mit Mittelwert 0 und Standardabweichung 0.5 in diesem Intervall liegt, kann mithilfe der Standardnormalverteilung (Z) berechnet werden. Zunächst transformieren wir das Intervall in die Z-Skala:

\[ P\left( -10 \leq \frac{1}{10} \sum_{i=1}^n (X_i - \mu) \leq 10 \right) \]

Da \(\frac{1}{10} = 0.1\), transformieren wir das Intervall:

\[ P\left( \frac{-10}{0.5} \leq Z \leq \frac{10}{0.5} \right) = P\left( -20 \leq Z \leq 20 \right) \]

• Schlussfolgerung: Der Bereich \([-20, 20]\) der Standardnormalverteilung umfasst praktisch die gesamte Fläche unter der Normalverteilungskurve (die kumulative Verteilungsfunktion nähert sich 1 an), was bedeutet, dass die Wahrscheinlichkeit, dass die normierte Summe in diesem Intervall liegt, nahezu 1 beträgt.

Die Wahrscheinlichkeit, dass die normierte Summe \(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - \mu)\) für \(n = 100\) im Intervall \[-10, 10\] liegt, beträgt daher nahezu 1.

b)

(b) Angenommen, dass für eine große Stichprobe \(n\) der Durchschnitt der Zufallsvariablen \(\overline{X} = \frac{1}{n} \sum_{i=1}^n X_i\) berechnet wurde. Zeige, dass \(\overline{X}\) für \(n \to \infty\) eine Normalverteilung mit Erwartungswert \(\mu\) und Varianz \(\frac{\sigma^2}{n}\) besitzt, indem du den zentralen Grenzwertsatz anwendest.

Lösung:

Um zu zeigen, dass der Durchschnitt der Zufallsvariablen \(\overline{X} = \frac{1}{n} \sum_{i=1}^n X_i\) für \(n \to \infty\) eine Normalverteilung mit Erwartungswert \(\mu\) und Varianz \(\frac{\sigma^2}{n}\) besitzt, wenden wir den zentralen Grenzwertsatz an.

• Schritt 1: Formulieren des Durchschnitts:

Wir können den Durchschnitt der Zufallsvariablen wie folgt ausdrücken:

\[ \overline{X} = \frac{1}{n} \sum_{i=1}^n X_i \]

• Schritt 2: Umschreiben der normierten Summe:

Die normierte Summe nach dem zentralen Grenzwertsatz lautet:

\[ \frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu) \]

Da \(\sum_{i=1}^{n} X_i\) auch als \(n \overline{X}\) dargestellt werden kann, schreiben wir die Summe um:

\[ \sum_{i=1}^{n} (X_i - \mu) = \sum_{i=1}^{n} X_i - n\mu \]

• Schritt 3: Anwenden des zentralen Grenzwertsatzes:

Der zentrale Grenzwertsatz besagt, dass:

\[ \frac{1}{\sqrt{n}} \sum_{i=1}^{n} (X_i - \mu) \xrightarrow{d} N(0, \sigma^2) \]

Dies können wir umschreiben als:

\[ \frac{1}{\sqrt{n}} (\sum_{i=1}^{n} X_i - n\mu) \xrightarrow{d} N(0, \sigma^2) \]

• Schritt 4: Weiteres Vereinfachen:

Teilen wir beide Seiten durch \(n\), um \(\overline{X}\) zu isolieren:

\[ \sqrt{n} (\overline{X} - \mu) \xrightarrow{d} N(0, \sigma^2) \]

Nun teilen wir beide Seiten durch \(\sqrt{n}\):

\[ \overline{X} - \mu \xrightarrow{d} N(0, \frac{\sigma^2}{n}) \]

• Schlussfolgerung:

Da der Durchschnitt \(\overline{X}\) also gegen eine Normalverteilung mit Mittelwert \(\mu\) und Varianz \(\frac{\sigma^2}{n}\) konvergiert, wenn \(n\) gegen Unendlich geht, haben wir gezeigt, dass:

\[ \overline{X} \sim N(\mu, \frac{\sigma^2}{n}) \]

Damit ist bewiesen, dass \(\overline{X}\) für \(n \to \infty\) eine Normalverteilung mit Erwartungswert \(\mu\) und Varianz \(\frac{\sigma^2}{n}\) besitzt.

c)

(c) Eine Fabrik überwacht die Qualität ihrer Produkte, indem sie regelmäßig Stichproben entnimmt und die Durchschnittswerte einiger Eigenschaften ermittelt. Angenommen, die Stichproben sind groß genug, damit der zentrale Grenzwertsatz gilt. Erläutere, wie der zentrale Grenzwertsatz in der Qualitätskontrolle der Fabrik helfen kann, insbesondere in Bezug auf die Festlegung von Vertrauensintervallen.

Lösung:

Der zentrale Grenzwertsatz (ZGWS) ist ein mächtiges Werkzeug in der Statistik und findet umfangreiche Anwendung in der Qualitätskontrolle. In der Qualitätskontrolle einer Fabrik kann der ZGWS auf verschiedene Weise nützlich sein, insbesondere bei der Festlegung von Vertrauensintervallen. Hier sind detaillierte Schritte und Erklärungen, wie der ZGWS in diesem Zusammenhang hilft:

• Anwendung des zentralen Grenzwertsatzes:

Angenommen, die Fabrik nimmt regelmäßig Stichproben von Produkten, um die Durchschnittswerte bestimmter Eigenschaften (z.B. Gewicht, Länge) zu messen. Wenn die Stichprobengröße groß genug ist, gilt der ZGWS, und die Verteilung der Stichprobenmittelwerte \(\overline{X}\) ist annähernd normalverteilt, selbst wenn die ursprünglichen Daten nicht normalverteilt sind.

Nach dem ZGWS konvergiert \(\overline{X}\) gegen eine Normalverteilung mit Erwartungswert \(\mu\) und Varianz \(\frac{\sigma^2}{n}\), wobei \(\mu\) der wahre Mittelwert der Grundgesamtheit und \(\sigma^2\) die Varianz der Grundgesamtheit ist.

• Berechnung von Vertrauensintervallen:

Ein Vertrauensintervall (VI) gibt einen Bereich an, innerhalb dessen ein unbekannter Parameter (in diesem Fall der wahre Mittelwert \(\mu\)) mit einer bestimmten Wahrscheinlichkeit liegt. Der ZGWS ermöglicht es, solche Intervalle einfach und zuverlässig zu berechnen.

• Die Formel für ein \((1-\alpha)\)% Vertrauensintervall für den Mittelwert \(\mu\) lautet:

\[ \overline{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \]

Dabei ist \(\overline{X}\) der Stichprobenmittelwert, \(\sigma\) die Standardabweichung der Grundgesamtheit, \(n\) die Stichprobengröße und \(z_{\alpha/2}\) der kritische Wert der Standardnormalverteilung für das gewählte Vertrauensniveau (z.B. 1,96 für 95% Vertrauensniveau).

• Wenn \(\sigma\) der Grundgesamtheit unbekannt ist, wird sie durch die Stichprobenstandardabweichung \(s\) ersetzt, und der kritische Wert wird durch den t-Wert aus der t-Verteilung ersetzt, insbesondere bei kleineren Stichproben.
• Praktische Anwendung in der Qualitätskontrolle:

In der Qualitätskontrolle kann der ZGWS helfen, die Produktion zu überwachen und sicherzustellen, dass die Produkte den Qualitätsstandards entsprechen. Hier sind einige konkrete Anwendungen:

• Prozessüberwachung: Durch regelmäßige Entnahme von Stichproben und Berechnen der Mittelwerte und Vertrauensintervalle kann die Fabrik überwachen, ob der Produktionsprozess stabil ist oder ob es Abweichungen gibt, die auf Probleme hindeuten.
• Identifizierung von Abweichungen: Wenn der berechnete Mittelwert \(\overline{X}\) oder die Eigenschaften der Produkte außerhalb des Vertrauensintervalls liegen, kann dies ein Hinweis darauf sein, dass es eine signifikante Abweichung vom erwarteten Wert \(\mu\) gibt, was eine nähere Untersuchung erforderlich macht.
• Entscheidungsfindung: Vertrauensintervalle können helfen, fundierte Entscheidungen zu treffen, z.B. ob eine Produktion gestoppt werden muss, um Qualitätsprobleme zu beheben, oder ob die Produktion fortgesetzt werden kann.

Zusammengefasst ermöglicht der zentrale Grenzwertsatz es, aus Stichproben verlässliche Rückschlüsse auf die Grundgesamtheit zu ziehen. Er hilft dabei, Vertrauensintervalle zu berechnen, die die Unsicherheit bei der Schätzung von Mittelwerten quantifizieren. In der Qualitätskontrolle unterstützt dies die Überwachung und Verbesserung der Produktionsprozesse sowie eine fundierte Entscheidungsfindung.

Aufgabe 3)

Maximum-Likelihood-Schätzung: Angenommen, Du hast eine Stichprobe von Datenpunkten \(x_1, x_2, \ldots, x_n\) aus einer Verteilung mit einer unbekannten Parameter \theta. Du sollst den Parameter \theta mittels der Maximum-Likelihood-Methode schätzen.

• Grundidee: Schätze Parameter \theta durch Maximierung der Likelihood-Funktion \(L(\theta|x_1, \ldots, x_n)\).
• Die Likelihood-Funktion: \[L(\theta|x_1, \ldots, x_n)=\prod_{i=1}^{n} f(x_i|\theta)\]
• Log-Likelihood zur Vereinfachung: \[l(\theta)=\log L(\theta|x_1, \ldots, x_n)=\sum_{i=1}^{n} \log f(x_i|\theta)\]
• MLE durch Lösen: \(\frac{\partial l(\theta)}{\partial \theta} = 0\)
• Eigenschaften: Konsistenz, Asymptotische Normalität, Effizienz (unter bestimmten Bedingungen).

a)

Gegeben sei eine Stichprobe \(x_1, x_2, \ldots, x_n\) aus einer Exponentialverteilung mit dem unbekannten Parameter \lambda. Die Dichtefunktion der Exponentialverteilung ist gegeben durch \[f(x|\lambda) = \lambda e^{-\lambda x}\] für \lambda > 0\ und \ x \geq 0\.

• Leite die Likelihood-Funktion \(L(\lambda|x_1, \ldots, x_n)\) für die gegebene Stichprobe her.
• Bestimme die Log-Likelihood-Funktion \(l(\lambda)\).
• Finde den Maximum-Likelihood-Schätzer (MLE) für \lambda durch Lösen der Gleichung \(\frac{\partial l(\lambda)}{\partial \lambda} = 0\).

Lösung:

Lösung des Teilproblems: Gegeben sei eine Stichprobe \(x_1, x_2, \ldots, x_n\) aus einer Exponentialverteilung mit dem unbekannten Parameter \(\lambda\). Die Dichtefunktion der Exponentialverteilung ist gegeben durch \[f(x|\lambda) = \lambda e^{-\lambda x}\] für \(\lambda > 0\) und \(x \geq 0\).

• Likelihood-Funktion: Wir beginnen mit der Likelihood-Funktion \(L(\lambda|x_1, \ldots, x_n)\), die als Produkt der Dichtefunktionen für die gegebene Stichprobe definiert ist:
  • \[L(\lambda|x_1, \ldots, x_n) = \prod_{i=1}^{n} f(x_i|\lambda)\]
  Ersetze \(f(x_i|\lambda)\) durch \(\lambda e^{-\lambda x_i}\):
  • \[L(\lambda|x_1, \ldots, x_n) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i}\]
  Diese Produkte können wir weiter vereinfachen:
  • \[L(\lambda|x_1, \ldots, x_n) = \lambda^n e^{-\lambda \sum_{i=1}^{n} x_i}\]
• Log-Likelihood-Funktion: Um die Log-Likelihood-Funktion \(l(\lambda)\) zu erhalten, nehmen wir den natürlichen Logarithmus der Likelihood-Funktion:
  • \[l(\lambda) = \log L(\lambda|x_1, \ldots, x_n)\]
  Setze die gerade gefundene Likelihood-Funktion ein:
  • \[l(\lambda) = \log (\lambda^n e^{-\lambda \sum_{i=1}^{n} x_i})\]
  Wende die Logarithmeneigenschaften an:
  • \[l(\lambda) = n \log \lambda - \lambda \sum_{i=1}^n x_i\]
• Maximum-Likelihood-Schätzer (MLE): Um den Maximum-Likelihood-Schätzer für \(\lambda\) zu finden, setzen wir die erste Ableitung der Log-Likelihood-Funktion gleich null:
  • \[\frac{\partial l(\lambda)}{\partial \lambda} = 0\]
  Berechnen wir die erste Ableitung der Log-Likelihood-Funktion:
  • \[\frac{\partial l(\lambda)}{\partial \lambda} = \frac{n}{\lambda} - \sum_{i=1}^{n} x_i\]
  Setze die Ableitung gleich null und löse nach \(\lambda\) auf:
  • \[\frac{n}{\lambda} - \sum_{i=1}^{n} x_i = 0\]
  Daraus folgt:
  • \[\frac{n}{\lambda} = \sum_{i=1}^{n} x_i\]
  Umstellen nach \(\lambda\):
  • \[\lambda = \frac{n}{\sum_{i=1}^{n} x_i}\]

Daher ist der Maximum-Likelihood-Schätzer (MLE) für \(\lambda\):

• \[\hat{\lambda} = \frac{n}{\sum_{i=1}^{n} x_i}\]

b)

Überprüfe die Konsistenz des Maximum-Likelihood-Schätzers für \lambda\. Zeige, dass der MLE asymptotisch normal verteilt ist, indem Du die Varianz des MLE für großen Stichprobenumfang bestimmst.

Lösung:

Überprüfung der Konsistenz und asymptotischen Normalverteilung des Maximum-Likelihood-Schätzers (MLE) für \(\lambda\) Wir haben bereits den Maximum-Likelihood-Schätzer für \(\lambda\) gefunden:

• \[\hat{\lambda} = \frac{n}{\sum_{i=1}^{n} x_i}\]

• Konsistenz: Ein Schätzer \(\hat{\lambda}\) ist konsistent, wenn er für steigenden Stichprobenumfang \(n\) gegen den wahren Parameter \(\lambda\) konvergiert. Das heißt, \(\hat{\lambda}\) sollte im Mittelwert zu \(\lambda\) konvergieren.

Betrachten wir den Erwartungswert von \(\hat{\lambda}\). Da \(x_i\) aus einer Exponentialverteilung mit Parameter \(\lambda\) stammen, gilt für jeden \(x_i\), dass der Erwartungswert \(E(x_i)\) ist:

• \[E(x_i) = \frac{1}{\lambda}\]

Für den Erwartungswert von \(\sum_{i=1}^{n} x_i\) gilt daher:

• \[E\left(\sum_{i=1}^{n} x_i\right) = n \cdot E(x_i) = \frac{n}{\lambda}\]

Setzen wir dies in unseren Schätzer \(\hat{\lambda}\) ein, erhalten wir:

• \[E(\hat{\lambda}) = E\left(\frac{n}{\sum_{i=1}^{n} x_i}\right) = E\left(\frac{1}{\frac{1}{n} \sum_{i=1}^{n} x_i}\right)\]

Da \(\frac{1}{n} \sum_{i=1}^{n} x_i\) den Mittelwert der Stichprobe darstellt, nähern wir uns für große \(n\) dem Gesetz der großen Zahlen, welches besagt, dass der Mittelwert gegen den Erwartungswert konvergiert. Also:

• \[\frac{1}{n} \sum_{i=1}^{n} x_i \to \frac{1}{\lambda} \text{ für großes } n\]

Dies impliziert:

• \[E(\hat{\lambda}) \to \lambda \text{ für großes } n\]

Daraus folgt, dass der Schätzer \(\hat{\lambda}\) konsistent ist.

• Asymptotische Normalverteilung: Um die asymptotische Normalverteilung zu zeigen, untersuchen wir die Varianz des Schätzers \(\hat{\lambda}\) bei großem Stichprobenumfang.

Berechnen wir die Varianz von \(\hat{\lambda}\):

• \[Var\left(\hat{\lambda}\right) = Var\left(\frac{n}{\sum_{i=1}^{n} x_i}\right)\]

Nutzen wir die Delta-Methode, um die Varianz von \(\hat{\lambda}\) zu approximieren. Der MLE ist eine Funktion von \(\sum_{i=1}^{n} x_i\), also verwenden wir:

• \[g(y) = \frac{n}{y}, \text{ wobei } y = \sum_{i=1}^{n} x_i\]

Die Delta-Methode besagt, dass für eine differenzierbare Funktion \(g(y)\) und einen Schätzer \(T\) gilt:

• \[Var(g(T)) \approx \left(g'(E(T))\right)^2 Var(T)\]

Der Erwartungswert von \(\sum_{i=1}^{n} x_i\) ist \(\frac{n}{\lambda}\). Daher:

• \[g'(y) = -\frac{n}{y^2}, \text{ und an } y = \frac{n}{\lambda}\text{:}\]
• \[g'\left(\frac{n}{\lambda}\right) = -\frac{n}{\left(\frac{n}{\lambda}\right)^2} = -\frac{n \lambda^2}{n^2} = -\frac{\lambda^2}{n}\]
Die Varianz von \(\sum_{i=1}^{n} x_i\) ergibt sich aus der Varianz einer Exponentialverteilung mit Mittelwert \(1/\lambda\):
• \[Var(x_i) = \frac{1}{\lambda^2}\]
Daher für die Summe:
• \[Var\left(\sum_{i=1}^{n} x_i\right) = nVar(x_i) = n \cdot \frac{1}{\lambda^2}\]
Setzen wir dies in die Delta-Methode ein:
• \[Var\left(\hat{\lambda}\right) \approx \left(-\frac{\lambda^2}{n}\right)^2 \cdot n \cdot \frac{1}{\lambda^2} = \frac{\lambda^4}{n^2} \cdot \frac{n}{\lambda^2} = \frac{\lambda^2}{n}\]
Für große Stichprobenumfänge \(n\) ist \(\hat{\lambda}\) also normalverteilt mit:
• \[\hat{\lambda} \sim N\left(\lambda, \frac{\lambda^2}{n}\right)\]
Dies zeigt, dass der MLE \(\hat{\lambda}\) asymptotisch normal verteilt ist.

c)

Diskutiere die Effizienz des Maximum-Likelihood-Schätzers im Kontext der Exponentialverteilung. Vergleiche die Varianz des MLE mit der Cramér-Rao-Untergrenze und bewerte, ob der MLE effizient ist.

Lösung:

Diskussion der Effizienz des Maximum-Likelihood-Schätzers (MLE) im Kontext der Exponentialverteilung:

• Effizienz: Ein Schätzer ist effizient, wenn er die geringstmögliche Varianz unter allen unverzerrten Schätzern aufweist. Dies wird oft durch die Cramér-Rao-Untergrenze (CRB) bestimmt. Die CRB gibt die Mindestvarianz eines unverzerrten Schätzers an, die durch die Information von Fisher begrenzt wird.
Wir haben bereits den Maximum-Likelihood-Schätzer für \(\lambda\) gefunden:
• \[\hat{\lambda} = \frac{n}{\sum_{i=1}^{n} x_i}\]
Die Varianz dieses Schätzers haben wir ebenfalls bestimmt:
• \[Var\left(\hat{\lambda}\right) = \frac{\lambda^2}{n}\]
• Cramér-Rao-Untergrenze (CRB): Die Information von Fisher ist definiert als:
  • \[I(\lambda) = -E\left[\frac{\partial^2}{\partial \lambda^2} l(\lambda)\right]\]
Um dies für die Exponentialverteilung zu berechnen, betrachten wir die Log-Likelihood-Funktion:
• \[l(\lambda) = n \log \lambda - \lambda \sum_{i=1}^{n} x_i\]
Berechnen wir die zweite Ableitung dieser Funktion:
• Die erste Ableitung:
  • \[\frac{\partial l(\lambda)}{\partial \lambda} = \frac{n}{\lambda} - \sum_{i=1}^n x_i\]
  Die zweite Ableitung:
  • \[\frac{\partial^2 l(\lambda)}{\partial \lambda^2} = -\frac{n}{\lambda^2}\]
  Erwarte die negative zweite Ableitung:
  • \[I(\lambda) = n \cdot \frac{1}{\lambda^2}\]
Die Cramér-Rao-Untergrenze für die Varianz eines unverzerrten Schätzers ist somit:
• \[\text{CRB} = \frac{1}{I(\lambda)} = \frac{\lambda^2}{n}\]
Vergleichen wir die Varianz des MLE mit der Cramér-Rao-Untergrenze:
• \[Var\left(\hat{\lambda}\right) = \frac{\lambda^2}{n}\]
Dies zeigt, dass die Varianz des MLE für \(\lambda\) genau der Cramér-Rao-Untergrenze entspricht.
• Bewertung der Effizienz: Da die Varianz des Maximum-Likelihood-Schätzers gleich der Cramér-Rao-Untergrenze ist, ist der MLE für \(\lambda\) in einer Exponentialverteilung effizient. Dies bedeutet, dass der MLE die geringstmögliche Varianz unter allen unverzerrten Schätzern aufweist und somit die Effizienzbedingung erfüllt.

Aufgabe 4)

Stelle dir vor, du hast ein neues Medikament entwickelt und möchtest die Heilungsrate dieses Medikaments auf eine Population schätzen unter Verwendung bayesianischer Statistik. Deine Vorinformationen zur Heilungsrate (θ) sind normalverteilt mit einem Mittelwert von 0,6 und einer Varianz von 0,04. Du hast die Heilungsrate bei einer Stichprobe von 30 Patienten gemessen und 18 von ihnen haben sich erholt. Wir verwenden eine Binomialverteilung für die Likelihood-Funktion.

a)

(a) Bestimme die a priori-Verteilung und die Likelihood-Funktion für die Parameterbestimmung in diesem Szenario.

Lösung:

Um die Aufgabe zu lösen, gehen wir Schritt für Schritt vor:

• A priori-Verteilung: Die Heilungsrate (\theta) ist normalverteilt mit einem Mittelwert von 0,6 und einer Varianz von 0,04. Somit lautet die a priori-Verteilung: \[ \theta \sim \mathcal{N}(0.6, 0.04) \]
• Likelihood-Funktion: Die Likelihood-Funktion basiert auf der Binomialverteilung. Bei einer Stichprobe von 30 Patienten (N = 30) und 18 von ihnen haben sich erholt (k = 18). Die Likelihood-Funktion für die Heilungsrate (\theta) lautet: \[ L(\theta) = \binom{N}{k} \theta^k (1 - \theta)^{N - k} \] Ersetzen wir hier die Werte für N und k, erhalten wir: \[ L(\theta) = \binom{30}{18} \theta^{18} (1 - \theta)^{12} \]

Die Bestimmung der Posterior-Verteilung würde als nächster Schritt erfolgen, indem die a priori-Verteilung und die Likelihood-Funktion kombiniert werden. Das ist jedoch nicht Teil dieses Subexercises.

b)

(b) Finde die a posteriori-Verteilung der Heilungsrate (θ), indem du Bayes' Theorem anwendest. Zeige dabei alle Berechnungen explizit.

Lösung:

Um die a posteriori-Verteilung der Heilungsrate (\(\theta\)) zu finden, wenden wir den Satz von Bayes an. Schritt für Schritt betrachten wir die notwendigen Berechnungen:

• Satz von Bayes: Wir wissen, dass Bayes' Theorem folgendermaßen lautet: \[ P(\theta \,|\, \text{Daten}) = \frac{P(\text{Daten} \,|\, \theta) \, P(\theta)}{P(\text{Daten})} \]
• Hierbei ist:
• \(P(\theta \,|\, \text{Daten})\): Die a posteriori-Wahrscheinlichkeitsverteilung von \(\theta\).
• \(P(\text{Daten} \,|\, \theta)\): Die Likelihood-Funktion (bereits zuvor bestimmt).
• \(P(\theta)\): Die a priori-Wahrscheinlichkeitsverteilung (bereits zuvor bestimmt).
• \(P(\text{Daten})\): Die marginale Wahrscheinlichkeit der Daten, eine Normierungskonstante.
• A priori-Verteilung: Die a priori-Verteilung von \(\theta\) ist normalverteilt mit einem Mittelwert von 0,6 und einer Varianz von 0,04: \[ \theta \, | \, \text{Information} \ \ \theta \sim \mathcal{N}(0.6, 0.04) \] Dies ergibt eine Dichtefunktion von: \[ P(\theta) \propto \, e^{-\frac{(\theta - 0.6)^2}{2 \sigma^2}} = e^{-\frac{(\theta - 0.6)^2}{2(0.2)^2}} \]
• Likelihood-Funktion: Die Likelihood-Funktion basierend auf der Binomialverteilung lautet: \[ L(\theta \,|\, \text{Daten}) = \binom{30}{18} \theta^{18} (1 - \theta)^{12} \]
• A posteriori-Verteilung: Kombinieren wir die a priori-Verteilung und die Likelihood-Funktion, erhalten wir: \[ P(\theta \,|\, \text{Daten}) \propto \theta^{18} (1 - \theta)^{12} \cdot e^{-\frac{(\theta - 0.6)^2}{2(0.2)^2}} \]
• Vereinfachen:Die resultierende Verteilung ist eine normalisierte Version der obigen Gleichung. Ohne die genaue Normierung durchzuführen, erkennen wir, dass die a posteriori-Verteilung proportional zur Kombination von Likelihood und a priori-Verteilung ist: \[ P(\theta \,|\, \text{Daten}) \propto \theta^{18} (1 - \theta)^{12} \cdot e^{-\frac{(\theta - 0.6)^2}{0.08}} \]

Um die exakte Form der a posteriori-Verteilung zu bestimmen, müsste die Normierungskonstante berechnet werden durch Integration des Ausdrucks über alle möglichen Werte von \(\theta\). Dazu wird oft numerische Integration oder Approximation im praktischen Einsatz verwendet.

c)

(c) Berechne den Erwartungswert und die Varianz der a posteriori-Verteilung und interpretiere die Ergebnisse im Kontext deiner ursprünglichen Frage. Diskutiere, wie sich deine Einschätzung durch die neuen Daten verändert hat.

Lösung:

Um den Erwartungswert und die Varianz der a posteriori-Verteilung zu berechnen und die Ergebnisse zu interpretieren, gehen wir wie folgt vor:

• Erinnerung an das Szenario: Wir haben eine a priori-Verteilung für die Heilungsrate \(\theta\), die normalverteilt ist mit Mittelwert 0,6 und Varianz 0,04 \[ \theta \sim \mathcal{N}(0,6, 0,04) \] Wir haben eine Stichprobe von 30 Patienten, von denen 18 geheilt sind. Die Likelihood-Funktion basiert auf der Binomialverteilung: \[ L(\theta) = \binom{30}{18} \theta^{18} (1 - \theta)^{12} \]
• A posteriori-Verteilung: Die Kombination der a priori-Verteilung und der Likelihood-Funktion ergibt die a posteriori-Verteilung, wie zuvor berechnet: \[ P(\theta \mid \, \text{Daten}) \propto \theta^{18} (1 - \theta)^{12} e^{-\frac{(\theta - 0,6)^2}{0,08}} \] Dies ist nicht einfach analytisch zu behandeln, daher verwenden wir approximative Methoden wie die Methode der konjugierten Priors oder numerische Integration. Für die Methode der konjugierten Priors können wir eine Beta-Verteilung verwenden, da sie für Binomialverteilungen einfacher zu handhaben ist.
• Approximation mit konjugierter Prior: Eine Beta-Verteilung \(\text{Beta}(\alpha, \beta)\) passt gut zu diesem Szenario. Durch die Kombination von Binomial-Likelihood und der normalverteilten a priori-Verteilung (die wir hier als eine Beta-Verteilung approximieren) erhalten wir die a posteriori-Verteilung. Die Parameter der Beta-Verteilung werden wie folgt aktualisiert:
  • \(\alpha_{\text{posterior}} = \alpha_{\text{prior}} + k\)
  • \(\beta_{\text{posterior}} = \beta_{\text{prior}} + (N - k)\)
  Für eine normalverteilte a priori-Verteilung approximieren wir die Parameter:\[ \alpha_{\text{prior}} = 0,6 \frac{(1 - 0,6)}{0,04} \approx 8,25 \] \[ \beta_{\text{prior}} = (1 - 0,6) \frac{0,6}{0,04} \approx 5,5 \] Da wir 18 von 30 Patienten geheilt haben: \[ \alpha_{\text{posterior}} = 8,25 + 18 = 26,25 \] \[ \beta_{\text{posterior}} = 5,5 + 12 = 17,5 \] Somit ist die a posteriori-Verteilung\[ P(\theta \mid \, \text{Daten}) \sim \text{Beta}(26,25, 17,5) \]
• Erwartungswert und Varianz: Der Erwartungswert der Beta-Verteilung \(\text{Beta}(\alpha, \beta)\) ist: \[ \mathbb{E}(\theta) = \frac{\alpha}{\alpha + \beta} \] Einsetzen der Posterior-Parameter ergibt: \[ \mathbb{E}(\theta \mid \, \text{Daten}) = \frac{26,25}{26,25 + 17,5} \approx 0,600 \] Die Varianz der Beta-Verteilung ist: \[ \text{Var}(\theta) = \frac{\alpha \beta}{(\alpha + \beta)^2(\alpha + \beta + 1)} \] Einsetzen ergibt: \[ \text{Var}(\theta \mid \, \text{Daten}) = \frac{26,25 \cdot 17,5}{(26,25 + 17,5)^2(26,25 + 17,5 + 1)} \approx 0,006 \]
• Interpretation der Ergebnisse:
  • Erwartungswert: Der Erwartungswert hat sich nur geringfügig verändert und liegt immer noch bei etwa 0,6. Dies deutet darauf hin, dass die neuen Daten die ursprüngliche Schätzung der Heilungsrate bestätigt haben.
  • Varianz: Die Varianz der a posteriori-Verteilung ist deutlich kleiner als die der a priori-Verteilung (0,04 zu 0,006). Dies zeigt, dass wir durch die neuen Daten mehr Vertrauen in die Schätzung der Heilungsrate haben.

Zusammengefasst hat die Stichprobe die ursprüngliche Schätzung bestätigt und unser Vertrauen in die Heilungsrate erhöht, was besonders wichtig bei der Beurteilung der Wirksamkeit des Medikaments ist.