Bayesian econometrics - Exam

Aufgabe 1)

Angenommen, ein Ökonom möchte die Effektivität einer neuen Wirtschaftspolitik bewerten. Er verwendet dazu bayesianische Methodik, um seine Meinungen durch das Hinzufügen neuer Daten zu aktualisieren. Er nimmt an, dass der Effekt der Politik auf das Wirtschaftswachstum durch den Parameter \( \theta \) beschrieben werden kann.

• Der Ökonom hat eine anfängliche Meinung darüber, wie effektiv die Politik sein könnte, was durch eine Prior-Verteilung \( P(\theta) \) ausgedrückt wird.
• Er sammelt neue Daten zum Wirtschaftswachstum, um eine Likelihood-Funktion \( P(D|\theta) \) zu konstruieren, die die Wahrscheinlichkeit der beobachteten Daten gegeben den Parameter \( \theta \) beschreibt.
• Schließlich nutzt er das Bayes-Theorem, um den Posterior \( P(\theta|D) \) zu berechnen.

a)

Teilaufgabe 1: Der Ökonom beginnt mit einer Normalverteilung als Prior für den Parameter \( \theta \), ausgedrückt als \( \theta \sim N(0, 1) \), das heißt, \( \theta \) hat einen Mittelwert von 0 und eine Varianz von 1. Die neuen Daten, die er sammelt, ergeben eine Likelihood-Funktion, die ebenfalls eine Normalverteilung ist, \( D|\theta \sim N(\theta, 0.5) \). Nutze das Bayes-Theorem, um den Posterior \( P(\theta|D) \) zu berechnen, wenn die gesammelten Daten einen beobachteten Wert von \( D = 1.2 \) haben.

Hinweis: Die Posterior-Verteilung einer Normalverteilung mit einer Normalverteilung als Likelihood ist ebenfalls eine Normalverteilung. Die Parameter der Posterior-Verteilung können unter Verwendung der Konjugierten Prioren-Eigenschaften berechnet werden.

Lösung:

Um den Posterior \( P(\theta|D) \) zu berechnen, verwenden wir das Bayes-Theorem. Da sowohl die Prior-Verteilung als auch die Likelihood-Funktion Normalverteilungen sind, wird der Posterior ebenfalls eine Normalverteilung sein, aufgrund der Eigenschaften konjugierter Prioren.

• Prior-Verteilung: \(\theta \sim N(0, 1)\)
• Likelihood-Funktion: \(D|\theta \sim N(\theta, 0.5)\)
• Beobachtete Daten: \(D = 1.2\)

Für eine Prior-Verteilung \( \theta \sim N(\mu_0, \sigma_0^2) \) und eine Likelihood-Funktion \( D|\theta \sim N(\theta, \sigma_d^2) \) berechnen sich die Parameter der Posterior-Verteilung \( \theta|D \) wie folgt:

• Posterior-Mittelwert: \[\mu_n = \frac{\sigma_d^2 \mu_0 + \sigma_0^2 D}{\sigma_0^2 + \sigma_d^2}\]
• Posterior-Varianz: \[\sigma_n^2 = \frac{\sigma_0^2 \sigma_d^2}{\sigma_0^2 + \sigma_d^2}\]

Setzen wir die gegebenen Werte in diese Formeln ein:

• \( \mu_0 = 0 \)
• \( \sigma_0^2 = 1 \)
• \( \sigma_d^2 = 0.5^2 = 0.25 \)
• \( D = 1.2 \)

Berechnung des Posterior-Mittelwerts:

• \[\mu_n = \frac{0.25 \cdot 0 + 1 \cdot 1.2}{1 + 0.25} = \frac{1.2}{1.25} = 0.96\]

Berechnung der Posterior-Varianz:

• \[\sigma_n^2 = \frac{1 \cdot 0.25}{1 + 0.25} = \frac{0.25}{1.25} = 0.2\]

Damit ergibt sich die Posterior-Verteilung als:

• \(\theta|D \sim N(0.96, 0.2)\)

b)

Teilaufgabe 2: Intepretiere das Ergebnis aus Teilaufgabe 1. Diskutiere, wie der Ökonom diese Posterior-Verteilung verwenden kann, um eine Entscheidung über die Fortsetzung oder Modifizierung der Wirtschaftspolitik zu treffen. Berücksichtige dabei die Bedeutung der Posterior-Wahrscheinlichkeitsdichte und die Unsicherheit der Parameterabschätzung.

Lösung:

Die Posterior-Verteilung aus Teilaufgabe 1 lautet \(\theta|D \sim N(0.96, 0.2)\). Diese Verteilung gibt die aktualisierte Einschätzung des Ökonomen über den Effekt der Wirtschaftspolitik auf das Wirtschaftswachstum an, nachdem er neue Daten berücksichtigt hat.

Interpretation des Ergebnisses:
• Der Mittelwert der Posterior-Verteilung (0.96) bedeutet, dass der Ökonom nach Berücksichtigung der neuen Daten glaubt, dass die Wirtschaftspolitik im Durchschnitt einen positiven Effekt auf das Wirtschaftswachstum hat, der nahe bei 0.96 liegt.
• Die Varianz der Posterior-Verteilung (0.2) zeigt die Unsicherheit in dieser Schätzung an. Eine geringere Varianz würde auf eine höhere Sicherheit in der Schätzung des Effekts hinweisen, während eine höhere Varianz auf größere Unsicherheit hindeutet.

Verwendung der Posterior-Verteilung:

• Der Ökonom kann die Posterior-Verteilung verwenden, um fundierte Entscheidungen über die Fortsetzung oder Modifizierung der Wirtschaftspolitik zu treffen.
• Ein positiver Mittelwert nahe bei 0.96 könnte darauf hindeuten, dass die Politik insgesamt wirksam ist und fortgesetzt werden sollte.
• Die Unsicherheit, dargestellt durch die Varianz, sollte ebenfalls berücksichtigt werden. Eine hohe Unsicherheit (große Varianz) könnte den Ökonomen dazu veranlassen, zusätzliche Daten zu sammeln, um die Schätzgenauigkeit zu erhöhen, bevor er endgültige Entscheidungen trifft.

Zusammenfassend kann der Ökonom die Posterior-Wahrscheinlichkeitsdichte analysieren, um ein klares Bild von der geschätzten Effektivität der Politik und der Unsicherheit dieser Schätzung zu erhalten. Basierend auf diesen Informationen kann er entscheiden, ob die Politik unverändert fortgesetzt, angepasst oder möglicherweise verworfen werden sollte.

Aufgabe 2)

Angenommen, Du untersuchst die Beziehung zwischen der Bildung (Bildung in Jahren) und dem Einkommen mittels einer linearen Regressionsanalyse. Dein Modell lautet Einkommen = \beta_0 + \beta_1 \times Bildung + u, wobei u der Fehlerterm ist, der normalverteilt ist mit Mittelwert 0 und Varianz \sigma^2. Angenommen, wir haben einen Datensatz ( D ) von N Beobachtungen, und wir wollen die Posterior-Verteilung für die Parameter \beta_0 und \beta_1 berechnen. Gegeben sei weiter, dass die Prior-Verteilungen für \beta_0 und \beta_1 normalverteilt sind: \beta_0 \sim N(0, \tau_0^2) und \beta_1 \sim N(0, \tau_1^2).

a)

1. Markiere den Bayesschen Satz, wie er in diesem linearen Regressionsmodell ausgedrückt wird. Zeige, wie die Posterior-Verteilung \mathbf{p}(\beta|D) für die Parameter \beta_0 und \beta_1 unter Verwendung der verallgemeinerten Form des Bayes’schen Satzes berechnet wird.

Lösung:

Um die Posterior-Verteilung für die Parameter \(\beta_0\) und \(\beta_1\) in einem linearen Regressionsmodell zu berechnen, sollten wir den verallgemeinerten Bayesschen Satz anwenden. Der Bayessche Satz ermöglicht es uns, die Posterior-Verteilung einer Menge von Parameterwerten zu berechnen, basierend auf einer beobachteten Datenmenge.

Der Bayessche Satz lautet:

\[ p(\beta | D) = \frac{p(D | \beta) \cdot p(\beta)}{p(D)}\]

Hierbei ist:

• \( p(\beta | D) \) die Posterior-Verteilung der Parameter \( \beta \) (hier \(\beta_0\) und \(\beta_1\)) gegeben die Daten \(D\)
• \( p(D | \beta) \) die Likelihood der Daten \(D\) gegeben die Parameter \( \beta \)
• \( p(\beta) \) die Prior-Verteilung der Parameter \( \beta \)
• \( p(D) \) die marginale Verteilung der Daten \(D\)

In diesem Kontext haben wir die Likelihood-Funktion und die Prior-Verteilung der Parameter gegeben:

• Die Likelihood \( p(D | \beta) \): Da die Störgrößen \(u\) normalverteilt sind mit Mittelwert 0 und Varianz \(\sigma^2\), ist die Likelihood des Modells ebenfalls eine Normalverteilung. Für die N Beobachtungen können wir schreiben: \[ p(D | \beta_0, \beta_1) \propto \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{N} \left( Einkommen_i - (\beta_0 + \beta_1 \cdot Bildung_i) \right)^2 \right) \]
• Die Prior-Verteilungen für \(\beta_0\) und \(\beta_1\): Da wir annehmen, dass \(\beta_0\) und \(\beta_1\) normalverteilt sind: \[ \beta_0 \sim N(0, \tau_0^2) \] \[ \beta_1 \sim N(0, \tau_1^2) \]

Um die Posterior-Verteilung \(p(\beta | D)\) zu berechnen, multiplizieren wir die Likelihood-Funktion mit den Prior-Verteilungen und normalisieren das Ergebnis, um sicherzustellen, dass die Posterior-Verteilung eine richtige Wahrscheinlichkeitsverteilung ist:

\[ p(\beta_0, \beta_1 | D) \propto p(D | \beta_0, \beta_1) \cdot p(\beta_0) \cdot p(\beta_1)\]

Dies ergibt die Posterior-Verteilung der Parameter unter Einbeziehung sowohl der beobachteten Daten als auch unserer a priori Kenntnisse über die Parameterwerte.

b)

2. Berechne die Likelihood-Funktion \mathbf{p}(D|\beta) für die Daten D gegeben die Parameter \beta_0 und \beta_1. Drücke dies mathematisch aus und beschreibe, welche Rolle diese Likelihood in der Berechnung der Posterior-Verteilung spielt.

Lösung:

Um die Likelihood-Funktion \(p(D|\beta)\) für die Daten \(D\) gegeben die Parameter \(\beta_0\) und \(\beta_1\) zu berechnen, betrachten wir das Modell:

\( Einkommen = \beta_0 + \beta_1 \times Bildung + u \), wobei \(u\) der Fehlerterm ist, der normalverteilt ist mit Mittelwert 0 und Varianz \(\sigma^2\).

Wir gehen davon aus, dass wir einen Datensatz \(D\) von \(N\) Beobachtungen haben, das heißt, wir haben Wertepaare \((Bildung_i, Einkommen_i)\) für \(i = 1, 2, \ldots, N\).

Die Likelihood \(p(D|\beta_0, \beta_1)\) beschreibt die Wahrscheinlichkeit, die Daten \(D\) bei gegebenen Werten der Parameter \(\beta_0\) und \(\beta_1\) zu beobachten. Da die Fehlerterme \(u_i\) normalverteilt sind, ist auch die Verteilung von \(Einkommen_i\) normalverteilt mit Mittelwert \(\beta_0 + \beta_1 \times Bildung_i\) und Varianz \(\sigma^2\).

Die Dichtefunktion einer normalverteilten Zufallsvariablen \(X\) mit Mittelwert \(\mu\) und Varianz \(\sigma^2\) ist gegeben durch:

\[ f_X(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{1}{2\sigma^2} (x - \mu)^2 \right) \]

Für unsere Daten ergibt sich die Likelihood wie folgt:

\[ p(D | \beta_0, \beta_1) = \prod_{i=1}^{N} p(Einkommen_i | \beta_0, \beta_1) \propto \prod_{i=1}^{N} \exp \left( -\frac{1}{2\sigma^2} (Einkommen_i - (\beta_0 + \beta_1 \times Bildung_i))^2 \right) \]

Um dies klarer auszudrücken:

\[ p(D | \beta_0, \beta_1) \propto \exp \left( -\frac{1}{2\sigma^2} \sum_{i=1}^{N} (Einkommen_i - (\beta_0 + \beta_1 \times Bildung_i))^2 \right) \]

Die Likelihood-Funktion (\(p(D|\beta)\)) spielt eine zentrale Rolle in der Berechnung der Posterior-Verteilung \(p(\beta|D)\). Gemäß dem Bayesschen Satz wird die Posterior-Verteilung aus der Likelihood-Funktion und der Prior-Verteilung der Parameter berechnet:

\[ p(\beta | D) = \frac{p(D | \beta) \cdot p(\beta)}{p(D)} \]

Die Likelihood-Funktion repräsentiert dabei die Information, die die Daten über die Parameter \(\beta_0\) und \(\beta_1\) enthalten. Sie zeigt uns, wie wahrscheinlich die beobachteten Daten \(D\) für verschiedene Werte der Parameter \(\beta_0\) und \(\beta_1\) sind.

c)

3. Bestimme die marginale Wahrscheinlichkeit \mathbf{p}(D) der Daten D. Erkläre außerdem, wie die Prior-Verteilung und die Likelihood verwendet werden, um diese marginale Wahrscheinlichkeit zu berechnen. Warum ist diese marginale Wahrscheinlichkeit in der Praxis oft schwer zu berechnen?

Lösung:

Die marginale Wahrscheinlichkeit \(p(D)\) der Daten \(D\) ist ein wichtiger Bestandteil im Bayesschen Satz, da sie als Normierungskonstante dient, die sicherstellt, dass die Posterior-Verteilung \(p(\beta | D)\) eine gültige Wahrscheinlichkeitsverteilung ist. Mathematisch ausgedrückt ist die marginale Wahrscheinlichkeit durch Integration über alle möglichen Werte der Parameter \(\beta_0\) und \(\beta_1\) definiert:

\[ p(D) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} p(D | \beta_0, \beta_1) \cdot p(\beta_0, \beta_1) \, d\beta_0 \, d\beta_1 \]

Hierbei ist:

• \( p(D | \beta_0, \beta_1) \) die Likelihood-Funktion, die die Wahrscheinlichkeit der Daten \(D\) gegeben Werte der Parameter \( \beta_0 \) und \( \beta_1 \) beschreibt.
• \( p(\beta_0, \beta_1) \) die kombinierte Prior-Verteilung der Parameter \( \beta_0 \) und \( \beta_1 \), die unabhängig voneinander normalverteilt sind:

Da die Prior-Verteilungen unabhängig sind, können wir sie wie folgt ausdrücken: \[ p(\beta_0, \beta_1) = p(\beta_0) \cdot p(\beta_1) \]

Dies ergibt:

\[ p(D) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} p(D | \beta_0, \beta_1) \cdot p(\beta_0) \cdot p(\beta_1) \, d\beta_0 \, d\beta_1 \]

In der Praxis ist diese marginale Wahrscheinlichkeit oft schwer zu berechnen, und zwar aus folgenden Gründen:

• Hohe Dimensionalität: Der Integrationsprozess umfasst oft viele Parameter (nicht nur \(\beta_0\) und \(\beta_1\)), was die Berechnung kompliziert macht.
• Komplexe Likelihood-Funktion: Die Form der Likelihood-Funktion und ihre Abhängigkeiten können die analytische Integration erschweren oder unmöglich machen.
• Numerische Probleme: Selbst in Fällen, in denen keine analytische Lösung existiert, kann die numerische Integration aufgrund von Skalierungs- oder Genauigkeitsproblemen schwierig sein.

In vielen praktischen Anwendungen wird daher auf Approximationsmethoden zurückgegriffen, wie zum Beispiel:

• Laplace-Approximation: Verwendet eine zweite Ordnung Taylor-Entwicklung um das Maximum der Posterior-Verteilung.
• MCMC (Markov Chain Monte Carlo): Erzeugt Stichproben aus der Posterior-Verteilung, um die Verteilungen zu approximieren.
• Variationale Inferenz: Optimiert eine einfache Verteilung, um eine komplexere Zielverteilung zu approximieren.

Aufgabe 4)

In einer Studie über die Wirksamkeit eines neuen Medikaments soll die Wirksamkeit mithilfe bayesianischer und frequentistischer Methoden bewertet werden. Es werden Daten aus einer Stichprobe von Patienten gesammelt, die entweder das Medikament oder ein Placebo erhalten. Die zu analysierenden Daten sind Diskret, wobei 1 für eine Verbesserung des Gesundheitszustands und 0 für keine Verbesserung steht. Die Stichprobengröße beträgt 100 Patienten, mit 60 Verbesserungen in der Medikamentengruppe und 40 in der Placebogruppe. Um die Wirksamkeit des Medikaments zu bewerten, soll ein Vergleich zwischen den bayesianischen und frequentistischen Ansätzen angestellt werden.