Markovketten - Cheatsheet.pdf

Markov-Modelle: Mathematische Definition und Grundlagen

Definition:

Markov-Modelle nutzen Zufallsprozesse, bei denen die Zukunft nur vom aktuellen Zustand abhängt (Markov-Eigenschaft).

Details:

• Markov-Kette: Folge von Zufallsvariablen \[ X_1, X_2, \ldots \] mit Markov-Eigenschaft \[ P(X_{n+1} = x | X_1 = x_1, \ldots, X_n = x_n) = P(X_{n+1} = x|X_n = x_n) \].
• Übergangsmatrix: Matrix \[ P = (p_{ij}) \] mit \[ p_{ij} = P(X_{n+1} = j | X_n = i) \].
• Startverteilung: Vektor \[ \boldsymbol{v} = (v_1, v_2, \ldots) \] mit \[ v_i = P(X_1 = i) \].
• Chapman-Kolmogorow-Gleichung: \[ P^{(n+k)} = P^{(n)} \times P^{(k)} \]
• Klassifikation der Zustände: rekurrent vs. transient, periodisch vs. aperiodisch

Diskrete vs. kontinuierliche Markov-Modelle und Übergangsmatrizen

Definition:

Diskrete und kontinuierliche Markov-Modelle unterscheidet man anhand der Zeitparameter; diskrete Modelle arbeiten mit diskreten Zeitschritten, kontinuierliche mit stetiger Zeit. Übergangsmatrizen beschreiben bei beiden Modellen die Wahrscheinlichkeiten für den Wechsel von einem Zustand in einen anderen.

Details:

• Diskrete Markov-Modelle: Zustandswechsel erfolgen in diskreten Zeitschritten.
• Kontinuierliche Markov-Modelle: Zustandswechsel erfolgen zu beliebigen Zeitpunkten.
• Übergangsmatrix (diskret): \( P_{ij} = P(X_{n+1}=j \mid X_n=i) \).
• Generator-Matrix (kontinuierlich): \( Q_{ij} = \lim_{\Delta t \to 0} \frac{P(X(t+\Delta t)=j \mid X(t)=i)}{\Delta t} \).

Langfristiges Verhalten und Gleichgewichtszustände in Markov-Modellen

Definition:

Langfristige Stabilität und Verhalten eines Markov-Prozesses untersuchen, insbesondere stationäre Verteilungen und langfristige Wahrscheinlichkeiten.

Details:

• Stationäre Verteilung: Verteilung \(\pi\), die der Bedingung \(\pi P = \pi\) genügt.
• Langfristige Wahrscheinlichkeit: Wahrscheinlichkeit, dass sich ein System nach langer Zeit in einem bestimmten Zustand befindet.
• Ergodizität: Jede irreduzible, aperiodische Markov-Kette besitzt eine eindeutige stationäre Verteilung.
• Gleichgewichtszustand: Wenn eine Markov-Kette zu einer stationären Verteilung konvergiert.
• Bedingung zur Bestimmung stationärer Verteilungen: Lösen des Gleichungssystems \[ \pi_j = \sum_{i} \pi_i P_{ij}, \quad \sum_{j} \pi_j = 1 \]

Konstruktion und Analyse einfacher Markov-Modelle

Definition:

Konstruktion und Analyse von Markov-Modellen in der Vorlesung Markovketten bezieht sich auf das Erstellen und Untersuchen von Zufallsprozessen, deren zukünftige Zustände nur vom aktuellen Zustand abhängen.

Details:

• Markov-Eigenschaft: Zustand der Kette hängt nur vom vorhergehenden Zustand ab
• Übergangsmatrix: \( P = (p_{ij}) \) mit \( p_{ij} = P(X_{n+1}=j | X_n=i) \)
• Stationäre Verteilung: \( \boldsymbol{\boldsymbol{\rho}}P = \boldsymbol{\boldsymbol{\rho}} \) und \( \boldsymbol{\rho} \boldsymbol{e} = 1 \)
• Ergodicität: Langzeitverhalten der Kette, es existiert genau eine stationäre Verteilung
• Absorption: Analyse der Wahrscheinlichkeit der Absorption und erwarteten Zeit bis zur Absorption in absorbierenden Markov-Ketten

Definition und Klassifikation von Zufallsprozessen, insbesondere Poisson-Prozesse

Definition:

Zufallsprozess: Sammlung von Zufallsvariablen, indexiert durch Zeitparameter. Poisson-Prozess: Zählt Ereignisse, die zu zufälligen Zeitpunkten auftreten, hat exponentiell verteilte Zwischenankünfte und konstante Rate \( \lambda \).

Details:

• Zufallsprozess: \( \{ X(t) \}_{t \in T} \), beschreibt Systemverhalten über die Zeit.
• Klassifikation: diskret oder stetig, abhängig von Indexmenge \( T \)
• Poisson-Prozess:
• Intensität \( \lambda \): durchschnittliche Anzahl der Ereignisse pro Zeiteinheit.
• Verteilung der Ankünfte: Exponentialverteilung \[ F(t) = 1 - e^{-\lambda t} \]
• Ereignisanzahl in Zeitintervall \( [0, t] \): Poisson-Verteilung \[ P(N(t) = k) = \frac{(\lambda t)^k e^{-\lambda t}}{k!} \]

Stochastische Dominanz: Grundlagen, Definitionen und Anwendungen

Definition:

Stochastische Dominanz ist ein Konzept, das verwendet wird, um zwei Verteilungen zu vergleichen. Eine Verteilung stochastisch dominiert eine andere, wenn sie für jeden möglichen Ausgang einen größeren oder gleichen Nutzen aufweist.

Details:

• 1. Ordnung: Eine Verteilung F(x) dominiert G(x) stochastisch erster Ordnung, wenn für alle x gilt: \(F(x) \leq G(x)\).
• 2. Ordnung: F(x) dominiert G(x) stochastisch zweiter Ordnung, wenn das Integral von F bis zu jedem x kleiner oder gleich dem Integral von G ist: \[\int_{-\infty}^{x} F(t)dt \leq \int_{-\infty}^{x} G(t)dt \forall x \].
• Anwendungen in Wirtschaft und Entscheidungstheorie, um risikoärmere oder vorzuziehende Optionen zu identifizieren.

Erwartungswerte und Varianzen: Berechnung und Interpretation

Definition:

Erwartungswerte und Varianzen in Markovketten beschreiben zentrale Tendenz und Streuung von Zustandsverteilungen im Verlauf des Markovprozesses.

Details:

• Erwartungswert: \(\mathbb{E}[X] = \sum_{i} x_i \cdot P(X = x_i)\)
• Varianz: \(\text{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2\)
• Für Markovketten: Zustände und Übergangswahrscheinlichkeiten bestimmen diese Werte
• Langfristige Mittelwerte und Stabilität analysieren
• Solche Werte beeinflussen die Vorhersage von Systemverhalten

Anwendungen von Markovketten in der Wirtschaft (z.B. Modellierung von Kundenverhalten und Risikoanalyse)

Definition:

Nutzung von Markovketten zur Darstellung und Analyse von Prozessen in der Wirtschaft.

Details:

• Modellierung von Kundenverhalten: Bestimmung von Übergangswahrscheinlichkeiten zwischen Zuständen wie Kauf, Nichtkauf, Wechsel zu anderen Anbietern.
• Risikoanalyse: Berechnung von Wahrscheinlichkeiten für verschiedene Risikoszenarien, z.B. Kreditausfälle, durch Übergangsmatrizen.
• Formel für Übergangsmatrix: \[ P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1n} \ p_{21} & p_{22} & \cdots & p_{2n} \ \vdots & \vdots & \ddots & \vdots \ p_{n1} & p_{n2} & \cdots & p_{nn} \end{pmatrix} \]
• Langfristiges Gleichgewicht (stationäre Verteilung) analysieren: Lösung von \[ \pi P = \pi \]