Modul MathKINN II: Mathematische Grundlagen zu Künstliche Intelligenz, Neuronale Netze und Data Analytics II - Cheatsheet

Backpropagation und Gradient Abstieg

Definition:

Backpropagation: Fehlerrückführung in mehrschichtigen Neuronalen Netzen zur Anpassung der Gewichte. Gradient Abstieg: Optimierungsverfahren zur Minimierung der Kostenfunktion.

Details:

• Backpropagation berechnet Gradienten der Kostenfunktion relativ zu jedem Gewicht durch Kettenregel.
• Gradient Abstieg aktualisiert Gewichte: \( w_{new} = w_{old} - \eta \frac{\partial J}{\partial w} \) wobei \( \eta \) die Lernrate und \( \frac{\partial J}{\partial w} \) der Gradient der Kostenfunktion \( J \) ist.
• Zwei Phasen: Vorwärts- und Rückwärtsphase.
• Vorwärtsphase: Berechnung der Ausgabe des Netzwerks.
• Rückwärtsphase: Berechnung der Gradienten durch Rückpropagierung der Fehler.
• Wiederholt sich iterativ, um die Gewichte zu optimieren.

Aktivierungsfunktionen (ReLU, Sigmoid, Tanh)

Definition:

Aktivierungsfunktionen sind mathematische Funktionen, die den Output eines Neurons in einem künstlichen neuronalen Netz bestimmen. Sie führen Nichtlinearitäten ein, um komplexe Muster zu modellieren.

Details:

• ReLU (Rectified Linear Unit): Einfach, schnell konvergierend, erlaubt sparsames Aktivieren \( f(x) = \max(0, x) \)
• Sigmoid: Glättet Output zwischen 0 und 1, für binäre Klassifikationen geeignet \( f(x) = \frac{1}{1 + e^{-x}} \)
• Tanh (Hyperbolischer Tangens): Wertbereich von -1 bis 1, symmetrisch um die Null \( f(x) = \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \)

Datenvorverarbeitung und Bereinigungstechniken

Definition:

Vorbereitung von Rohdaten in ein nutzbares Format mittels Techniken wie 'Data Cleaning', 'Integration', 'Transformation' und 'Reduction'.

Details:

• Fehlende Werte: Entfernen, Imputieren, Ersetzen
• Outlier-Entfernung: IQR-Methode, Z-Score-Methode
• Datenskalierung: Normalisierung, Standardisierung
• Feature Engineering: Erzeugung neuer Merkmale, Merkmalsselektion
• Datentransformation: Diskretisierung, Binning

Deskriptive und inferenzielle Statistikmethoden

Definition:

Deskriptive Statistik beschreibt Daten durch Kennzahlen und Grafiken. Inferenzielle Statistik schließt von Stichproben auf die Grundgesamtheit.

Details:

• Deskriptive Statistik:
  • Lagemaße: Mittelwert (\(\bar{x}\)), Median
  • Streuungsmaße: Varianz (\text{Var}(X)), Standardabweichung (\text{std}(X))
  • Grafiken: Histogramme, Boxplots
• Inferenzielle Statistik:
  • Hypothesentests: t-Test, Chi-Quadrat-Test
  • Konfidenzintervalle
  • Regressionsanalyse

Heuristische Algorithmen in der KI

Definition:

Algorithmen, die auf Erfahrungswerten oder Näherungsverfahren basieren, um gute, aber nicht notwendigerweise optimale Lösungen für komplexe Probleme zu finden.

Details:

• Wenden Regeln an, um Suchräume effizienter zu durchsuchen.
• Nützliche Heuristiken: Greedy-Algorithmen, A* (A-Stern)-Algorithmus.
• Reduzieren die Rechenzeit durch Annahmen und Vereinfachungen.
• Typischer Einsatz in Problemfeldern wie Routenplanung, Spiel-KI, Optimierungsprobleme.
• Risiko suboptimaler oder falscher Lösungen, Kontrolle notwendig.

Optimierungsmethoden für maschinelles Lernen

Definition:

Methoden zur Minimierung einer Kostenfunktion in ML-Modellen.

Details:

• Gradientenabstieg: Aktualisiert Gewichte in Richtung des negativen Gradienten des Fehlers.
• Stochastischer Gradientenabstieg (SGD): Aktualisiert Gewichte nach jeder Trainingsinstanz.
• Mini-Batch SGD: Kombination aus Gradientenabstieg und SGD.
• Adam: Adaptives Lernratenoptimierungsverfahren, kombiniert Momentum und RMSprop.
• RMSprop: Ähnlich zu Adam, nutzt exponentiell gewichtete Mittelwertquadrate der Gradienten.
• Momentum: Beschleunigt Gradientenabstieg, indem es in Richtung des vorherigen Gradienten fortsetzt.

Lineare Algebra: Matrizenoperationen

Definition:

Operationen, die auf Matrizen angewendet werden, um neue Matrizen oder Werte zu erhalten.

Details:

• Addition und Subtraktion: Zwei Matrizen gleicher Dimension addieren/subtrahieren
• Skalarmultiplikation: Multiplikation einer Matrix mit einem Skalar
• Matrizenmultiplikation: Produkt zweier Matrizen formen, bedingt durch kompatible Dimensionen
• Transponieren: Vertauschen von Zeilen und Spalten einer Matrix
• Inverse: für quadratische Matrizen, sofern invertierbar
• Determinante: Skalarwert für quadratische Matrizen zur Untersuchung von Eigenschaften wie Invertierbarkeit

Ethik und gesellschaftliche Auswirkungen der KI

Definition:

Ethik und gesellschaftliche Auswirkungen der KI: Untersuchung moralischer Fragen und sozialer Folgen bei der Nutzung von Künstlicher Intelligenz.

Details:

• Verantwortlichkeit und Haftung: Wer ist verantwortlich für Entscheidungen von KI?
• Bias und Fairness: KI-Modelle können bestehende Vorurteile verstärken.
• Datenschutz: Umgang mit persönlichen Daten und deren Sicherheit.
• Arbeitsmarkt: Veränderung des Jobmarktes durch Automatisierung.
• Transparenz: Nachvollziehbarkeit von KI-Entscheidungen.
• Regulierung: Notwendigkeit gesetzlicher Rahmenbedingungen.