Künstliche Intelligenz II - Cheatsheet

Architektur und Training von neuronalen Netzwerken

Definition:

Strukturen und Prozesse zur Entwicklung und Optimierung von neuronalen Netzwerken.

Details:

• Architektur: Organisation von Layern (Eingabe, versteckte, Ausgabe).
• Feedforward: Daten durchlaufen Netz nach vorne.
• Backpropagation: Fehlerausbreitung zur Gewichtsaktualisierung.
• Optimierungsverfahren: z.B. SGD, Adam.
• Aktivierungsfunktionen: z.B. ReLU, Sigmoid, Tanh.
• Loss Functions: z.B. MSE, Cross-Entropy.
• Regularisierung: Vermeidung von Überanpassung (Dropout, L2).
• Hyperparameter: Lernrate, Batchgröße, Anzahl der Epochen.
• Formeln: \[ y = f(W \times x + b) \] (Vorhersage), \[ L = \frac{1}{n} \times \text{sum}(y_{pred} - y_{true})^2 \] (MSE).

Overfitting und Regularisierungstechniken

Definition:

Overfitting ist, wenn ein Modell die Trainingsdaten zu gut lernt, wodurch es schlecht auf neuen, ungesehenen Daten generalisiert. Regularisierungstechniken helfen, Overfitting zu vermeiden und die Generalisierungsfähigkeit zu verbessern.

Details:

• Overfitting: Modell passt zu genau auf Trainingsdaten, unabhängig von Datenrauschen.
• Indikator: hohe Trainingsgenauigkeit und niedrige Testgenauigkeit.
• Regularisierungsarten:
• L1-Regularisierung: Hinzufügen eines \ell_1-Norm Begriffs zur Verlustfunktion.
• L2-Regularisierung (Ridge): Hinzufügen eines \ell_2-Norm Begriffs zur Verlustfunktion.
• Dropout: Zufälliges Deaktivieren von Neuronen während des Trainings.
• Early Stopping: Beenden des Trainings, wenn sich die Validierungsleistung verschlechtert.
• Data Augmentation: Erhöhung der Trainingsdatengröße durch Transformationen.

Policy-, Value- und Q-Learning

Definition:

Policy-Learning, Value-Learning und Q-Learning sind Methoden des Reinforcement Learnings, bei denen Agenten lernen, optimale Entscheidungen zu treffen.

Details:

• Policy-Learning: Direkte Optimierung der Verhaltensstrategie (policy) \( \pi \).
• Value-Learning: Bewertung von Zuständen oder Zustand-Aktions-Paaren zur schrittweisen Annäherung an einen optimalen Wert \( V(s) \).
• Q-Learning: Off-Policy-Methode, die Q-Werte \( Q(s, a) \) für Zustand-Aktions-Paare aktualisiert, um eine optimale Policy zu bestimmen.
• Policy-Gradient-Verfahren: Verwenden Gradientenabstieg zur Optimierung der Policy-Funktion
• Bellman-Gleichung: Grundlage zur Berechnung der Werte in Value- und Q-Learning

Markov-Entscheidungsprozesse (MDPs)

Definition:

Formalismus zur Modellierung von Entscheidungsproblemen, bei denen das Ergebnis sowohl von den aktuellen Entscheidungen als auch vom Zufall abhängt.

Details:

• Definitionselemente: Zustände (S), Aktionen (A), Übergangswahrscheinlichkeiten (T), Belohnungsfunktion (R)
• Ziel: Optimalen Politik \(\pi\) finden, die den erwarteten kumulierten Nutzen maximiert
• Bellman-Gleichung: \[ V^{\pi}(s) = R(s) + \gamma \sum_{s'} T(s,\pi(s),s')V^{\pi}(s') \]
• Diskontierungsfaktor: \(\gamma \in [0,1]\) gewichtet zukünftige Belohnungen
• Policy Iteration und Value Iteration als Lösungsmethoden

Ensemble-Methoden im maschinellen Lernen

Definition:

Ensemble-Methoden kombinieren mehrere Modelle, um die Gesamtleistung zu verbessern.

Details:

• Bagging: Reduziert Varianz durch parallele Kombination von Modellen, z.B. Random Forests.
• Boosting: Reduziert Bias durch sequentielle Kombination von Modellen, z.B. AdaBoost, Gradient Boosting.
• Stacking: Kombiniert Vorhersagen mehrerer Modelle durch ein Meta-Modell.
• Voting: Aggregiert Vorhersagen verschiedener Modelle durch Mehrheitsvotum (Classifier) oder Mittelwert (Regressor).
• Wichtige Parameter: Anzahl der Modelle, Art und Tiefe der Basislernmodelle.

Multi-Agenten-Systeme und deren Interaktionen

Definition:

System, das aus mehreren autonomen, verteilten Agenten besteht, die zusammenarbeiten oder konkurrieren, um Aufgaben zu erfüllen.

Details:

• Agent: autonome Entität, die Umgebung wahrnimmt und darauf reagiert
• Interaktion: Kommunikation und Kooperation der Agenten
• Kooperation: Agenten arbeiten zusammen für gemeinsames Ziel
• Wettbewerb: Agenten konkurrieren gegeneinander
• Koordinationsmechanismen: Strategien zur Steuerung der Zusammenarbeit
• Beispielanwendungen: Robotik, verteilte Systeme, Verkehrssteuerung

Deep Learning für Spracherkennung

Definition:

Verwendung von tiefen neuronalen Netzwerken zur Verarbeitung und Interpretation von Sprachdaten.

Details:

• Architekturen: RNN, LSTM, GRU, Transformer
• Vorverarbeitung: Sprachaufnahmen -> Merkmalsextraktion (MFCC, Mel-Spektrogramm)
• Training: Nutzung von großen, gekennzeichneten Datensätzen
• Klassifikation: Ausgabe einer Wahrscheinlichkeitsverteilung über mögliche Wörter oder Phoneme
• Anwendungen: Sprachassistenzsysteme, automatische Übersetzung, Transkription

Evaluierung von Modellen und Leistungsmetriken

Definition:

Metriken und Methoden zur Bewertung der Performance von Machine Learning-Modellen anhand vorher festgelegter Kriterien. Evaluierung beurteilt die Generalisierungsfähigkeit und Genauigkeit des Modells.

Details:

• Trainings-Daten vs. Test-Daten: Modell auf Trainingsdaten trainieren, auf unabhängigen Testdaten validieren
• Kreuzvalidierung (Cross-Validation): Datensatz in k-Folds aufteilen, Modell k-Mal trainieren und validieren
• Konfusionsmatrix: True Positives (TP), False Positives (FP), True Negatives (TN), False Negatives (FN)
• Accuracy: \(\text{Accuracy} = \frac{TP + TN}{TP + FN + TN + FP}\)
• Precision: \(\text{Precision} = \frac{TP}{TP + FP}\)
• Recall: \(\text{Recall} = \frac{TP}{TP + FN}\)
• F1-Score: Harmonisches Mittel von Precision und Recall \(\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}\)
• ROC-Kurve und AUC: Grafische Darstellung der Trade-offs zwischen TPR (True Positive Rate) und FPR (False Positive Rate)