Praktikum Mustererkennung - Cheatsheet

Definition und Eigenschaften von Mustern

Definition:

Muster: Messwertbeschreibungen zur Entscheidungsfindung. Charakterisierung von Objekten durch Merkmale.

Details:

• Merkmalsvektor: \mathbf{x} = (x_1, x_2, \dots, x_n)
• Klasse: Zugehörigkeit zu einer Gruppe von Mustern.
• Trennbarkeit: Klarheit der Klassenunterscheidung.
• Invarianz: Unempfindlichkeit gegenüber Transformationen.
• Erkennung: Zuweisung des Musters zu einer Klasse.

Dimensionenreduktionstechniken: PCA und LDA

Definition:

Dimensionalitätsreduktionstechniken zur Verringerung der Komplexität und zur Verbesserung der Visualisierung und Klassifikation in Datensätzen.

Details:

• Hauptkomponentenanalyse (PCA): Unüberwachte Methode zur Reduktion der Dimensionen durch Maximierung der Varianz entlang neuer orthogonaler Achsen.
• Lineare Diskriminanzanalyse (LDA): Überwachte Methode zur Reduktion der Dimensionen durch Maximierung der Trennbarkeit zwischen Klassen.
• PCA Berechnung: Eigenvektoren und Eigenwerte der Kovarianzmatrix der Daten.
• Dimensionalitätsreduktion mit PCA: Reduzierte Daten = Ursprüngliche Daten \times Matrix der Hauptkomponenten
• LDA Berechnung: Verwendet Verhältnisse der Streumatrizen (Within-Class und Between-Class Scatter).
• Dimensionalitätsreduktion mit LDA: Transformation = Ursprüngliche Daten \times Matrix der Diskriminantenvektoren
• Formeln für PCA: \text{Cov}(X) = \frac{1}{n-1}X^TX, \text{Reduzierte Daten} = X \times U_k
• Formeln für LDA: \text{w} = \text{argmax}_w \frac{w^TS_bw}{w^TS_ww}, \text{Transformation} = X \times W

Naive Bayes und Bayes-Klassifikatoren

Definition:

Naive Bayes ist ein probabilistischer Klassifikator, der die Wahrscheinlichkeit verwendet, dass ein Datenpunkt zu einer bestimmten Klasse gehört. Basierend auf dem Satz von Bayes und der Annahme, dass Features unabhängig voneinander sind.

Details:

• Bayes' Theorem: P(C|X) = \frac{P(X|C) \, P(C)}{P(X)}
• Unabhängigkeitsannahme: Merkmale sind bedingt unabhängig gegeben die Klasse
• Vorteile: Einfach, effizient, besonders gut bei großen Datenmengen und vielen Features
• Nachteile: Unabhängigkeitsannahme selten in der Praxis erfüllt
• Anwendung: Textklassifikation, Spam-Filterung, Sentiment-Analyse

Support Vector Machines (SVM)

Definition:

SVM ist ein überwacht lernender Algorithmus, der zur Klassifikation und Regression verwendet wird. Ziel: Maximierung des Abstands (Margin) zwischen den nächstliegenden Datenpunkten der Klassen (Support Vektoren) und der Trennlinie (Hyperplane).

Details:

• Verwendet für lineare und nicht-lineare Daten mittels Kernel-Trick
• Optimierungsproblem zur Bestimmung des besten Hyperplanes
• Formulierung als Quadratische Programmierung (QP)
• Kernel-Funktion: \textit{linear}, \textit{polynomial}, \textit{RBF}, \textit{sigmoid}
• Entscheidungsfunktion: \[ f(x) = \text{sign}(\textbf{w} \boldsymbol{\textbf{x}} + b) \]
• Optimiere: \[ \frac{1}{2} || \boldsymbol{\textbf{w}} ||^2 \] mit den Nebenbedingungen \[ y_i (\textbf{w} \boldsymbol{\textbf{x}}_i + b) \geq 1 \]
• Marge: \[ \frac{2}{|| \boldsymbol{\textbf{w}} ||} \]

Feedforward- und Rückpropagationsalgorithmen

Definition:

Feedforward und Rückpropagationsalgorithmen sind zentrale Konzepte im Training von neuronalen Netzwerken für Mustererkennung.

Details:

• Feedforward:
• Daten werden durch die Schichten des Netzwerks von Eingabe bis zur Ausgabe weitergeleitet.
• Keine Zyklizität, nur Vorwärtsfluss.
• Rückpropagation:
• Berechnet Fehler durch Differenz der vorhergesagten Ausgabe und der tatsächlichen Ausgabe.
• Fehler wird rückwärts durch das Netzwerk propagiert, um Gewichte anzupassen.
• Verwendet den Gradientenabstieg zur Optimierung:
• Gewichtsaktualisierung: \(w_{ij}^{(t+1)} = w_{ij}^{(t)} - \eta \frac{\partial E}{\partial w_{ij}}\)
• Aktivierungsfunktion:
• Typische Funktionen: Sigmoid, ReLU, Tanh.

Convolutional Neural Networks (CNNs)

Definition:

CNNs sind spezielle, tiefere neuronale Netzwerke, die sich besonders gut für die Verarbeitung von Bilddaten eignen.

Details:

• Faltungsschichten extrahieren lokale Merkmale mittels Filtern/Kerneln.
• Pooling-Schichten reduzieren die Dimensionen (z.B. Max-Pooling).
• Aktivierungsfunktionen, wie ReLU, führen Nichtlinearitäten ein.
• Fully Connected Layer am Ende des Netzwerks für Klassifikation.
• Anwendungsgebiete: Bildklassifikation, Objekterkennung, Segmentierung.

Bilderkennung und -analyse

Definition:

Automatisierte Erkennung und Analyse von Mustern, Objekten oder Merkmalen in Bildern.

Details:

• Methoden: Filterung, Segmentierung, Merkmalsextraktion, Klassifikation
• Filterung: Glättung, Kanten
• Segmentierung: Schwellenwertverfahren, Clustering
• Merkmalsextraktion: Kanten, Ecken, Texturen
• Klassifikation: SVM, KNN, CNNs
• Anwendungen: Gesichtserkennung, Objekterkennung, medizinische Bildanalyse

Spracherkennungssysteme

Definition:

Automatische Umwandlung von gesprochener Sprache in Text.

Details:

• Signalvorverarbeitung: Entfernung von Rauschen, Vorbetonung
• Merkmalsextraktion: Fourier-Transformation, MFCCs
• Modellierung: HMMs, neuronale Netze
• Spracherkennung: Vergleich des Merkmalsvektors mit Modellen
• Ausgabe: Wahrscheinlichsten Text generieren