Visual Computing in Medicine - Exam

Aufgabe 1)

Ein wichtiger Bereich der visuellen Datenverarbeitung in der Medizin ist die Verbesserung von Bildmaterial durch verschiedene Filtertechniken. Dazu zählen unter anderem:

• Glättungsfilter: zur Reduktion von Rauschen.
• Scharfzeichnungsfilter: zur Verstärkung der Kanten.
• Medianfilter: zum Entfernen von impulsivem Rauschen.
• Gaußfilter: zur Glättung des Bildes durch einen gewichteten Mittelwert.
• Sobel-Filter: zur Kantendetektion mittels Gradientenberechnung.

a)

(a) Implementiere einen Gaußfilter in Python, der auf ein gegebenes medizinisches Bild angewendet wird. Nutze die folgenden Parameter:

• Sigma (Standardabweichung) = 1.0
• Kerngröße = 5x5

Stelle sicher, dass Deine Implementierung das Bild korrekt glättet und zeige das Ergebnis vor und nach der Anwendung des Filters.

Hilfe: Der Gaußfilter verwendet die Normalverteilung, beschrieben durch die Funktion:

import numpy as npimport cv2import matplotlib.pyplot as plt# Funktion zur Erstellung eines Gaußkernsdef gaussian_kernel(size, sigma=1.0):    kernel = np.fromfunction(        lambda x, y: (1/ (2 * np.pi * sigma**2)) * np.exp(- ((x - (size - 1) / 2)**2 + (y - (size - 1) / 2)**2) / (2 * sigma**2)),        (size, size))    return kernel / np.sum(kernel)# Laden des medizinischen Bildesimage = cv2.imread('medical_image.png', 0)# Erstellen des Gaußkernskernel = gaussian_kernel(5, sigma=1.0)# Anwendung des Filters mittels cv2.filter2Dimage_gaussian = cv2.filter2D(image, -1, kernel)plt.figure(figsize=(10, 5))plt.subplot(1, 2, 1)plt.title('Original')plt.imshow(image, cmap='gray')plt.subplot(1, 2, 2)plt.title('Mit Gaußfilter')plt.imshow(image_gaussian, cmap='gray')plt.show()

Lösung:

Ein wichtiger Bereich der visuellen Datenverarbeitung in der Medizin ist die Verbesserung von Bildmaterial durch verschiedene Filtertechniken. Dazu zählen unter anderem:

• Glättungsfilter: zur Reduktion von Rauschen.
• Scharfzeichnungsfilter: zur Verstärkung der Kanten.
• Medianfilter: zum Entfernen von impulsivem Rauschen.
• Gaußfilter: zur Glättung des Bildes durch einen gewichteten Mittelwert.
• Sobel-Filter: zur Kantendetektion mittels Gradientenberechnung.

(a) Implementiere einen Gaußfilter in Python, der auf ein gegebenes medizinisches Bild angewendet wird. Nutze die folgenden Parameter:

• Sigma (Standardabweichung) = 1.0
• Kerngröße = 5x5

Stelle sicher, dass Deine Implementierung das Bild korrekt glättet und zeige das Ergebnis vor und nach der Anwendung des Filters.

Hilfe: Der Gaußfilter verwendet die Normalverteilung, beschrieben durch die Funktion:

import numpy as npimport cv2import matplotlib.pyplot as plt# Funktion zur Erstellung eines Gaußkernsdef gaussian_kernel(size, sigma=1.0):    kernel = np.fromfunction(        lambda x, y: (1 / (2 * np.pi * sigma**2)) * np.exp(- ((x - (size - 1) / 2)**2 + (y - (size - 1) / 2)**2) / (2 * sigma**2)),        (size, size))    return kernel / np.sum(kernel)# Laden des medizinischen Bildesimage = cv2.imread('medical_image.png', 0)# Erstellen des Gaußkernskernel = gaussian_kernel(5, sigma=1.0)# Anwendung des Filters mittels cv2.filter2Dimage_gaussian = cv2.filter2D(image, -1, kernel)plt.figure(figsize=(10, 5))plt.subplot(1, 2, 1)plt.title('Original')plt.imshow(image, cmap='gray')plt.subplot(1, 2, 2)plt.title('Mit Gaußfilter')plt.imshow(image_gaussian, cmap='gray')plt.show()

b)

(b) Analysiere und vergleiche die Ergebnisse der Original- und gefilterten Bilder aus Teil (a). Diskutiere die Auswirkungen auf die unterschiedlichen Bilddetails und erkläre, welche medizinischen Informationen bei der Anwendung des Gaußfilters verloren gehen könnten und welche verbessert werden könnten.

Lösung:

Ein wichtiger Bereich der visuellen Datenverarbeitung in der Medizin ist die Verbesserung von Bildmaterial durch verschiedene Filtertechniken. Dazu zählen unter anderem:

• Glättungsfilter: zur Reduktion von Rauschen.
• Scharfzeichnungsfilter: zur Verstärkung der Kanten.
• Medianfilter: zum Entfernen von impulsivem Rauschen.
• Gaußfilter: zur Glättung des Bildes durch einen gewichteten Mittelwert.
• Sobel-Filter: zur Kantendetektion mittels Gradientenberechnung.

(b) Analysiere und vergleiche die Ergebnisse der Original- und gefilterten Bilder aus Teil (a). Diskutiere die Auswirkungen auf die unterschiedlichen Bilddetails und erkläre, welche medizinischen Informationen bei der Anwendung des Gaußfilters verloren gehen könnten und welche verbessert werden könnten.

• Analyse und Vergleich:Beim Vergleich des Originalbildes mit dem gefilterten Bild wird deutlich, dass das gefilterte Bild glatter erscheint. Dies wird durch den Gaußfilter erreicht, der Rauschen aus dem Bild entfernt und es weicher macht. Die Kanten im Bild werden weniger ausgeprägt und die feinen Details können verschwimmen.
• Auswirkungen auf Bilddetails:
  • Rauschunterdrückung: Der Gaußfilter ist sehr effektiv beim Entfernen von Rauschen im Bild. Das ist besonders hilfreich in medizinischen Bildern, wo Rauschen die Diagnose erschweren kann.
  • Verminderung von Kanten: Während der Filter Rauschen reduziert, werden auch die Kanten im Bild glatter. Dadurch können jedoch auch wichtige Details verloren gehen, insbesondere wenn diese Details durch feine Kanten repräsentiert werden.
  • Weichzeichnen von Strukturen: Strukturen im Bild, wie Organe oder Gewebeverbindungen, erscheinen nach dem Filtern weniger klar. Dies könnte es schwieriger machen, genaue Diagnosen zu stellen, falls diese feinen Details kritisch sind.
• Verlorene und verbesserte medizinische Informationen:
  • Verloren: Details wie feine Adern, kleine Tumoren oder Mikrostrukturen können durch den Gaußfilter verwischt werden, was dazu führen könnte, dass solche wichtigen medizinischen Informationen nicht mehr gut erkennbar sind.
  • Verbessert: Gleichmäßige Flächen, wie zum Beispiel gleichmäßiges Gewebe oder bestimmte Organbereiche, werden klarer und rauschfreier dargestellt. Dies kann die Erkennung von größeren Anomalien wie Tumoren oder Zysten erleichtern, sofern sie groß genug sind, um nicht von der Weichzeichnung beeinträchtigt zu werden.

Aufgabe 2)

Segmentierung von medizinischen Bildern

Die Segmentierung von medizinischen Bildern spielt eine zentrale Rolle bei der Identifikation und Isolation relevanter Strukturen wie Organe oder Tumore vom Hintergrund. Es gibt verschiedene Methoden zur Segmentierung, darunter:

• Schwellenwertverfahren: Einfache Technik basierend auf einem voreingestellten Schwellenwert zur Trennung der Bildintensitäten.
• Region Growing: Ausgangspunkt ist ein Saatpunkt; benachbarte Pixel mit ähnlichen Eigenschaften werden hinzugefügt.
• K-Means Clustering: Methode zur Gruppierung von Pixeln in K-Gruppen basierend auf deren Eigenschaften.
• Schnappzieher-Algorithmus: Interaktive Methode, die Energiefunktionen für segmentierte Grenzen minimiert.
• Deep Learning: Moderne Verfahren wie U-Net und Fully Convolutional Networks (FCNs) werden zunehmend genutzt für automatische Segmentierungen.

Eine präzise Segmentierung ist ausschlaggebend für die medizinische Diagnose, die Operationsplanung und die Therapieüberwachung. Die Evaluierung der Segmentierungsgenauigkeit wird durch Metriken wie den Dice-Koeffizienten und den Jaccard-Index vorgenommen.

b)

2. Moderne Deep Learning Methoden wie U-Net oder Fully Convolutional Networks (FCNs) werden zunehmend für die medizinische Bildsegmentierung eingesetzt.

• a) Beschreibe die Architektur eines U-Net Modells und seine Funktionsweise.
• b) Angenommen, Du hast ein U-Net Modell zur Segmentierung eines MRT-Bildes mit 512x512 Pixeln trainiert, wie berechnest Du den Dice-Koeffizienten zwischen dem vorhergesagten und dem tatsächlichen Segmentierungs-Output?

Lösung:

Subexercise Lösung:

• a) Beschreibe die Architektur eines U-Net Modells und seine Funktionsweise.

Das U-Net Modell hat sich in der medizinischen Bildsegmentierung als sehr effektiv erwiesen. Die Architektur eines U-Net besteht aus zwei Hauptteilen:

• Enkodierungspfad (Contracting Path):Dieser Teil besteht aus wiederholten Anwendungen von zwei 3x3 Convolution-Operationen (gefüllt mit ReLU) gefolgt von einer 2x2 Max-Pooling-Operation mit Schrittweite 2 zur Reduktion der Dimensionen. Dies reduziert die räumliche Auflösung des Bildes und erhöht die Tiefe, sodass immer abstraktere Repräsentationen der Bildmerkmale extrahiert werden.
• Dekodierungspfad (Expansive Path):Dieser Teil besteht aus Up-Convolutions (Deconvolutions oder Transposed Convolutions), die die räumliche Auflösung der Merkmalskarten wieder erhöhen. Jedes Upsampling wird durch eine normale 3x3 Convolution gefolgt von einer 2x2 Upsampling-Operation bearbeitet. Zudem werden die resultierenden Merkmalskarten von der zugehörigen Schicht des Enkodierungspfads mittels Skip-Connections kombiniert, um hochauflösende Informationen beizubehalten.

Die Verbindung zwischen dem Enkodierungspfad und dem Dekodierungspfad fördert den Informationsfluss der Bildmerkmale und ermöglicht die Extraktion relevanter Details bei gleichzeitiger Beibehaltung der ursprünglichen Positionen der Bildobjekte.

• b) Angenommen, Du hast ein U-Net Modell zur Segmentierung eines MRT-Bildes mit 512x512 Pixeln trainiert, wie berechnest Du den Dice-Koeffizienten zwischen dem vorhergesagten und dem tatsächlichen Segmentierungs-Output?

Der Dice-Koeffizient ist ein Maß zur Bestimmung der Übereinstimmung zwischen zwei Mengen und wird speziell verwendet, um die Segmentierungsgenauigkeit zu berechnen. Der Dice-Koeffizient wird folgendermaßen berechnet:

• Formel für den Dice-Koeffizienten:\[ \text{Dice} = \frac{2 \times |P \cap A|}{|P| + |A|} \]Hierbei bezeichnet \(P\) das vorhergesagte Segment und \(A\) das tatsächliche Segment.

Für die Berechnung für ein Bild geht man folgendermaßen vor:

• Analysiere die Pixelmatrix sowohl im vorhergesagten Output (\(P\)) als auch im tatsächlichen Segment (\(A\)).
• Berechne die Anzahl der gemeinsamen positiven Werte zwischen beiden Segmenten (Schnittmenge von \(P\) und \(A\)).
• Berechne die Anzahl der positiven Werte in jedem Segment.
• Bestimme den Koeffizienten gemäß der Formel:\[ \text{Dice} = \frac{2 \times |P \cap A|}{|P| + |A|} \]
• Je näher der Koeffizient bei 1 liegt, desto besser ist die Segmentierungsübereinstimmung. Ein Wert von 0 bedeutet keine Übereinstimmung.

c)

3. Die Evaluierung von Segmentierungsergebnissen ist entscheidend für ihre Anwendung in der medizinischen Praxis.

• a) Definiere den Dice-Koeffizienten und den Jaccard-Index und erläutere ihren Unterschied.
• b) Gegeben sind zwei Segmentierungsergebnisse: Ersteres hat einen Dice-Koeffizienten von 0.8 und der zweite ein Jaccard-Index von 0.7. Interpretieren und vergleichen Sie die Segmentierungsleistung beider Ergebnisse.

Lösung:

Subexercise Lösung:

• a) Definiere den Dice-Koeffizienten und den Jaccard-Index und erläutere ihren Unterschied.

Der Dice-Koeffizient (auch Dice Similarity Coefficient genannt) und der Jaccard-Index (auch Intersection over Union genannt) sind Metriken zur Evaluierung der Ähnlichkeit und Überlappung von Segmentierungsergebnissen.

• Dice-Koeffizient:Der Dice-Koeffizient misst die Ähnlichkeit zwischen zwei Mengen und wird wie folgt berechnet: \[ \text{Dice} = \frac{2 |A \cap B|}{|A| + |B|} \]Hierbei bezeichnen \(A\) und \(B\) die beiden zu vergleichenden Mengen (Segmentierungen). Der Dice-Koeffizient reicht von 0 (keine Übereinstimmung) bis 1 (vollständige Übereinstimmung).
• Jaccard-Index:Der Jaccard-Index misst die Überlappung zwischen zwei Mengen und wird wie folgt berechnet: \[ \text{Jaccard} = \frac{|A \cap B|}{|A \cup B|} \]Hierbei bezeichnen \(A\) und \(B\) ebenfalls die zu vergleichenden Mengen. Der Jaccard-Index reicht ebenfalls von 0 (keine Übereinstimmung) bis 1 (vollständige Übereinstimmung).
• Unterschied:Der wesentliche Unterschied liegt in der Berechnung: Der Dice-Koeffizient verwendet die doppelte Schnittmenge in Numerator und die Summe der Größen als Nenner, wohingegen der Jaccard-Index das Verhältnis der Schnittmenge zur Vereinigung benutzt. Mathematisch besteht folgender Zusammenhang: \[ \text{Dice} = \frac{2 \times \text{Jaccard}}{\text{Jaccard} + 1} \]

• b) Gegeben sind zwei Segmentierungsergebnisse:Ersteres hat einen Dice-Koeffizienten von 0.8 und der zweite ein Jaccard-Index von 0.7. Interpretieren und vergleichen Sie die Segmentierungsleistung beider Ergebnisse.

Um die Segmentierungsleistung der beiden Ergebnisse zu vergleichen, sollten wir die beiden Metriken ins Verhältnis setzen.

• Der gegebene Dice-Koeffizient ist 0.8. Um den entsprechenden Jaccard-Index zu berechnen, benutzen wir die Umkehrformel: \[ \text{Jaccard} = \frac{\text{Dice}}{2 - \text{Dice}} = \frac{0.8}{2 - 0.8} = \frac{0.8}{1.2} \approx 0.667 \]
• Der gegebene Jaccard-Index ist 0.7, um den entsprechenden Dice-Koeffizienten zu berechnen, benutzen wir die Formel: \[ \text{Dice} = \frac{2 \times \text{Jaccard}}{\text{Jaccard} + 1} = \frac{2 \times 0.7}{0.7 + 1} = \frac{1.4}{1.7} \approx 0.824 \]

Somit haben wir:

• Segmentierung 1: Dice-Koeffizient = 0.8 (entspricht etwa Jaccard-Index = 0.667)
• Segmentierung 2: Jaccard-Index = 0.7 (entspricht etwa Dice-Koeffizient = 0.824)

Vergleicht man beide Segmentierungen, stellt man fest, dass Segmentierung 2 leicht genauer ist, da der Dice-Koeffizient etwas höher ist. Jedoch sind die Unterschiede relativ gering, was bedeutet, dass beide Segmentierungsergebnisse relativ ähnlich und von guter Qualität sind. Der Dice-Koeffizient von 0.824 im zweiten Fall deutet darauf hin, dass die Segmentierungsleistung nahezu perfekt ist, insbesondere in der Vergleich mit vorhergesagtem Wert der Jaccard von 0.7.

Aufgabe 3)

In der medizinischen Bildgebung gibt es zwei Haupttechniken zur Visualisierung von Daten: Volumenrendering und Oberflächenrendering. Beim Volumenrendering wird das gesamte Volumen dargestellt, indem Intensitäten oder Transparenzen der Voxels verwendet werden. Im Gegensatz dazu werden beim Oberflächenrendering explizite Oberflächen extrahiert und dargestellt, oft durch die Methode der Isosurfaces. Zu den wichtigen Verfahren im Volumenrendering gehören Raycasting, Splatting und Texture Mapping, während Marching Cubes ein bekanntes Verfahren im Oberflächenrendering ist. Beide Techniken finden Anwendung in Diagnose, Operationsplanung und Forschung, wobei Volumenrendering oft rechenintensiver ist als Oberflächenrendering.

a)

Erläutere das Konzept des Raycasting im Kontext des Volumenrenderings und beschreibe, wie die Intensitäten oder Transparenzen der Voxels bei dieser Methode verwendet werden. Welche Schritte sind notwendig, um ein 3D-Volumen auf einer 2D-Bildebene darzustellen?

Lösung:

Das Konzept des Raycasting im Kontext des Volumenrenderings ist eine Methode, um ein 3D-Volumen auf einer 2D-Bildebene darzustellen. Beim Raycasting werden Strahlen (Rays) von der Ansichtsebene (2D-Bildebene) durch das 3D-Volumen gesendet. Anhand der Intensitäten oder Transparenzen der Voxels, die die Strahlen durchdringen, wird ein Bild erzeugt. Hier sind die notwendigen Schritte für das Raycasting:

• Strahlenwurf: Für jedes Pixel auf der 2D-Bildebene wird ein Strahl durch das 3D-Volumen gesendet.
• Abtastung der Voxels: Der Strahl durchdringt das Volumen und sammelt die Intensitäten oder Transparenzen der Voxels entlang seines Wegs. Dies geschieht durch regelmäßige Abtastpunkte entlang des Strahls.
• Übertragungsfunktion: Eine Übertragungsfunktion wird verwendet, um die gesammelten Intensitäten oder Transparenzen in Farben und Opazitäten umzurechnen. Diese Funktion bestimmt, wie das Material im Volumen aussieht (z.B. Haut, Knochen, Gewebe).
• Integration: Die gesammelten Farben und Opazitäten entlang des Strahls werden integriert, um den endgültigen Farb- und Helligkeitswert für das entsprechende Pixel zu berechnen. Oft wird die Integration durch Alpha-Blending durchgeführt, das die Transparenzen kombiniert.
• Bild-Ausgabe: Diese berechneten Pixelwerte bilden zusammen das resultierende 2D-Bild, das das 3D-Volumen repräsentiert.

Raycasting ist deshalb rechenintensiv, da für jedes Pixel auf der Ansichtsebene ein Strahl durch das gesamte Volumen gesendet und die Intensitäten oder Transparenzen der Voxels verarbeitet werden müssen. Die Genauigkeit und Qualität des resultierenden Bildes hängt von der Auflösung der Abtastpunkte und der Genauigkeit der Übertragungsfunktion ab.

b)

Vergleiche das Vor- und Nachteile von Volumenrendering und Oberflächenrendering hinsichtlich der Leistung und Anwendungsbereiche in der medizinischen Bildgebung. Diskutiere dabei insbesondere die Rolle der Isosurface-Extraktion beim Oberflächenrendering und erkläre kurz das Marching Cubes Algorithmus.

Lösung:

Beim Vergleich von Volumenrendering und Oberflächenrendering hinsichtlich der Leistung und Anwendungsbereiche in der medizinischen Bildgebung gibt es verschiedene Vor- und Nachteile, die bedacht werden sollten.

• Volumenrendering:
• Vorteile:
  • - Darstellung des gesamten Volumens: Zeigt alle Details und Strukturen innerhalb des untersuchten Bereichs.
  • - Nützlich für die Analyse komplexer Gewebe, wie z.B. Tumore, wo interne Details wichtig sind.
  • - Bietet Einblicke in Überlagerungen und Interaktionen verschiedener Gewebe und Strukturen.
• Nachteile:
  • - Rechenintensiv: Erfordert hohe Rechenleistung und Speicherressourcen.
  • - Rendering dauert länger im Vergleich zu Oberflächenrendering.
  • - Komplexer und aufwändiger, besonders bei Echtzeitanwendungen.

• Oberflächenrendering:
• Vorteile:
  • - Effizienter: Erfordert weniger Rechenleistung, da nur die relevanten Oberflächen extrahiert und dargestellt werden.
  • - Schneller: Schnelleres Rendering im Vergleich zu Volumenrendering.
  • - Gut geeignet für die Visualisierung von anatomischen Strukturen, wie Knochen oder Organoberflächen.
• Nachteile:
  • - Verlust an Detailinformationen: Zeigt nur die Oberflächen und keine inneren Strukturen.
  • - Weniger nützlich bei der Analyse komplexer Gewebe und deren Zusammensetzung.

Eine wichtige Rolle bei der Oberflächenextraktion spielt die Methode der Isosurfaces. Isosurfaces sind Flächen gleicher Intensität innerhalb eines Volumens, die durch Anwenden eines Schwellenwerts (Threshold) extrahiert werden. Ein bekannter Algorithmus zur Isosurface-Extraktion ist der Marching Cubes Algorithmus.

• Marching Cubes Algorithmus:
  • Dieser Algorithmus arbeitet, indem er das Volumen in kleine Würfel (Cubes) unterteilt.
  • Jeder Würfel wird geprüft, ob seine Ecken oberhalb oder unterhalb des Schwellenwerts liegen.
  • Basierend auf diesen Vergleichen wird eine Dreiecksnetzstruktur (Triangle Mesh) erstellt, die die Isosurface repräsentiert.
  • Durch die Kombination dieser Dreiecksmuster aus jedem Würfel ergibt sich eine detaillierte Darstellung der Isosurface.

Zusammenfassend lässt sich sagen, dass Volumenrendering vor allem sinnvoll ist, wenn detaillierte Einblicke in das gesamte Volumen benötigt werden, während Oberflächenrendering effizienter und schneller ist, sich jedoch auf die Darstellung der äußeren Oberflächen beschränkt. Beide Techniken haben ihre jeweiligen Anwendungsbereiche und werden häufig komplementär eingesetzt, um das gesamte Potenzial der medizinischen Bildgebung auszuschöpfen.

Aufgabe 4)

In einem medizinischen Bildverarbeitungsprojekt möchtest Du maschinelles Lernen (ML) und tiefes Lernen (DL) anwenden, um MRT-Bilder des Gehirns zu analysieren und Tumore zu erkennen. Dazu entscheidest Du Dich, ein Convolutional Neural Network (CNN) zu verwenden.

a)

Erkläre den Aufbau und die Hauptkomponenten eines Convolutional Neural Networks (CNN). Beschreibe insbesondere die Funktion der folgenden Schichten:

• Convolutional Layer
• Pooling Layer
• Fully Connected Layer

Lösung:

Ein Convolutional Neural Network (CNN) ist ein spezieller Typ des künstlichen neuronalen Netzes, der besonders gut für die Verarbeitung von Bilddaten geeignet ist. Sein Aufbau umfasst mehrere Schichten, die darauf abgezielt sind, Merkmale aus den Eingabebildern zu extrahieren und die Daten so zu transformieren, dass sie von den nachfolgenden Schichten optimal genutzt werden können.

Die Hauptkomponenten eines CNNs sind:

• Convolutional Layer: Diese Schicht ist die Basis eines CNNs. Sie wendet Faltungsoperationen auf die Eingabebilder an, indem ein Filter (auch Kernel genannt) über das Bild gleitet (konvolutioniert). Jeder Filter extrahiert bestimmte Merkmale wie Kanten, Texturen oder Muster. Das Ergebnis dieser Operation ist ein Feature-Map, das die relevanten Informationen für die jeweilige Aufgabe enthält.
• Pooling Layer: Diese Schicht dient der Dimensionsreduktion der Feature-Maps. Es gibt verschiedene Arten von Poolingoperationen, z. B. Max-Pooling und Average-Pooling. Beim Max-Pooling wird der größte Wert innerhalb eines bestimmten Bereichs berücksichtiget, während beim Average-Pooling der Durchschnittswert verwendet wird. Dadurch wird die Rechenleistung reduziert und die Modelle robuster gegenüber Positionsänderungen oder Verzerrungen im Eingangssignal.
• Fully Connected Layer: Diese Schichten befinden sich gewöhnlich am Ende des CNNs und sind vollständig mit allen Neuronen der vorherigen Schicht verbunden, ähnlich wie in traditionellen neuronalen Netzen. Ihre Hauptaufgabe ist es, die extrahierten Merkmale zu einer oder mehreren Ausgaben zusammenzuführen. In einem Bildklassifizierungsproblem dient die letzte Schicht, welche normalerweise eine Softmax-Funktion enthält, dazu Wahrscheinlichkeiten für jede Klasse zu berechnen.

Insgesamt ermöglicht die Struktur eines CNNs die automatische Extraktion relevanter Merkmale aus den Eingabedaten, wodurch komplexe Aufgaben wie das Erkennen von Gehirntumoren in MRT-Bildern effizient durchgeführt werden können.

b)

Beschreibe den Trainingsprozess eines CNN. Erläutere die Schritte der Forward Propagation, Loss Function, und Backpropagation.

Lösung:

Der Trainingsprozess eines Convolutional Neural Networks (CNN) besteht aus mehreren Schritten, die darauf abzielen, die Gewichte und Biases des Netzwerks so anzupassen, dass es die Aufgabe (z. B. die Erkennung von Gehirntumoren in MRT-Bildern) möglichst gut erfüllt. Hier sind die Hauptschritte des Trainingsprozesses:

• Forward Propagation: In diesem Schritt werden die Eingabedaten (z. B. ein MRT-Bild) durch das Netzwerk geleitet. Die Daten durchlaufen nacheinander alle Schichten (Convolutional Layer, Pooling Layer, Fully Connected Layer), wobei jede Schicht ihre spezifischen Operationen anwendet (wie z. B. Faltung oder Pooling). Das Ergebnis dieses Prozesses ist eine Vorhersage des Netzwerks, die am Ende der letzten Schicht (oft eine Softmax-Schicht) vorliegt.
• Loss Function: Dieser Schritt beinhaltet die Berechnung des Fehlers (Loss) zwischen der Vorhersage des Netzwerks und den tatsächlichen Werten (den echten Labels). Die Loss-Funktion quantifiziert, wie gut oder schlecht das Modell arbeitet. Häufig verwendete Loss-Funktionen für Klassifizierungsprobleme sind zum Beispiel die Kreuzentropieverlustfunktion (Cross-Entropy Loss). Der berechnete Loss-Wert dient als Grundlage für die Anpassung der Netzwerkgewichte in der Backpropagation.
• Backpropagation: In diesem Schritt wird der Verlust (Loss) rückwärts durch das Netzwerk propagiert, um die Gradienten der Verlustfunktion in Bezug auf jedes Gewicht und jeden Bias zu berechnen. Dies geschieht mittels des Gradientenabstiegsverfahrens (Gradient Descent) oder Optimierungsalgorithmen wie Adam oder RMSprop. Durch diese Berechnungen wird bestimmt, wie die Gewichte und Biases angepasst werden müssen, um den Verlust zu minimieren. Die Backpropagation erfolgt schichtweise rückwärts, beginnend bei der Ausgabeschicht und endend bei der Eingabeschicht.

Im Laufe des Trainingsprozesses wird dieser Zyklus (Forward Propagation, Loss-Berechnung, Backpropagation) viele Male wiederholt. Bei jedem Durchlauf werden die Netzwerkparameter angepasst, um die Vorhersagegenauigkeit zu verbessern und die Fähigkeit des Netzwerks zu erhöhen, die gewünschten Muster in den Eingabedaten zu erkennen.

c)

Angenommen, Dein CNN hat nach dem Training eine Genauigkeit (Accuracy) von 85% erreicht. Zur besseren Bewertung der Leistungsfähigkeit des Modells erzeugst Du eine Verwirrungsmatrix (Confusion Matrix). Dabei zeigten sich folgende Werte:

• Wahre Positive (TP): 50
• Wahre Negative (TN): 80
• Falsche Positive (FP): 10
• Falsche Negative (FN): 20

Lösung:

Um die Leistungsfähigkeit Deines CNN-Modells zu bewerten, werden wir die Precision, den Recall und den F1-Score berechnen. Diese Metriken bieten verschiedene Einblicke in die Performance Deines Modells. Hier sind die Berechnungen im Detail:

• Precision: Precision misst den Anteil der korrekt vorhergesagten positiven Fälle an allen vorhergesagten positiven Fällen. Die Formel lautet: \[ \text{Precision} = \frac{TP}{TP + FP} \] Setzen wir die Werte ein: \[ \text{Precision} = \frac{50}{50 + 10} = \frac{50}{60} = 0.8333 \] Dadurch ergibt sich eine Precision von 83.33%.
• Recall: Recall misst den Anteil der korrekt vorhergesagten positiven Fälle an allen tatsächlichen positiven Fällen. Die Formel lautet: \[ \text{Recall} = \frac{TP}{TP + FN} \] Setzen wir die Werte ein: \[ \text{Recall} = \frac{50}{50 + 20} = \frac{50}{70} = 0.7143 \] Dadurch ergibt sich ein Recall von 71.43%.
• F1-Score: Der F1-Score ist das harmonische Mittel von Precision und Recall. Er bietet eine ausgeglichene Bewertung beider Metriken. Die Formel lautet: \[ F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} \] Setzen wir die Werte ein: \[ F1 = 2 \times \frac{0.8333 \times 0.7143}{0.8333 + 0.7143} = 2 \times \frac{0.5952}{1.5476} = 0.7692 \] Dadurch ergibt sich ein F1-Score von 76.92%.

Zusammenfassend lauten die Performance-Metriken Deines CNN-Modells wie folgt:

• Precision: 83.33%
• Recall: 71.43%
• F1-Score: 76.92%

d)

Um die Robustheit Deines Modells zu verbessern, entscheidest Du, die Datenvorverarbeitungstechniken Normalisierung und Augmentierung anzuwenden.

• Erkläre, warum Normalisierung und Augmentierung wichtig sind.
• Gib Beispiele, wie zu normalisieren und Daten zu augmentieren sind.

Lösung:

Um die Robustheit und Leistungsfähigkeit Deines CNN-Modells zu verbessern, ist es wichtig, verschiedene Datenvorverarbeitungstechniken wie Normalisierung und Augmentierung anzuwenden. Diese Techniken tragen dazu bei, die Effektivität des Trainingsprozesses und die Generalisierungsfähigkeit des Modells zu erhöhen.

• Normalisierung: Die Normalisierung ist ein entscheidender Schritt bei der Datenvorverarbeitung, da sie sicherstellt, dass die Eingabedaten auf eine einheitliche Skala gebracht werden. Dies hilft dem Modell, schneller zu konvergieren und verbessert die Stabilität des Trainingsprozesses.
  • Warum wichtig:
    • Vermeidet numerische Instabilitäten und verhindert Probleme bei der Berechnung großer Werte.
    • Beschleunigt den Trainingsprozess, da Modelle oft schneller lernen, wenn die Eingabedaten normalisiert sind.
    • Fördert die bessere Nutzung der Aktivierungsfunktionen innerhalb des Netzwerks.
  • Beispiele zur Normalisierung:
    • Min-Max-Skalierung: Die Werte werden so skaliert, dass sie in einem Bereich von 0 bis 1 liegen. Die Formel lautet: \( x_{\text{norm}} = \frac{x - x_{\text{min}}}{x_{\text{max}} - x_{\text{min}}} \)
    • Z-Score-Normalisierung: Die Werte werden so skaliert, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 haben. Die Formel lautet: \( x_{\text{norm}} = \frac{x - \mu}{\sigma} \)
• Augmentierung: Die Datenaugmentierung ist eine Technik, um künstlich die Größe des Trainingsdatensatzes durch Anwendung verschiedener Transformationsmethoden zu erhöhen. Dies hilft dem Modell, robuster zu werden und besser zu generalisieren.
• Warum wichtig:
  • Erhöht die Vielfalt des Datensatzes, wodurch das Modell weniger anfällig für Überanpassung (Overfitting) wird.
  • Verbessert die Fähigkeit des Modells, mit verschiedenen Arten von Variationen im Eingabedaten umzugehen, wie z.B. Position, Helligkeit oder Perspektive.
• Beispiele zur Augmentierung:
  • Drehungen: Bilder werden zufällig um einen bestimmten Winkel gedreht.
  • Skalierungen: Bilder werden zufällig vergrößert oder verkleinert.
  • Horizontale oder vertikale Spiegelungen: Bilder werden zufällig gespiegelt, um variierte Perspektiven zu bieten.
  • Helligkeits- und Kontraständerungen: Anpassung der Helligkeit oder des Kontrasts der Bilder, um besser auf verschiedene Umgebungslichtbedingungen vorbereitet zu sein.
  • Rauschen hinzufügen: Zufälliges Rauschen wird zu Bildern hinzugefügt, um die Robustheit gegen Störungen zu verbessern.

Insgesamt tragen beide Techniken, Normalisierung und Augmentierung, wesentlich zur Leistungssteigerung und Robustheit Deines CNN-Modells bei und sollten bei der Datenvorverarbeitung in Betracht gezogen werden.