Maschinelles Lernen in der klinischen Bioinformatik - Exam

Aufgabe 1)

In der klinischen Bioinformatik können sowohl beaufsichtigte als auch unbeaufsichtigte Lernverfahren verwendet werden, um aus den biomedizinischen Daten wertvolle Erkenntnisse zu gewinnen. Angenommen, du arbeitest an einem Projekt, um bioinformatische Daten zu analysieren, die zur Vorhersage bestimmter Krankheitszustände verwendet werden sollen. Du hast Zugang zu einem Datensatz mit verschiedenen Merkmalen und Diagnosen der Patienten. Verwende dieses Szenario, um die verschiedenen Aspekte des maschinellen Lernens zu erkunden.

a)

Du sollst ein beaufsichtigtes Lernmodell verwenden, um die Diagnosen der Patienten basierend auf ihren biomedizinischen Merkmalen vorherzusagen.

• (a) Beschreibe detailliert den Prozess des Trainings eines beaufsichtigten Lernmodells, einschließlich der Schritte der Datenvorverarbeitung, des Trainings und der Evaluierung.
• (b) Wähle einen spezifischen Algorithmus für das beaufsichtigte Lernen (z.B. SVM, Entscheidungsbaum) und erläutere die mathematische Grundlage dieses Algorithmus, einschließlich der für diesen Algorithmus relevanten Verlustfunktion.

Lösung:

• (a) Beschreibe detailliert den Prozess des Trainings eines beaufsichtigten Lernmodells, einschließlich der Schritte der Datenvorverarbeitung, des Trainings und der Evaluierung.

• Datenvorverarbeitung:
  • Datenbereinigung: Entferne fehlende Werte, ersetze sie durch geeignete Ersatzwerte oder verwende Imputationstechniken. Achte dabei auf eventuelle Ausreißer und korrigiere Fehler in den Daten.
  • Merkmalsskalierung: Normiere oder standardisiere die Merkmale, um ihre Skalen einheitlich zu gestalten und den Trainingsprozess zu stabilisieren. Zum Beispiel können Merkmale auf einen Mittelwert von 0 und eine Standardabweichung von 1 skaliert werden.
  • Kodierung: Kategorische Merkmale werden in numerische Werte umgewandelt. Dies kann beispielsweise durch One-Hot-Encoding erfolgen.
  • Trainings- und Testdatenaufteilung: Teile den Datensatz in Trainings- und Testdatensätze auf, beispielsweise im Verhältnis 80:20 oder 70:30, um das Modell zu trainieren und seine Leistung zu evaluieren.
• Training des Modells:
  • Algorithmusauswahl: Wähle einen geeigneten Algorithmus für das Problem aus. Beispiele sind Support Vector Machines (SVM), Entscheidungsbäume oder neuronale Netze.
  • Hyperparameter-Tuning: Bestimme die optimalen Hyperparameter für den gewählten Algorithmus durch Verfahren wie Grid Search oder Random Search, oft unter Verwendung von Cross-Validation.
  • Modelltraining: Trainiere das Modell mithilfe der Trainingsdaten. Der Algorithmus lernt, indem er die Parameter anpasst, um die Vorhersagegenauigkeit zu maximieren.
  • Evaluierung: Teste das trainierte Modell mit den Testdaten und berechne Performance-Metriken wie Genauigkeit, Präzision, Recall und F1-Score, um die Modellleistung zu beurteilen.
• Evaluierung:
  • Performance-Metriken: Berechne Metriken wie Genauigkeit, Präzision, Recall, F1-Score und ROC-AUC, um die Modellleistung zu bewerten.
  • Kreuzvalidierung: Führe zusätzliche Kreuzvalidierungen durch, um eine robustere Bewertung zu erhalten und die Verallgemeinerungsfähigkeit des Modells zu überprüfen.
  • Hyperparameter-Tuning: Wenn nötig, optimiere die Hyperparameter weiter.
  • Feature-Importance: Analysiere die Bedeutung der Merkmale, um zu verstehen, welche Merkmale die größten Einflüsse auf die Vorhersagen des Modells haben.

• (b) Wähle einen spezifischen Algorithmus für das beaufsichtigte Lernen (z.B. SVM, Entscheidungsbaum) und erläutere die mathematische Grundlage dieses Algorithmus, einschließlich der für diesen Algorithmus relevanten Verlustfunktion.

• Als spezifischen Algorithmus wählen wir den Support Vector Machine (SVM).
• Mathematische Grundlage:
  • Optimierungsproblem: Eine SVM versucht, die optimale Hyperebene zu finden, die den Abstand (Margin) zwischen den nächstgelegenen Datenpunkten verschiedener Klassen maximiert. Diese Datenpunkte werden als Stützvektoren bezeichnet.
  • Hyperebene: Eine Hyperebene in einem n-dimensionalen Raum kann durch die Gleichung \(w \bullet x + b = 0\) beschrieben werden, wobei \(w\) der Gewichtungsvektor und \(b\) ein Bias-Term ist.
  • Maximierung des Margins: Der Abstand (Margin) zwischen den Stützvektoren der verschiedenen Klassen ist \(\frac{2}{||w||}\), wobei \(||w||\) die Norm des Gewichtungsvektors ist. Das Ziel ist es, diesen Abstand zu maximieren.
  • Verlustfunktion: Die Verlustfunktion für eine lineare SVM ist die hinge-loss:

     \sum_{i=1}^{n} max(0, 1 - y_i (w \bullet x_i + b)) + \frac{1}{2} ||w||^2

    wobei der erste Term die hinge-loss darstellt und der zweite Term ein Regularisierungsterm ist, der Überanpassung (Overfitting) vorbeugt.

b)

Angenommen, du möchtest die Struktur und Muster in den biomedizinischen Daten analysieren, ohne auf die Diagnosen der Patienten zuzugreifen:

• (a) Beschreibe den Prozess des Trainings eines unbeaufsichtigten Lernmodells, insbesondere die Schritte der Datenvorbereitung und Modellanpassung.
• (b) Verwende den K-Means-Algorithmus und erläutere, wie die Distanzfunktion zur Clusterbildung verwendet wird. Erkläre, wie der Algorithmus die Cluster-Zentren iterativ anpasst.

Lösung:

• (a) Beschreibe den Prozess des Trainings eines unbeaufsichtigten Lernmodells, insbesondere die Schritte der Datenvorbereitung und Modellanpassung.

• Datenvorbereitung:
  • Datenbereinigung: Entferne fehlende Werte oder ersetze sie durch geeignete Ersatzwerte. Beobachte Ausreißer und entscheide, ob sie entfernt oder behandelt werden müssen.
  • Merkmalsskalierung: Normalisiere oder standardisiere die Merkmale, da viele unbeaufsichtigte Lernverfahren, wie z.B. K-Means, empfindlich auf die Skalierung der Daten reagieren. Eine übliche Methode ist die Standardisierung, bei der die Merkmale so transformiert werden, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 haben.
  • Auswahl der Merkmale: Reduziere möglicherweise die Anzahl der Merkmale durch Techniken wie Hauptkomponentenanalyse (PCA), um die Daten kompakter und verständlicher zu machen.
• Modellanpassung:
  • Auswahl eines geeigneten Algorithmus: Wähle einen Algorithmus für das unbeaufsichtigte Lernen, der für die Art der Daten und das Ziel der Analyse geeignet ist. Beispiele sind K-Means, hierarchisches Clustering oder DBSCAN.
  • Hyperparameter-Tuning: Bestimme die optimalen Hyperparameter für den gewählten Algorithmus. Bei K-Means ist beispielsweise die Anzahl der Cluster (k) ein wichtiger Parameter.
  • Training des Modells: Führe das gewählte Verfahren an den Daten durch. Dies beinhaltet in der Regel iterative Prozesse, bei denen das Modell seine Parameter anpasst, um ein bestimmtes Kriterium zu optimieren.
  • Evaluierung: Analysiere die Ergebnisse des Modells und überprüfe die Qualität der gefundenen Muster oder Cluster. Dies kann durch Metriken wie das Silhouetten-Koeffizient oder den Davies-Bouldin-Index erfolgen.

• (b) Verwende den K-Means-Algorithmus und erläutere, wie die Distanzfunktion zur Clusterbildung verwendet wird. Erkläre, wie der Algorithmus die Cluster-Zentren iterativ anpasst.

• Im K-Means-Algorithmus werden die Daten in k Cluster gruppiert. Dies geschieht in mehreren Schritten:
• Anfangszustand: Bestimme die Anzahl der Cluster (k). Wähle initial zufällig k Datenpunkte als anfängliche Cluster-Zentren (Zentroiden).
• Cluster-Zuweisung:
  • Vor jedem Iterationsschritt wird jedem Datenpunkt das nächstgelegene Cluster-Zentrum zugewiesen. Die Nähe wird dabei anhand einer Distanzfunktion berechnet, typischerweise der euklidischen Distanz:

   d(x, c) = \sqrt{(x_1 - c_1)^2 + (x_2 - c_2)^2 + ... + (x_n - c_n)^2} 

  wobei

   x 

  ein Datenpunkt und

   c 

  ein Cluster-Zentrum ist.

 c_i = \frac{1}{|C_i|} \sum_{x_j \in C_i} x_j 

 c_i 

 C_i 

c)

Vergleiche die Methoden und Ergebnisse von beaufsichtigtem und unbeaufsichtigtem Lernen in deinem Projekt:

• (a) Diskutiere die potenziellen Vor- und Nachteile der Verwendung von beaufsichtigtem Lernen gegenüber unbeaufsichtigtem Lernen in der klinischen Bioinformatik.
• (b) Überlege, wie du die Ergebnisse eines unbeaufsichtigten Lernmodells zur Verbesserung eines beaufsichtigten Lernmodells nutzen könntest. Gib konkrete Beispiele und Strategien an.

Lösung:

• (a) Diskutiere die potenziellen Vor- und Nachteile der Verwendung von beaufsichtigtem Lernen gegenüber unbeaufsichtigtem Lernen in der klinischen Bioinformatik.

• Beaufsichtigtes Lernen:
  • Vorteile:
    • Hohe Genauigkeit: Beaufsichtigtes Lernen kann sehr genaue Modelle liefern, da es explizite Zuordnungen zwischen Eingabedaten (Merkmale) und Ausgabedaten (Diagnosen) nutzt.
    • Zielgerichtet: Es ist stark zielgerichtet, da die Modelle spezifisch für die Vorhersage von Diagnosen trainiert werden.
    • Quantifizierbare Metriken: Es bietet eine klare und quantitative Bewertung der Modellleistung durch Metriken wie Genauigkeit, Präzision, Recall und F1-Score.
  • Nachteile:
    • Benötigt gelabelte Daten: Es ist auf eine große Menge an gelabelten Daten angewiesen, was zeitaufwändig und teuer sein kann.
    • Überanpassung (Overfitting): Modelle können stark an die Trainingsdaten angepasst sein und möglicherweise nicht gut auf neuen, unbekannten Daten generalisieren.
    • Komplexität: Die Modellerstellung und das Training können komplex und ressourcenintensiv sein.
• Unbeaufsichtigtes Lernen:
  • Vorteile:
    • Kein Bedarf an gelabelten Daten: Es kann ohne gelabelte Daten arbeiten, was die Datenbeschaffung einfacher und kostengünstiger macht.
    • Mustererkennung: Unbeaufsichtigtes Lernen kann verborgene Muster oder Strukturen in den Daten erkennen, die möglicherweise nicht durch gelabelte Daten erfasst werden.
    • Flexibilität: Es kann zur explorativen Datenanalyse und zur Hypothesengenerierung verwendet werden.
  • Nachteile:
    • Unklarheit der Ergebnisse: Die Ergebnisse sind oft weniger interpretierbar und quantifizierbar als beim beaufsichtigten Lernen.
    • Geringere Genauigkeit: Es kann weniger genaue Vorhersagen liefern, da es keine spezifischen Zuordnungen zwischen Eingabedaten und Ausgabedaten nutzt.
    • Schwierige Bewertung: Die Bewertung der Modellleistung ist schwieriger, da es keine klaren, quantifizierbaren Metriken gibt.

• (b) Überlege, wie du die Ergebnisse eines unbeaufsichtigten Lernmodells zur Verbesserung eines beaufsichtigten Lernmodells nutzen könntest. Gib konkrete Beispiele und Strategien an.

• Vorverarbeitung und Feature-Engineering:
  • Durch unbeaufsichtigtes Lernen können Merkmale oder Muster in den Daten identifiziert werden, die für das beaufsichtigte Lernen nützlich sind. Zum Beispiel kann die Hauptkomponentenanalyse (PCA) verwendet werden, um die Dimensionen der Daten zu reduzieren und so die Merkmalsauswahl zu erleichtern.
  • Beispiel: Wenn PCA zeigt, dass bestimmte Kombinationen von Merkmalen den Großteil der Varianz in den Daten erklären, können diese Kombinationen als neue Merkmale im beaufsichtigten Lernmodell verwendet werden.
• Daten-Clusterbildung:
  • Unbeaufsichtigtes Lernen kann verwendet werden, um Cluster von ähnlichen Datenpunkten zu identifizieren. Diese Cluster können dann dazu verwendet werden, spezifische Modelle für verschiedene Datenuntergruppen zu trainieren.
  • Beispiel: Wenn K-Means-Clustering zeigt, dass es verschiedene Patientengruppen (Clusters) gibt, können spezifische diagnostische Modelle für jede Gruppe entwickelt werden, um die Genauigkeit zu verbessern.
• Identifikation von Anomalien:
  • Unbeaufsichtigtes Lernen kann zur Erkennung von Anomalien oder Ausreißern in den Daten verwendet werden. Diese Anomalien können dann separat untersucht oder entfernt werden, um die Qualität der Trainingsdaten zu verbessern.
  • Beispiel: Wenn ein Anomalieerkennungsalgorithmus zeigt, dass bestimmte Datenpunkte stark von der Mehrheit abweichen, können diese vor dem Training des beaufsichtigten Modells überprüft und ggf. ausgeschlossen werden.
• Vortraining und Initialisierung:
  • Unbeaufsichtigtes Lernen kann verwendet werden, um ein Modell vorzutrainieren oder die Initialisierungsparameter für das beaufsichtigte Lernen festzulegen. Dies kann die Trainingseffizienz verbessern und die Modellleistung steigern.
  • Beispiel: Autoencoder, eine Form des unbeaufsichtigten Lernens, können verwendet werden, um Merkmalsrepräsentationen zu lernen, die dann als Startpunkt für ein neuronales Netz im beaufsichtigten Lernen dienen.

Aufgabe 2)

Du bist in einem Forschungsprojekt involviert, das maschinelles Lernen in der klinischen Bioinformatik anwendet, um den Ausbruch einer bestimmten Krankheit vorherzusagen. Dabei hast Du Zugang zu einem umfangreichen Datensatz, der klinische Merkmale und Patientendaten enthält. Dein Ziel ist es, ein prädiktives Modell zu entwickeln, das akkurate Vorhersagen treffen kann und gleichzeitig verallgemeinerbar ist.

a)

Teilaufgabe 1: Beschreibe detailliert den Prozess der Validierung von ML-Modellen. In deiner Antwort sollten folgende Punkte enthalten sein:

• Die Bedeutung der Aufteilung der Daten in Trainings-, Validierungs- und Testdatensätze.
• Die Methodik und der Vorteil der k-fachen Kreuzvalidierung.
• Metriken zur Bewertung der Modellleistung und was diese Metriken aussagen.

Lösung:

Teilaufgabe 1: Beschreibe detailliert den Prozess der Validierung von ML-Modellen. In deiner Antwort sollten folgende Punkte enthalten sein:

• Die Bedeutung der Aufteilung der Daten in Trainings-, Validierungs- und Testdatensätze:Die Aufteilung der Daten in verschiedene Sätze ist essentiell, um ein robustes maschinelles Lernmodell zu entwickeln, das verallgemeinerbar ist und nicht nur die Trainingsdaten gut vorhersagen kann. Hier ist eine detaillierte Erklärung:

• Trainingsdatensatz: Dieser Teil der Daten wird verwendet, um das Modell zu trainieren. Das Modell lernt die Beziehung zwischen den Eingabemerkmalen und den Zielvariablen.
• Validierungsdatensatz: Dieser Datensatz wird genutzt, um das Modell während des Trainings zu evaluieren und Hyperparameter zu optimieren. Es hilft dabei, das Modell zu tunen und Überanpassung (Overfitting) zu vermeiden.
• Testdatensatz: Dieser komplett unabhängige Datensatz wird erst nach dem Training verwendet, um die endgültige Leistung des Modells zu bewerten. Der Testdatensatz gibt einen Eindruck von der Fähigkeit des Modells, auf neuen, unbekannten Daten zu generalisieren.
• Die Methodik und der Vorteil der k-fachen Kreuzvalidierung:Die k-fache Kreuzvalidierung ist eine Methode, um die Verlässlichkeit und Stabilität maschineller Lernmodelle zu bewerten. Sie funktioniert wie folgt:

• Der gesamte Datensatz wird in k gleich große Teile (Folds) aufgeteilt.
• Das Modell wird k-mal trainiert, wobei jedes Mal ein anderer Teil als Testdatensatz verwendet wird und die restlichen k-1 Teile als Trainingsdatensatz.
• Die Ergebnisse der k Trainingsläufe werden zusammengefasst, um eine verlässliche Schätzung der Modellleistung zu erhalten.
Der Vorteil der k-fachen Kreuzvalidierung liegt in ihrer Robustheit und in der Tatsache, dass sie eine bessere Nutzung der Daten ermöglicht, insbesondere bei kleinen Datensätzen. Durch die mehrfache Validierung wird das Risiko minimiert, dass die Beurteilung der Leistung des Modells nur auf einer einzelnen zufälligen Datenaufteilung basiert.
• Metriken zur Bewertung der Modellleistung und was diese Metriken aussagen:Um die Leistung eines Modells zu bewerten, gibt es verschiedene Metriken, die je nach Anwendungsfall unterschiedliche Bedeutungen haben:
• Genauigkeit (Accuracy): Der Anteil der korrekten Vorhersagen im Verhältnis zur Gesamtanzahl der Vorhersagen. Besonders bei unausgewogenen Datensätzen kann diese Metrik jedoch irreführend sein.
• Präzision (Precision): Der Anteil der korrekten positiven Vorhersagen im Verhältnis zu allen positiven Vorhersagen. Diese Metrik ist wichtig in Szenarien, in denen falsch positive Ergebnisse minimiert werden sollen.
• Rekall (Recall): Der Anteil der korrekt identifizierten positiven Fälle im Verhältnis zu allen tatsächlichen positiven Fällen. Diese Metrik ist wichtig, wenn es darauf ankommt, möglichst alle positiven Fälle zu erkennen.
• F1-Score: Der harmonische Mittelwert aus Präzision und Rekall. Diese Metrik ist nützlich, wenn ein Ausgleich zwischen Präzision und Rekall gefunden werden muss.
• AUC-ROC: Die Fläche unter der Receiver Operating Characteristic-Kurve. Diese Metrik betrachtet die Leistung des Modells über verschiedene Schwellenwerte hinweg und ist besonders nützlich für binäre Klassifikationsprobleme.
• Mean Squared Error (MSE): Der durchschnittliche quadratische Fehler zwischen den vorhergesagten und den tatsächlichen Werten. Diese Metrik ist besonders bei Regressionsproblemen relevant.
• Root Mean Squared Error (RMSE): Die Quadratwurzel des MSE, die in denselben Einheiten wie die Zielvariable ausgedrückt wird und somit intuitiver interpretiert werden kann.
Jede dieser Metriken bietet unterschiedliche Einblicke in die Leistung des Modells und hilft dabei, die verschiedenen Aspekte der Genauigkeit und Zuverlässigkeit der Vorhersagen zu bewerten.

b)

Teilaufgabe 2: Implementiere ein ML-Modell mit Python, das die klinischen Merkmale und Patientendaten verwendet, um die Zielvariable (z.B. Krankheitsausbruch) vorherzusagen. Verwende Scikit-learn oder TensorFlow für Deine Implementierung. Stelle sicher, dass Du Deinen Code ausführlich kommentierst und erkläre im Detail, wie Du die folgenden Aspekte angegangen bist:

• Vorverarbeitung der Daten und Aufteilung in Trainings-, Validierungs- und Testdatensätze.
• Durchführung einer k-fachen Kreuzvalidierung zur Modellvalidierung.
• Berechnung und Interpretation von Leistungsmetriken wie Accuracy, Precision, Recall, F1-Score und ROC-AUC.
• Die Balance zwischen Overfitting und Underfitting (Bias-Variance Trade-off) und wie Du dies in Deinem Modell adressiert hast.

import numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_split, KFold, cross_val_scorefrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_scorefrom sklearn.ensemble import RandomForestClassifier# Daten einlesen# df = pd.read_csv('dein_datensatz.csv')# Annahme: Zielvariable heißt 'Ziel'X = df.drop('Ziel', axis=1)y = df['Ziel']# Aufteilung in Trainings- und TestdatensatzX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Modellinitialisierungmodel = RandomForestClassifier(random_state=42)# k-fache Kreuzvalidierungkf = KFold(n_splits=10, random_state=42, shuffle=True)cross_val_scores = cross_val_score(model, X_train, y_train, cv=kf, scoring='accuracy')# Modelltrainingmodel.fit(X_train, y_train)# Vorhersageny_pred = model.predict(X_test)# Berechnung der Metrikenaccuracy = accuracy_score(y_test, y_pred)precision = precision_score(y_test, y_pred)recall = recall_score(y_test, y_pred)f1 = f1_score(y_test, y_pred)roc_auc = roc_auc_score(y_test, y_pred)print(f'Accuracy: {accuracy}')print(f'Precision: {precision}')print(f'Recall: {recall}')print(f'F1-Score: {f1}')print(f'ROC-AUC Score: {roc_auc}')

Lösung:

Teilaufgabe 2: Implementiere ein ML-Modell mit Python, das die klinischen Merkmale und Patientendaten verwendet, um die Zielvariable (z.B. Krankheitsausbruch) vorherzusagen. Verwende Scikit-learn oder TensorFlow für Deine Implementierung. Stelle sicher, dass Du Deinen Code ausführlich kommentierst und erkläre im Detail, wie Du die folgenden Aspekte angegangen bist:

• Vorverarbeitung der Daten und Aufteilung in Trainings-, Validierungs- und Testdatensätze.
• Durchführung einer k-fachen Kreuzvalidierung zur Modellvalidierung.
• Berechnung und Interpretation von Leistungsmetriken wie Accuracy, Precision, Recall, F1-Score und ROC-AUC.
• Die Balance zwischen Overfitting und Underfitting (Bias-Variance Trade-off) und wie Du dies in Deinem Modell adressiert hast.

Unten findest Du den Python-Code, der die oben genannten Anforderungen erfüllt:

import numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_split, KFold, cross_val_scorefrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_scorefrom sklearn.ensemble import RandomForestClassifierfrom sklearn.preprocessing import StandardScaler# Daten einlesendf = pd.read_csv('dein_datensatz.csv')# Annahme: Zielvariable heißt 'Ziel'X = df.drop('Ziel', axis=1)y = df['Ziel']# Datenvorverarbeitung: Standardisierung der Merkmalescaler = StandardScaler()X = scaler.fit_transform(X)# Aufteilung in Trainings- und TestdatensatzX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Modellinitialisierungmodel = RandomForestClassifier(random_state=42)# k-fache Kreuzvalidierungkf = KFold(n_splits=10, random_state=42, shuffle=True)cross_val_scores = cross_val_score(model, X_train, y_train, cv=kf, scoring='accuracy')print(f'K-Fache Kreuzvalidierungs-Accuracy: {cross_val_scores.mean()}')# Modelltrainingmodel.fit(X_train, y_train)# Vorhersageny_pred = model.predict(X_test)# Berechnung der Metrikenaccuracy = accuracy_score(y_test, y_pred)precision = precision_score(y_test, y_pred, zero_division=1)recall = recall_score(y_test, y_pred)f1 = f1_score(y_test, y_pred)roc_auc = roc_auc_score(y_test, y_pred)print(f'Accuracy: {accuracy}')print(f'Precision: {precision}')print(f'Recall: {recall}')print(f'F1-Score: {f1}')print(f'ROC-AUC Score: {roc_auc}')# Interpretation von Leistungsmetriken und das Gleichgewicht zwischen Overfitting und Underfitting# Der Accuracy-Wert zeigt, wie viele Vorhersagen im Verhältnis zur Gesamtanzahl korrekt sind.# Der Precision-Wert gibt an, wie viele der vorhergesagten positiven Fälle tatsächlich positiv sind.# Der Recall-Wert gibt an, wie viele der tatsächlichen positiven Fälle korrekt vorhergesagt wurden.# Der F1-Score ist das harmonische Mittel von Precision und Recall und bietet einen guten Gesamteindruck bei unausgewogenen Klassen.# Der ROC-AUC-Score zeigt die Fähigkeit des Modells, zwischen positiven und negativen Klassen zu unterscheiden.# Um Overfitting zu vermeiden und ein Gleichgewicht zwischen Bias und Varianz zu erreichen:# 1. Verwendung von k-facher Kreuzvalidierung, um sicherzustellen, dass das Modell gut generalisiert.# 2. Regularisierungstechniken wie die Reduktion der Komplexität des Modells (z.B. durch Begrenzung der max_depth im RandomForestClassifier).# 3. Verwendung von mehr Daten, falls verfügbar, da mehr Trainingsdaten das Modell robuster machen können.

Dieser Code führt die Datenvorverarbeitung durch, teilt die Daten in Trainings- und Testsets, führt k-fache Kreuzvalidierung zur Modellvalidierung durch und berechnet die gewünschten Leistungsmetriken. Außerdem werden Strategien zur Vermeidung von Overfitting und zur Balance des Bias-Variance Trade-offs erläutert.

Aufgabe 3)

Du hast ein neuronales Netz entworfen, um Brustkrebs aus Bilddaten zu diagnostizieren. Das Modell soll genaue Vorhersagen darüber treffen, ob ein bestimmtes Bild von gesundem Gewebe oder Krebsgewebe stammt. Die Trainingsdaten umfassen 5000 Bilder mit einer gleichen Aufteilung zwischen den beiden Klassen (gesund und krebsartig). Beschreibe die gesamten Schritte des Trainings und der Optimierung des Modells, um maximale Genauigkeit auf den Testdaten zu erzielen.

a)

Teile die Daten angemessen in Trainings-, Validierungs- und Testsets auf. Welche Schritte führst Du durch, um sicherzustellen, dass das Modell nicht überfittet? Beschreibe die Techniken und wie sie angewendet werden.

Lösung:

Um hohe Genauigkeit auf den Testdaten zu erzielen und Überfitting zu vermeiden, kannst Du die folgenden Schritte unternehmen:

• Datenaufteilung: Teile die 5000 Bilder wie folgt auf:
  • 60% für das Training: 3000 Bilder
  • 20% zur Validierung: 1000 Bilder
  • 20% als Testset: 1000 Bilder
  Dies stellt sicher, dass das Modell ausreichend Trainingsdaten bekommt und gleichzeitig genügend Daten für die Validierung und das Testen zur Verfügung stehen.
• Datenaugmention: Verwende Techniken zur Datenaugmentation, um die Vielfalt der Trainingsdaten zu erhöhen. Dies kann durch zufällige Rotationen, Spiegelungen, Skalierungen, Übersetzungen und andere Transformationen geschehen. Dadurch wird das Modell robuster und weniger anfällig für Überfitting.
• Early Stopping: Implementiere Early Stopping, um das Training zu beenden, sobald sich die Validierungsgenauigkeit über mehrere Epochen hinweg nicht verbessert. Dies verhindert, dass das Modell zu lange trainiert und die Trainingsdaten zu stark überanpasst.
• Regularisierung: Nutze Regularisierungstechniken wie Dropout und L2-Regularisierung:
  • Dropout: Entferne zufällig Neuronen während des Trainings mit einer bestimmten Wahrscheinlichkeit. Dies hilft, das Netzwerk weniger empfindlich auf spezifische Neuronen zu machen.
  • L2-Regularisierung: Füge eine Penalty hinzu, die proportional zur Quadratssumme der Gewichte ist. Dies hält die Modellparameter klein und verhindert Überfitting.
• Kreuzvalidierung: Verwende bei Bedarf Kreuzvalidierung, um die Robustheit des Modells zu überprüfen. Teile die Daten dabei mehrmals verschiedenartig auf und trainiere das Modell jeweils neu. Die durchschnittliche Leistung über die verschiedenen Teilmengen gibt ein besseres Bild der tatsächlichen Modellleistung.
• Hyperparameter-Tuning: Suche nach den optimalen Hyperparametern (z.B. Lernrate, Batchgröße) durch Techniken wie Grid Search oder Random Search. Dies hilft, die bestmögliche Modellkonfiguration zu finden und verbessert die Generalisierungsfähigkeit.
• Netzwerkarchitektur: Wähle eine geeignete Netzarchitektur (z.B. CNNs für Bilddaten) mit einer angemessenen Tiefe und Anzahl an Neuronen. Ein zu komplexes Modell könnte zum Überfitting führen, während ein zu einfaches Modell möglicherweise nicht genug lernt.

b)

Wähle eine geeignete Verlustfunktion und ein Optimierungsverfahren für dieses Problem. Begründe Deine Wahl und beschreibe, wie die Hyperparameter (z.B. Lernrate und Batch-Größe) optimiert werden können. Zeige, wie der Gradientenabstiegsalgorithmus für diese Aufgabe formuliert wird. Gehe dabei detailliert auf die mathematischen Grundlagen ein und leite die Formel ab.

Lösung:

• Verlustfunktion: Für ein binäres Klassifikationsproblem, bei dem das Modell zwischen gesundem und krebsartigem Gewebe unterscheiden soll, ist die binäre Kreuzentropieverlustfunktion (binary cross-entropy loss) am besten geeignet.Diese Verlustfunktion misst den Unterschied zwischen den vorhergesagten Wahrscheinlichkeiten und den tatsächlichen Labels. Die Formel lautet:\[ L = - \frac{1}{N} \sum_{i=1}^N [y_i \cdot \log(\hat{y_i}) + (1 - y_i) \cdot \log(1 - \hat{y_i})] \]Dabei ist \(y_i\) der wahre Label (1 für krebsartig, 0 für gesund), \(\hat{y_i}\) die vom Modell vorhergesagte Wahrscheinlichkeit für die Klasse „krebsartig“ und \(N\) die Anzahl der Beispiele.
• Optimierungsverfahren: Der Adam-Optimizer (Adaptive Moment Estimation) ist häufig die beste Wahl für neuronale Netze, da er die Vorteile von Adagrad und RMSprop kombiniert und die Lernrate für jeden Parameter individuell anpasst. Der Adam-Optimizer ist effizient und gut geeignet für verschiedene Datentypen und -strukturen. Die Update-Regel lautet:\[ \theta_{t+1} = \theta_t - \frac{\alpha}{\sqrt{v_t} + \epsilon} \hat{m_t} \]wo \(\hat{m_t}\) und \(v_t\) die geschätzten ersten und zweiten Momente (gewichtete Mittelwerte und Varianzen) der Gradienten sind, \(\alpha\) die Lernrate ist, und \(\epsilon\) eine kleine Konstante zur Vermeidung von Division durch Null.
• Hyperparameteroptimierung: Die Optimierung der Hyperparameter wie Lernrate und Batch-Größe kann mittels Grid Search oder Random Search erfolgen. Diese Techniken umfassen die systematische (Grid Search) oder zufällige (Random Search) Erprobung verschiedener Hyperparameterkombinationen. Eine fortschrittlichere Methode ist die Bayesian Optimization:
  • Beispielansatz:
    • Bestimme einen Bereich für die Hyperparameter (z.B. Lernrate: \(10^{-5}\) bis \(10^{-2}\), Batch-Größe: 16, 32, 64).
    • Führe erste Trainingseinheiten mit zufälligen Kombinationen der Hyperparameter durch.
    • Überprüfe die Modellleistung und passe die Bereiche bei Bedarf an.
    • Wiederhole den Prozess, bis die optimalen Hyperparameter gefunden sind.
• Gradientenabstiegsalgorithmus: Der Gradientenabstieg wird verwendet, um die Parameter des Modells zu optimieren, indem die Verlustfunktion minimiert wird. Die allgemeine Update-Regel für den Gradientenabstieg lautet:\[ \theta \leftarrow \theta - \alpha \frac{\partial L}{\partial \theta} \]wobei \(\theta\) die Parameter des Modells und \(\alpha\) die Lernrate sind.
  • Im Kontext des Adam-Optimizers: Beim Adam-Optimizer wird der Gradientenabstiegsalgorithmus modifiziert zu:\[ \theta_{t+1} = \theta_t - \frac{\alpha}{\sqrt{v_t} + \epsilon} \hat{m_t} \]wo \(\hat{m_t}\) die berechneten gewichteten Mittelwerte und \(v_t\) die Varianzen der Gradienten sind.
  • Ableitung der Formel: Um die Formel der Kreuzentropieverlustfunktion abzuleiten, betrachte:\[ \frac{\partial L}{\partial \theta} = -\frac{1}{N} \sum_{i=1}^N \left[ \frac{y_i}{\hat{y_i}} \frac{\partial \hat{y_i}}{\partial \theta} - \frac{1 - y_i}{1 - \hat{y_i}} \frac{\partial \hat{y_i}}{\partial \theta} \right] \]

Aufgabe 4)

Im Rahmen der personalisierten Medizin ist es von enormer Bedeutung, verschiedene Datentypen zu integrieren, um präzisere Krankheitsvorhersagen treffen zu können. Patientenbezogene Daten können beispielsweise klinische Daten, genetische Daten, Bilddaten sowie Omics-Daten (etwa Proteomics und Metabolomics) umfassen. Um aus diesen heterogenen Daten wertvolle Erkenntnisse zu gewinnen, kommen Methoden der Datenfusion zum Einsatz. Es gibt verschiedene Ansätze der Datenfusion, die in frühe, späte und intermediäre Datenfusion kategorisiert werden können. Maschinelles Lernen bietet eine Vielzahl von Algorithmen wie Random Forest, Support Vector Machines (SVM) sowie neuronale Netze, die für die Krankheitsvorhersage genutzt werden können. Die Leistungsfähigkeit der Modelle wird mithilfe von Metriken wie Genauigkeit, Sensitivität und Spezifität evaluiert.

a)

(a) Erkläre den Unterschied zwischen früher, später und intermediärer Datenfusion und beschreibe je ein Szenario, in dem jeder dieser Ansätze sinnvoll eingesetzt werden könnte.

Lösung:

(a) Der Unterschied zwischen früher, später und intermediärer Datenfusion liegt vor allem im Zeitpunkt der Kombination der Daten und den spezifischen Techniken, die zur Integration der Daten genutzt werden. Hier eine Erläuterung dazu:

• Frühe Datenfusion: Bei der frühen Datenfusion werden verschiedene Datentypen zu einem frühestmöglichen Zeitpunkt integriert, oftmals bereits auf Datenebene, bevor ein Modelltraining vorgenommen wird. Dies kann durch die einfache Kombination der Rohdatenmerkmale geschehen. Szenario: In einem medizinischen Umfeld könnten Bilddaten (z.B. MRT-Bilder) und klinische Daten (wie Blutdruck, Cholesterinspiegel) zusammengeführt und als Eingangsdaten für ein maschinelles Lernmodell genutzt werden, das das Vorhandensein einer bestimmten Krankheit vorhersagen soll.
• Späte Datenfusion: Bei der späten Datenfusion werden zunächst separate Modelle für die verschiedenen Datensätze trainiert. Die Ergebnisse dieser Modelle werden dann zur finalen Entscheidung fusioniert. Dies könnte durch Mittelung, Mehrheitsvotum oder andere Aggregationsmethoden geschehen. Szenario: Man könnte separate Modelle für Genomdaten und Proteomdaten haben, die jeweils das Risiko einer bestimmten Krankheit vorhersagen. Die Ergebnisse dieser Modelle werden dann kombiniert, um eine endgültige Vorhersage zu treffen.
• Intermediäre Datenfusion: Bei der intermediären Datenfusion werden die Daten zu einem späteren Zeitpunkt als bei der frühen Datenfusion, aber noch vor der finalen Entscheidung, kombiniert. Dies kann beispielsweise durch die Kombination von aufbereiteten Merkmalen nach einem ersten Verarbeitungsschritt geschehen. Szenario: In der Onkologie könnten genetische Daten und Bilddaten nach ihrer ersten Verarbeitung, wie Feature-Extraktion und -Selektion, kombiniert werden, um die Prognose eines Tumors genauer vorhersagen zu können.