Master-Projekt Datenmanagement - Exam

Aufgabe 1)

Stellen Sie sich vor, Sie arbeiten an einem Datenmanagement-Projekt für ein mittelgroßes E-Commerce-Unternehmen. Das Ziel des Projekts ist es, die bestehenden Datenstrukturen und Prozesse zu optimieren und eventuelle Schwachstellen zu identifizieren und zu beheben. Es ist notwendig, verschiedene visuelle Darstellungsmethoden zu verwenden, um die Datenstrukturen und Prozesse zu visualisieren und die Kommunikation und das Verständnis zwischen Teammitgliedern und Stakeholdern zu verbessern.

a)

Erstellen Sie ein ER-Diagramm (Entity-Relationship Diagramm) für die folgende Beschreibung: Das Unternehmen hat Kunden, die Bestellungen aufgeben. Jede Bestellung besteht aus mehreren Produkten und wird von einem bestimmten Mitarbeiter bearbeitet. Ein Kunde kann mehrere Bestellungen aufgeben, und jede Bestellung ist eindeutig auf einen Kunden bezogen. Stellen Sie sicher, dass Sie alle relevanten Entitäten, Attribute und Beziehungen darstellen.

Lösung:

Um ein ER-Diagramm (Entity-Relationship Diagramm) für das beschriebene Szenario zu erstellen, folge diesen Schritten:

• Identifizieren der Entitäten:In deinem Szenario gibt es folgende Entitäten:
  • Kunden: Kunden des E-Commerce-Unternehmens.
  • Bestellungen: Bestellungen, die von Kunden aufgegeben werden.
  • Produkte: Produkte, die in den Bestellungen enthalten sind.
  • Mitarbeiter: Mitarbeiter, die die Bestellungen bearbeiten.
• Definieren der Attribute:Jede Entität hat spezifische Attribute:
  • Kunden:
    • Kunden-ID (Primärschlüssel)
    • Name
    • Adresse
    • E-Mail
  • Bestellungen:
    • Bestellungs-ID (Primärschlüssel)
    • Datum
    • Kunden-ID (Fremdschlüssel)
    • Mitarbeiter-ID (Fremdschlüssel)
  • Produkte:
    • Produkt-ID (Primärschlüssel)
    • Produktname
    • Preis
  • Mitarbeiter:
    • Mitarbeiter-ID (Primärschlüssel)
    • Name
    • Abteilung
  • Bestellungs-Produkt: (Diese Entität wird benötigt, um die n:m Beziehung zwischen Bestellungen und Produkte darzustellen)
    • Bestellungs-ID (Primärschlüssel, Fremdschlüssel)
    • Produkt-ID (Primärschlüssel, Fremdschlüssel)
    • Anzahl
• Definieren der Beziehungen:Es gibt verschiedene Beziehungen zwischen den Entitäten:
  • Kunden und Bestellungen: Ein Kunde kann mehrere Bestellungen aufgeben, aber jede Bestellung gehört zu genau einem Kunden. (1:n Beziehung)
  • Bestellungen und Produkte: Eine Bestellung kann mehrere Produkte enthalten, und ein Produkt kann in mehreren Bestellungen enthalten sein. (n:m Beziehung)
  • Bestellungen und Mitarbeiter: Eine Bestellung wird von einem bestimmten Mitarbeiter bearbeitet. Ein Mitarbeiter kann mehrere Bestellungen bearbeiten. (1:n Beziehung)

Das fertige ER-Diagramm könnte wie folgt aussehen:

[ER-Diagramm]

Die Beschreibungen der Entitäten, Attribute und Beziehungen sind in diesem Diagramm visualisiert.

b)

Erstellen Sie ein UML-Klassendiagramm, das die Struktur und Beziehungen der Klassen für dasselbe E-Commerce-Unternehmen zeigt. Konzentrieren Sie sich auf die Klassen `Kunde`, `Bestellung`, `Produkt` und `Mitarbeiter`. Fügen Sie Attribute und Methoden für jede Klasse hinzu und zeigen Sie die Beziehungen zwischen den Klassen einschließlich Vererbungen, falls erforderlich.

Lösung:

Um ein UML-Klassendiagramm für das beschriebene Szenario zu erstellen, folge diesen Schritten:

• Identifizieren der Klassen:In Deinem Szenario gibt es folgende Klassen:
  • Kunde
  • Bestellung
  • Produkt
  • Mitarbeiter
• Definieren der Attribute und Methoden:Jede Klasse hat spezifische Attribute und Methoden:
  • Kunde:Attribute:
    • KundenID (int)
    • Name (String)
    • Adresse (String)
    • Email (String)
    Methoden:
    • erstellenBestellung()
    • anzeigenBestellungen()
  • Bestellung:Attribute:
    • BestellungID (int)
    • Datum (Date)
    • KundenID (int)
    • MitarbeiterID (int)
    Methoden:
    • hinzufügenProdukt(Produkt, Anzahl)
    • entfernenProdukt(Produkt)
    • anzeigenDetails()
  • Produkt:Attribute:
    • ProduktID (int)
    • Name (String)
    • Preis (double)
    Methoden:
    • anzeigenInformationen()
  • Mitarbeiter:Attribute:
    • MitarbeiterID (int)
    • Name (String)
    • Abteilung (String)
    Methoden:
    • bearbeitenBestellung(Bestellung)
• Definieren der Beziehungen:Es gibt verschiedene Beziehungen zwischen den Klassen:
  • Kunde und Bestellung: Ein Kunde kann mehrere Bestellungen aufgeben, aber jede Bestellung gehört zu genau einem Kunden. (1:n Beziehung)
  • Bestellung und Produkt: Eine Bestellung kann mehrere Produkte enthalten, und ein Produkt kann in mehreren Bestellungen enthalten sein. (n:m Beziehung)
  • Bestellung und Mitarbeiter: Eine Bestellung wird von einem bestimmten Mitarbeiter bearbeitet. Ein Mitarbeiter kann mehrere Bestellungen bearbeiten. (1:n Beziehung)

Das fertige UML-Klassendiagramm könnte wie folgt aussehen:

Kunde+ KundenID: int+ Name: String+ Adresse: String+ Email: String+ erstellenBestellung(): void+ anzeigenBestellungen(): void

Bestellung+ BestellungID: int+ Datum: Date+ KundenID: int+ MitarbeiterID: int+ hinzufügenProdukt(Produkt, Anzahl): void+ entfernenProdukt(Produkt): void+ anzeigenDetails(): void

Produkt+ ProduktID: int+ Name: String+ Preis: double+ anzeigenInformationen(): void

Mitarbeiter+ MitarbeiterID: int+ Name: String+ Abteilung: String+ bearbeitenBestellung(Bestellung): void

Die Beziehungen sind in diesem Diagramm durch Linien und entsprechende Symbole für 1:n und n:m Beziehungen visualisiert. Die Vererbungsbeziehungen (falls vorhanden) werden durch Dreiecke angezeigt.

c)

Skizzieren Sie ein Datenflussdiagramm zur Darstellung des Prozesses, wie eine Bestellung vom Zeitpunkt der Bestellung durch den Kunden bis zur Auslieferung bearbeitet wird. Zeigen Sie die wichtigsten Datenbewegungen und Prozesse, unter Einschluss von Datenquellen und -senken sowie Prozessen, die Daten transformieren. Stellen Sie sicher, dass Sie Symbole und Konventionen verwenden, die spezifisch für Datenflussdiagramme sind.

Lösung:

Ein Datenflussdiagramm (DFD) zeigt die Verarbeitung und Bewegung von Daten innerhalb eines Systems. Es verwendet spezifische Symbole, um Prozesse, Datenflüsse, Datenspeicher und externe Einheiten darzustellen. Hier ist eine Skizze eines DFD zur Darstellung des Prozesses, wie eine Bestellung vom Zeitpunkt der Bestellung durch den Kunden bis zur Auslieferung bearbeitet wird:

• Symbole und ihre Bedeutungen:
  • Prozesse: Werden durch Kreise oder abgerundete Rechtecke dargestellt.
  • Datenflüsse: Werden durch Pfeile dargestellt, die die Bewegung der Daten von einer Entität zu einer anderen zeigen.
  • Externe Entitäten: Werden durch Rechtecke dargestellt und repräsentieren externe Quellen oder Senken von Daten.
  • Datenspeicher: Werden durch offene Rechtecke oder parallele Linien dargestellt und repräsentieren, wo Daten gespeichert werden.
• Hauptprozesse und Datenflüsse:Im folgenden Diagramm werden die wichtigsten Prozesse und Datenflüsse dargestellt:
  • Prozess 1: BestellungsannahmeBeschreibung: Ein Kunde gibt eine Bestellung auf.Datenfluss: Kundendaten und Bestellungen fließen vom Kunden in das System.
  • Prozess 2: BestellungsverarbeitungBeschreibung: Die Bestellung wird validiert und die Verfügbarkeit der Produkte wird geprüft.Datenfluss: Bestelldaten fließen zur Datenbank, Produktverfügbarkeitsdaten werden abgefragt und zurückgeliefert.
  • Prozess 3: Kommissionierung und VerpackungBeschreibung: Produkte werden kommissioniert und für den Versand vorbereitet.Datenfluss: Bestellbestätigungsdaten fließen zur Lagerabteilung, Produkte und Verpackungsinformationen fließen zum Versand.
  • Prozess 4: VersandBeschreibung: Die Bestellung wird ausgeliefert.Datenfluss: Versandinformationen fließen zur Datenbank und zum Kunden.

Hier ist ein skizziertes Datenflussdiagramm:

[DFD Level 0: Bestellung und Auslieferung]

• Externe Entität:□ Kunde→ gibt Bestellung auf
• Prozess 1:○ Bestellungsannahme→ erhält Bestellung und Kundendaten
• Datenspeicher:◻ Datenbank→ speichert Bestelldaten und Verfügbarkeitsdaten
• Prozess 2:○ Bestellungsverarbeitung→ prüft Verfügbarkeit und validiert Bestellung
• Prozess 3:○ Kommissionierung und Verpackung→ kommissioniert Produkte und bereitet Versand vor
• Prozess 4:○ Versand→ liefert Bestellung aus
• Externe Entität:□ Kunde→ erhält Versandinformation

Die oben genannten Elemente und ihre Beziehungen zeigen den vollständigen Fluss der Bestellung, angefangen bei der Aufgabe durch den Kunden bis hin zur Auslieferung der Produkte.

Aufgabe 2)

Du arbeitest als Datenwissenschaftler bei einem mittelständischen Unternehmen. Dein Team hat den Auftrag, einen ETL-Prozess für die Integration von Kundendaten aus mehreren Quellen zu entwickeln. Die Quellen umfassen eine SQL-Datenbank, eine REST-API und mehrere CSV-Dateien, die auf einem internen Server gespeichert sind. Du musst die Daten sammeln, bereinigen, transformieren und in ein zentrales Data Warehouse laden.

a)

Teilaufgabe 1:

Beschreibe den gesamten ETL-Prozess für dieses Szenario. Berücksichtige dabei folgende Punkte:

• Wie extrahierst Du die Daten aus den verschiedenen Quellen?
• Welche Transformationsschritte sind erforderlich, um sicherzustellen, dass die Daten konsistent und qualitätsgesichert in das Data Warehouse geladen werden können?
• Wie würdest Du den Ladeprozess in das Data Warehouse umsetzen? Nutze dabei beispielsweise SQL-Insert-Statements oder Bulk-Load-Prozeduren.
• Welche Werkzeuge könnten für diesen ETL-Prozess eingesetzt werden, und weshalb würdest Du diese Werkzeuge wählen?

Lösung:

Um den ETL-Prozess (Extract, Transform, Load) für die Integration von Kundendaten aus mehreren Quellen optimal zu gestalten, gehen wir in mehreren Schritten vor, um sicherzustellen, dass die Daten zuverlässig und konsistent in das zentrale Data Warehouse geladen werden. Im Folgenden wird der gesamte Prozess detailliert beschrieben und auf die einzelnen Teilaspekte eingegangen.

Wie extrahierst Du die Daten aus den verschiedenen Quellen?

• SQL-Datenbank: Um Daten aus der SQL-Datenbank zu extrahieren, können wir SQL-Abfragen verwenden. Diese Abfragen holen die benötigten Daten und speichern sie in einem geeigneten Format, z.B. als CSV-Dateien oder direkt in einem temporären Speicher. Beispielabfrage:

  ''' SELECT * FROM kundendaten; '''

• REST-API: Für die Datenextraktion aus einer REST-API verwenden wir HTTP-Requests (GET-Anfragen), um die Daten abzurufen. Diese Daten werden dann im JSON-Format gespeichert und weiterverarbeitet. Beispielanfrage:

  ''' import requests response = requests.get('https://api.example.com/customers') kundendaten = response.json() '''

• CSV-Dateien: Die CSV-Dateien auf dem internen Server können mithilfe von Python und der Pandas-Bibliothek eingelesen werden. Damit wird sichergestellt, dass die Daten in einem strukturierten Format vorliegen. Beispielsweise:

  ''' import pandas as pd df = pd.read_csv('/path/to/data.csv') '''

Welche Transformationsschritte sind erforderlich, um sicherzustellen, dass die Daten konsistent und qualitätsgesichert in das Data Warehouse geladen werden können?

• Bereinigung: Dies beinhaltet das Entfernen von Duplikaten, das Ausfüllen fehlender Werte und das Korrigieren von Datenfehlern. Beispiel:

  ''' df = df.drop_duplicates() df['email'] = df['email'].fillna('unknown@example.com') '''

• Standardisierung: Hier werden verschiedene Formate harmonisiert, z.B. Datumsformate vereinheitlicht und Textfelder in ein konsistentes Format gebracht. Beispiel:

  ''' df['datum'] = pd.to_datetime(df['datum'], format='%Y-%m-%d') df['land'] = df['land'].str.upper() '''

• Integration: Daten aus unterschiedlichen Quellen werden in eine einheitliche Struktur gebracht und zusammengeführt, z.B. durch Joins. Beispiel:

  ''' merged_df = pd.merge(df_sql, df_csv, on='customer_id', how='inner') '''

• Validierung: Daten werden auf Konsistenz und Integrität geprüft, z.B. durch das Überprüfen von Fremdschlüsselbeziehungen und Wertebereichen. Beispiel:

  ''' assert df['age'].between(0, 120).all() '''

Wie würdest Du den Ladeprozess in das Data Warehouse umsetzen? Nutze dabei beispielsweise SQL-Insert-Statements oder Bulk-Load-Prozeduren.

• SQL-Insert-Statements: Für kleinere Datenmengen können SQL-Insert-Statements verwendet werden, um die Daten zeilenweise in das Data Warehouse zu laden. Beispiel:

  ''' for index, row in df.iterrows():     cursor.execute('''INSERT INTO kundendaten_tbl (spalte1, spalte2, ...) VALUES (%s, %s, ...)''', (row['spalte1'], row['spalte2'], ...)) conn.commit() ''' 

• Bulk-Load-Prozeduren: Für größere Datenmengen sind Bulk-Load-Prozeduren effizienter. Diese nutzen spezielle Datenbankfunktionen, um große Datenmengen schnell zu laden. Beispiel mit PostgreSQL:

  ''' cursor.copy_from('/path/to/tempfile.csv', 'kundendaten_tbl', sep=',') conn.commit() '''

Welche Werkzeuge könnten für diesen ETL-Prozess eingesetzt werden, und weshalb würdest Du diese Werkzeuge wählen?

• Python mit Pandas: Ideal für Datenmanipulation und -bereinigung wegen seiner leistungsstarken Datenrahmen und Bibliotheken.
• SQLAlchemy: Ermöglicht nahtlose Verbindungen und Operationen mit SQL-Datenbanken innerhalb von Python-Skripten.
• Requests-Bibliothek: Einfach zu verwendende HTTP-Bibliothek für die Interaktion mit REST-APIs.
• Apache Airflow: Für die Orchestrierung und Planung von ETL-Jobs aufgrund seiner Flexibilität und Skalierbarkeit.
• Talend: Eine umfassende ETL-Plattform, die visuelle Benutzeroberflächen und erweiterte Funktionen für die Datenintegration bietet.

b)

Teilaufgabe 2:

Nehmen wir an, dass Du während des Transformationsprozesses die Bereinigung von Telefonnummern-Daten durchführen musst. Die Telefonnummern haben verschiedene Formate, z.B. '+49 123 4567890', '0049 123 - 4567 890', und '1234567890' (alle Telefonnummern sollen das Format '+49 123 4567890' haben). Entwerfe einen Pseudocode oder Code-Snippet in Python, der diese Bereinigung durchführt. Erkläre die Schritte, die Dein Code durchführt.

Hinweis: Berücksichtige auch mögliche Fehler oder Sonderfälle, z.B. wenn eine Telefonnummer keine Ländervorwahl hat oder zu viele Ziffern enthält.

Lösung:

Um die Telefonnummern zu bereinigen und in das einheitliche Format '+49 123 4567890' zu bringen, können wir einen Python-Code-Snippet verwenden. Der Snippet sollte sicherstellen, dass alle Telefonnummern die gleichen Trennzeichen und das gleiche Ländervorwahl-Format haben. Dabei müssen Sonderzeichen entfernt und Telefonnummern korrekt formatiert werden.

Im Folgenden findest Du einen Pseudocode sowie dessen Erläuterung:

import re  # Um reguläre Ausdrücke zu verwenden# Funktion zur Normalisierung der Telefonnummerndef normalize_phone_number(phone):    # Entferne alle nicht-numerischen Zeichen, außer dem Plus-Zeichen am Anfang    phone = re.sub(r'(?!^\+)[^0-9]', '', phone)        # Überprüfen, ob die Telefonnummer mit '00' beginnt und ersetze durch '+'    if phone.startswith('00'):        phone = '+' + phone[2:]    # Füge Ländervorwahl hinzu, falls nicht vorhanden    if not phone.startswith('+49'):        if phone.startswith('0'):            phone = '+49' + phone[1:]        else:            phone = '+49' + phone    # Überprüfe, ob die Länge der Telefonnummer korrekt ist (nach deutscher Standardnummer)    if len(phone) != 14:        raise ValueError(f'Ungültige Telefonnummer: {phone}')    # Formatieren der Telefonnummer durch Hinzufügen von Leerzeichen: '+49 123 4567890'    return f'{phone[:3]} {phone[3:6]} {phone[6:]} '# Beispielhafte Telefonnummernphone_numbers = [    '+49 123 4567890',    '0049 123 - 4567 890',    '1234567890',    '00491234567890',    '+491234567890',    '01234567890']# Bereinigung der Telefonnummernnormalized_phone_numbers = []for number in phone_numbers:    try:        normalized_phone_numbers.append(normalize_phone_number(number))    except ValueError as e:        print(e)        # Ausgabe der bereinigten Telefonnummernprint(normalized_phone_numbers)

• Import der notwendigen Bibliothek: Wir verwenden die re-Bibliothek für die Regulären Ausdrücke.
• Funktion definieren: normalize_phone_number nimmt eine Telefonnummer als Eingabe und bereinigt sie.
• Entfernen von nicht-numerischen Zeichen: Alle nicht-zahlen Zeichen, außer dem Plus-Zeichen (am Anfang der Telefonnummer) werden entfernt.
• '00' durch '+' ersetzen: Wenn die Telefonnummer mit '00' beginnt, wird diese durch '+' ersetzt.
• Ländervorwahl hinzufügen: Falls die Ländervorwahl '+49' nicht vorhanden ist, wird '+49' hinzugefügt.
• Fehlerbehandlung: Überprüfen, ob die Telefonnummer die korrekte Länge hat und, falls nicht, wird ein Fehler ausgelöst.
• Formatierung: Formatieren der Telefonnummer durch Hinzufügen von Leerzeichen.
• Beispieldaten: Eine Liste von Telefonnummern wird bereinigt und die Ergebnisse werden ausgegeben.

Aufgabe 3)

Du hast ein System zur Verwaltung von Patientendaten in einem Krankenhaussystem implementiert. Ein entscheidender Aspekt dabei ist die Sicherstellung der Korrektheit und Genauigkeit der gespeicherten Daten. In deinem System sollen Patienteninformationen wie Name, Geburtsdatum, Krankenversicherungsnummer und Diagnosen erfasst und validiert werden. Um die Datenintegrität zu gewährleisten, müssen verschiedene Maßnahmen zur Datenvalidierung und -verifizierung durchgeführt werden.

a)

Erläutere die Unterschiede zwischen Datenvalidierung und Datenverifizierung in Kontext des Krankenhaussystems. Gib Beispiele für jede Methode, die auf das System angewendet werden können.

Lösung:

In einem Krankenhaussystem ist es entscheidend, die Begriffe Datenvalidierung und Datenverifizierung zu verstehen und anzuwenden, um die Integrität und Genauigkeit der Patientendaten zu gewährleisten. Diese beiden Prozesse spielen eine wichtige Rolle bei der Sicherstellung korrekter und verlässlicher Daten.

Datenvalidierung:

Datenvalidierung bezieht sich auf den Prozess der Überprüfung, ob die Daten, die eingegeben oder verarbeitet werden, bestimmten vordefinierten Regeln und Anforderungen entsprechen. Diese Regeln können auf Formaten, Datentypen, Bereichen und anderen Kriterien basieren. Der Zweck der Datenvalidierung ist es, sicherzustellen, dass die Daten korrekt, vollständig und sinnvoll sind.

• Beispiel 1: Überprüfung, ob das Geburtsdatum im korrekten Datumsformat (z.B. TT.MM.JJJJ) eingegeben wurde und ob es ein gültiges Datum darstellt.
• Beispiel 2: Validierung der Krankenversicherungsnummer, um sicherzustellen, dass sie aus einer bestimmten Anzahl von Ziffern besteht und keine Sonderzeichen enthält.
• Beispiel 3: Sicherstellung, dass der Name des Patienten nur alphabetische Zeichen und gegebenenfalls Leerzeichen oder Bindestriche enthält.

Datenverifizierung:

Datenverifizierung hingegen beinhaltet die Bestätigung der Richtigkeit und Authentizität der Daten mittels externer Quellen oder durch unabhängige Bestätigung. Hierbei wird geprüft, ob die Daten mit anderen vertrauenswürdigen Quellen übereinstimmen oder korrekt sind.

• Beispiel 1: Abgleich des Geburtsdatums des Patienten mit den Daten aus offiziellen Ausweisdokumenten wie Personalausweis oder Reisepass.
• Beispiel 2: Überprüfung der Krankenversicherungsnummer durch Abfrage einer zentralen Datenbank der Krankenversicherungsträger.
• Beispiel 3: Kontaktaufnahme mit dem Patienten oder seinem Hausarzt zur Bestätigung der angegebenen Diagnosen und medizinischen Vorgeschichte.

Zusammengefasst helfen sowohl die Datenvalidierung als auch die Datenverifizierung dabei, die Qualität und Verlässlichkeit der Patientendaten im Krankenhaussystem zu erhöhen. Während die Validierung sicherstellt, dass die Daten format- und regelkonform sind, garantiert die Verifizierung die Authentizität und Genauigkeit durch zusätzliche Quellen oder Überprüfungen.

b)

Führe einen Syntax-Check für das Geburtsdatum durch. Definiere ein reguläres Ausdrucksmuster, das überprüft, ob das Datum im Format 'YYYY-MM-DD' vorliegt. Implementiere dies in pseudocode.

Lösung:

Um einen Syntax-Check für das Geburtsdatum im Format 'YYYY-MM-DD' durchzuführen, kann ein regulärer Ausdruck (Regex) verwendet werden. Der reguläre Ausdruck muss sicherstellen, dass das Datum vier Ziffern für das Jahr, gefolgt von einem Bindestrich, zwei Ziffern für den Monat, einem weiteren Bindestrich und schließlich zwei Ziffern für den Tag enthält. Das gesamte Format muss überprüft werden, um sicherzustellen, dass es korrekt ist.

Der reguläre Ausdruck für das Datum könnte folgendermaßen aussehen:

 ^\d{4}-\d{2}-\d{2}$ 

Dieser Ausdruck stellt sicher, dass das Datum genau im Format 'YYYY-MM-DD' vorliegt. Jetzt wollen wir diesen regulären Ausdruck in Pseudocode implementieren:

 function validateBirthdate(birthdate):   # Definiere das reguläre Ausdrucksmuster für das Datumsformat 'YYYY-MM-DD'   regexPattern = '^\d{4}-\d{2}-\d{2}$'   # Verwende eine Funktion zum Überprüfen, ob das Datum das Muster erfüllt   if matchRegex(birthdate, regexPattern):     return true   else:     return false # Hilfsfunktion zur Überprüfung des Musters function matchRegex(text, pattern):   # Implementiere die Logik zur Überprüfung des Musters, zum Beispiel mit einer Regex-Bibliothek   # Dies ist nur eine Pseudocode-Darstellung   return RegexLibrary.match(text, pattern)  

In diesem Pseudocode wird die Funktion validateBirthdate definiert, die ein Geburtsdatum als Eingabe erhält und den regulären Ausdruck regexPattern verwendet, um das Datum zu überprüfen. Die Hilfsfunktion matchRegex wird verwendet, um das Datum mit dem Muster abzugleichen. Wenn das Datum das Muster erfüllt, wird true zurückgegeben, andernfalls false.

c)

Beschreibe eine Methode zur semantischen Validierung der Diagnose-Daten. Wie würdest du sicherstellen, dass die Diagnosen korrekt und sinnvoll sind? Entwickle ein Schema oder eine Regelmenge zur semantischen Überprüfung.

Lösung:

Semantische Validierung der Diagnose-Daten

Eine semantische Validierung geht über die einfache syntaktische Überprüfung hinaus und prüft die logische Korrektheit und Konsistenz der Daten. In einem Krankenhaussystem ist es wichtig, dass Diagnosen nicht nur richtig formatiert sind, sondern auch inhaltlich korrekt und sinnvoll sind.

Um sicherzustellen, dass die Diagnosen korrekt und sinnvoll sind, können folgende Methoden zur semantischen Validierung angewendet werden:

• Verwendung einer standardisierten Nomenklatur: Diagnosen sollten nach international anerkannten medizinischen Klassifikationen wie dem ICD-10 (International Classification of Diseases, 10th Revision) kodiert werden. Dies ermöglicht eine einheitliche und überprüfbare Angabe der Diagnosen.
• Abgleich mit einer Liste gültiger Diagnosen: Nur Diagnosen, die in einer vorab definierten Liste enthalten sind, dürfen akzeptiert werden. Diese Liste basiert auf medizinischen Lexika und Klassifikationen und stellt sicher, dass nur gültige Diagnosen erfasst werden.
• Prüfung auf Plausibilität: Diagnosen sollten in einem logischen Verhältnis zu den Patientenmerkmalen wie Alter, Geschlecht und medizinischer Vorgeschichte stehen. Zum Beispiel ist eine Alzheimer-Diagnose bei einem sehr jungen Patienten eher unwahrscheinlich.
• Überprüfung durch medizinisches Fachpersonal: Automatisierte Validierung kann durch die Prüfung und Bestätigung durch Ärzte und spezialisiertes Personal ergänzt werden, um ihre Genauigkeit und Sinnhaftigkeit zu bestätigen.
• Kontextuelle Überprüfung: Überprüfung der Diagnose in Kombination mit anderen Diagnosen bzw. Symptomen, um Widersprüche und Unstimmigkeiten zu vermeiden.

Schema oder Regelmenge zur semantischen Überprüfung:

1. Diagnose-Kodierung:
   • Akzeptiere nur Diagnosen, die gemäß dem ICD-10 kodiert sind.
   • Verwerfe nicht standardisierte oder unvollständige Diagnosen.
2. Liste verifizierter Diagnosen:
   • Vergleiche die eingegebene Diagnose mit einer vorab festgelegten Liste gültiger Diagnosen.
   • Blockiere Eingaben, die nicht in dieser Liste vorhanden sind.
3. Plausibilitätsprüfung:
   • Überprüfe das Alter des Patienten. Beispielsweise ist eine Demenz-Diagnose für Patienten unter 40 Jahren sehr unwahrscheinlich.
   • Berücksichtige das Geschlecht des Patienten. Bestimmte Diagnosen wie Prostatakrebs sind geschlechtsspezifisch.
   • Analysiere die medizinische Vorgeschichte des Patienten auf Unstimmigkeiten.
4. Überprüfung durch Fachpersonal:
   • Stelle sicher, dass jede Diagnose von einem Arzt oder medizinischen Fachpersonal überprüft und bestätigt wird.
5. Kontextuelle Überprüfung:
   • Analysiere die Diagnose im Zusammenspiel mit anderen erfassten Diagnosen und Symptomen.
   • Identifiziere und flagge widersprüchliche oder unlogische Kombinationen.

Durch die Kombination dieser Methoden kann die semantische Validierung erheblich zur Genauigkeit und Verlässlichkeit der Diagnose-Daten in einem Krankenhaussystem beitragen.

d)

Gegeben ist die Bedingung, dass die Krankenversicherungsnummer aus genau 10 Ziffern bestehen muss. Schreibe eine Formel zur Überprüfung dieser Bedingung und implementiere sie in pseudocode.

Lösung:

Um sicherzustellen, dass eine Krankenversicherungsnummer (KV-Nummer) aus genau 10 Ziffern besteht, kann eine einfache Überprüfung durchgeführt werden. Diese Überprüfung stellt sicher, dass die Länge der Nummer genau 10 Zeichen beträgt und dass alle Zeichen Ziffern sind.

Hier ist die Formel zur Überprüfung:

• Die Länge der KV-Nummer muss exakt 10 betragen.
• Jedes Zeichen der KV-Nummer muss eine Ziffer sein (d.h., zwischen '0' und '9').

Wir verwenden einen regulären Ausdruck zur Validierung, dass die KV-Nummer genau 10 Ziffern enthält:

 '^\d{10}$' 

Dies stellt sicher, dass die KV-Nummer genau 10-mal eine Ziffer (\d) enthält.

Hier ist der entsprechende Pseudocode zur Implementierung dieser Bedingung:

 function validateKVNumber(kvNumber):   # Definiere das reguläre Ausdrucksmuster für die KV-Nummer   regexPattern = '^\d{10}$'   # Verwende eine Funktion zum Überprüfen, ob die KV-Nummer das Muster erfüllt   if matchRegex(kvNumber, regexPattern):     return true   else:     return false # Hilfsfunktion zur Überprüfung des Musters function matchRegex(text, pattern):   # Implementiere die Logik zur Überprüfung des Musters, z.B. mit einer Regex-Bibliothek   # Dies ist nur eine Pseudocode-Darstellung   return RegexLibrary.match(text, pattern)  

In diesem Pseudocode:

• Die Funktion validateKVNumber nimmt die KV-Nummer als Eingabe und verwendet das reguläre Ausdrucksmuster regexPattern, um sicherzustellen, dass die KV-Nummer genau 10 Ziffern enthält.
• Die Hilfsfunktion matchRegex überprüft die KV-Nummer anhand des regulären Ausdrucks.
• Wenn die KV-Nummer das Muster erfüllt, wird true zurückgegeben; andernfalls wird false zurückgegeben.

Diese Methode sorgt dafür, dass nur valide Krankenversicherungsnummern in das System eingegeben werden.

Aufgabe 4)

Hadoop und MapReduceHadoop ist ein Framework zur verteilten Verarbeitung großer Datenmengen über mehrere Knoten hinweg. MapReduce ist das zugrundeliegende Programmiermodell für die High-Level-Verarbeitung in Hadoop.

• HDFS: Hadoop Distributed File System zur robusten, redundanten Datenspeicherung.
• Map step: Verarbeitet Daten in Form von Schlüssel/Wert-Paaren, gibt Zwischenresultate aus.
• Reduce step: Aggregiert Zwischenresultate zu Endresultaten.
• JobTracker/TaskTracker: Verwalten Job-Aufträge und Aufgabenverteilung.
• Skalierbar und fehlertolerant.
• API: Unterstützt mehrere Programmiersprachen, z.B. Java, Python.

a)

1. HDFS in HadoopErkläre, warum das Hadoop Distributed File System (HDFS) wichtig für skalierbare und fehlertolerante Datenverarbeitung ist. Welche Mechanismen nutzt HDFS, um Datenredundanz und -robustheit zu gewährleisten? Gehe dabei auf Replikation und Blockspeicherung ein.

Lösung:

1. HDFS in HadoopDas Hadoop Distributed File System (HDFS) ist ein essenzieller Bestandteil von Hadoop und entscheidend für die skalierbare und fehlertolerante Datenverarbeitung. Hier sind einige Gründe und Mechanismen, warum HDFS wichtig ist:

• Skalierbarkeit: HDFS ermöglicht die Speicherung und Verarbeitung von sehr großen Datenmengen durch die Verteilung dieser Daten über mehrere Knoten im Cluster. Dies erlaubt es, die Workloads auf viele Maschinen zu verteilen und somit die Verarbeitungskapazitäten zu erhöhen.
• Fehlertoleranz: HDFS ist darauf ausgelegt, auch bei Ausfällen einzelner Knoten oder Festplatten weiter zu funktionieren. Dies wird durch Replikation und robuste Datenspeicherungsmechanismen erreicht.
  • Replikation: Jedes Datenstück (Block) wird standardmäßig dreimal repliziert und auf unterschiedlichen Knoten gespeichert. Das bedeutet, dass selbst wenn ein oder zwei Replikate verloren gehen, das System weiterhin Zugriff auf die Daten hat und korrekt arbeitet. Diese Replikation schützt vor Datenverlust und ermöglicht es HDFS, ausgefallene Knoten zu umgehen.
  • Blockspeicherung: Daten in HDFS werden in Blöcke zerlegt (üblicherweise 128 MB oder 256 MB groß). Diese Blöcke werden dann über verschiedene Knoten verteilt. Die Blockspeicherungsstrategie ist entscheidend, da sie dazu beiträgt, die Daten zu verteilen und gleichmäßig die Last im Cluster zu balancieren.
• Robuste Verwaltung: HDFS verwendet einen zentralen Namenknoten (NameNode), der die Metadaten und die Struktur des Dateisystems verwaltet und überwacht. Die tatsächlichen Daten werden auf den Datenknoten (DataNodes) gespeichert.
• Automatische Erholung: Wenn ein Datenknoten ausfällt, sorgt der Namenknoten dafür, dass die betroffenen Blöcke von anderen Knoten erneut repliziert werden, um die gewünschte Replikationszahl zu erreichen.

b)

2. Map-Reduce-AlgorithmusErläutere detailliert den Ablauf eines Map-Reduce-Jobs. Beschreibe die Aufgaben, die in jeder Phase (Map und Reduce) durchgeführt werden, und wie Schlüssel/Wert-Paare dabei verarbeitet werden. Bitte gib auch ein konkretes Beispiel an, z.B. wie ein Wortzählalgorithmus mit MapReduce umgesetzt werden kann.

Lösung:

2. Map-Reduce-AlgorithmusEin Map-Reduce-Job durchläuft zwei Hauptphasen: die Map-Phase und die Reduce-Phase. Beide Phasen arbeiten mit Schlüssel/Wert-Paaren und spielen unterschiedliche Rollen in der Verarbeitung der Daten. Hier ist eine detaillierte Erläuterung des Ablaufs:

• Map-Phase:
  • In der Map-Phase nimmt der Mapper Eingabedaten in Form von Schlüssel/Wert-Paaren entgegen.
  • Der Mapper verarbeitet die Datenzeilen nacheinander und extrahiert interessierende Schlüssel/Wert-Paare.
  • Diese Paare werden als Zwischenresultate ausgegeben und an die nächste Phase weitergeleitet.
• Shuffle and Sort:
  • Zwischen der Map- und Reduce-Phase findet ein Shuffling- und Sortierprozess statt.
  • Zwischenergebnisse werden nach Schlüsseln sortiert und auf verschiedene Reduzierer (Reducer) aufgeteilt.
  • Dadurch wird sichergestellt, dass alle Werte mit dem gleichen Schlüssel an denselben Reducer gelangen.
• Reduce-Phase:
  • In der Reduce-Phase empfängt der Reducer sortierte Schlüssel/Wert-Paare, wobei für jeden Schlüssel eine Liste von zugehörigen Werten vorliegt.
  • Der Reducer führt dann eine Aggregation oder Verarbeitungsoperation auf diesen Werten durch, um ein Endergebnis zu erzeugen.
  • Schließlich gibt der Reducer die Resultate als finale Schlüssel/Wert-Paare aus, die dann im HDFS oder einem anderen Speicher abgelegt werden können.

• Input: Ein Textdokument, das in mehreren Zeilen Text enthält.
• Map-Phase:
  • Der Mapper liest die Zeilen des Dokuments und zerlegt jede Zeile in Wörter.
  • Für jedes Wort wird das Schlüssel/Wert-Paar (Wort, 1) ausgegeben:

  word1 -> 1word2 -> 1word1 -> 1...

word1 -> [1, 1, ...]word2 -> [1, ...]...

word1 -> 2word2 -> 1...

word1 -> 2word2 -> 1...

c)

3. Aufgabenverteilung und FehlertoleranzBeschreibe die Rolle des JobTrackers und der TaskTracker im Hadoop-Ökosystem. Wie wird die Verteilung der Jobs auf verschiedene Knoten koordiniert? Erkläre, wie Hadoop mit fehlgeschlagenen Aufgaben umgeht und wie es die fehlertolerante Ausführung von Jobs sicherstellt.

Lösung:

3. Aufgabenverteilung und FehlertoleranzIm Hadoop-Ökosystem spielen der JobTracker und die TaskTracker zentrale Rollen bei der Verwaltung der Job-Aufträge und der Aufgabenverteilung. Hier ist eine detaillierte Beschreibung ihrer Funktionen und wie sie zur Fehlertoleranz beitragen:

• JobTracker:Der JobTracker ist das zentrale Koordinationsmodul im MapReduce-Framework von Hadoop. Seine Aufgaben umfassen:
  • Job-Annahme: Der JobTracker empfängt MapReduce-Jobs von Benutzern und teilt die Jobs in mehrere Aufgaben (Tasks) auf.
  • Aufgabenzuordnung: Der JobTracker verteilt die Aufgaben an die TaskTracker auf verschiedenen Knoten im Cluster basierend auf der Verfügbarkeit von Ressourcen und der Lokalität der Daten.
  • Überwachung: Der JobTracker überwacht den Fortschritt der Aufgaben, die auf den TaskTrackern ausgeführt werden, und protokolliert deren Status.
  • Fehlerbehandlung: Im Falle eines Fehlers erkennt der JobTracker dies und weist dieselbe Aufgabe einem anderen TaskTracker zu, um die Arbeit fortzusetzen.
• TaskTracker:TaskTracker sind Module, die auf jedem Knoten im Hadoop-Cluster laufen und vom JobTracker Aufgaben zugewiesen bekommen. Ihre Aufgaben umfassen:
  • Aufgabenannahme: Der TaskTracker nimmt Aufgaben vom JobTracker entgegen und führt sie auf dem lokal verfügbaren Rechner aus.
  • Fortschrittsberichte: Der TaskTracker berichtet regelmäßig dem JobTracker über den Fortschritt und den Status der ausgeführten Aufgaben.
  • Fehlererkennung: Falls eine Aufgabe fehlschlägt, informiert der TaskTracker den JobTracker über den Fehler.
• Koordinierung der Job-Verteilung:Die Verteilung der Jobs auf verschiedene Knoten wird durch den JobTracker koordiniert, der auf verschiedene Faktoren achtet:
  • Datenlokalität: Der JobTracker versucht, Aufgaben möglichst dort auszuführen, wo die Daten bereits gespeichert sind, um den Datenverkehr im Netzwerk zu minimieren.
  • Ressourcenverfügbarkeit: Der JobTracker weist Aufgaben basierend auf der Verfügbarkeit von CPU, Speicher und anderen Ressourcen den verschiedenen Knoten zu.
• Fehlertoleranz:Hadoop ist darauf ausgelegt, auch bei Ausfällen zuverlässig zu funktionieren. Hier sind einige Mechanismen, die dabei helfen:
  • Aufgaben-Neuzuweisung: Wenn der JobTracker erkennt, dass eine Aufgabe fehlschlägt (z.B. durch einen Knoten- oder Hardwareausfall), weist er die Aufgabe einem anderen Knoten zu.
  • Replikation: HDFS repliziert Datenblöcke standardmäßig dreifach auf verschiedenen Knoten. Selbst wenn ein oder zwei Knoten ausfallen, bleiben die Daten verfügbar.
  • Heartbeat-Meldungen: TaskTracker senden regelmäßig Heartbeat-Nachrichten an den JobTracker, um ihren Status zu melden. Wenn der JobTracker keine Heartbeat-Meldungen von einem TaskTracker mehr erhält, geht er davon aus, dass der Knoten ausgefallen ist, und weist die dort laufenden Aufgaben anderen Knoten zu.
  • Spekulative Ausführung: Hadoop führt manchmal bestimmte Aufgaben redundant (spekulativ) auf mehreren Knoten gleichzeitig aus, um sicherzustellen, dass sie rechtzeitig abgeschlossen werden, auch wenn einige Knoten langsamer arbeiten oder ausfallen.

d)

4. Programmierung mit Hadoop-APIImplementiere eine einfache MapReduce-Aufgabe in einer Sprache Ihrer Wahl, z.B. in Java oder Python, um die Häufigkeit verschiedener Zeichen in einem Text zu zählen. Beschreibe zunächst die Implementierung der Map- und Reduce-Methoden und stelle dann den gesamten Code bereit.

public class CharCountMapper extends Mapper {     private Text character = new Text();     private final static IntWritable one = new IntWritable(1);     public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {         String line = value.toString();         for (char c : line.toCharArray()) {             character.set(Character.toString(c));             context.write(character, one);         }     } }public class CharCountReducer extends Reducer {     public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {         int sum = 0;         for (IntWritable val : values) {             sum += val.get();         }         context.write(key, new IntWritable(sum));     } }

Lösung:

4. Programmierung mit Hadoop-APIIm Folgenden wird eine einfache MapReduce-Aufgabe in Java implementiert, um die Häufigkeit verschiedener Zeichen in einem Text zu zählen. Hier sind die detaillierten Implementierungsschritte für die Map- und Reduce-Methoden sowie der gesamte Code:

• CharCountMapper:Diese Klasse definiert die Map-Methode, die jedes Zeichen in der Eingabezeile liest und ein Schlüssel/Wert-Paar (Zeichen, 1) ausgibt.

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class CharCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {    private Text character = new Text();    private final static IntWritable one = new IntWritable(1);    @Override    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {        String line = value.toString();        for (char c : line.toCharArray()) {            character.set(Character.toString(c));            context.write(character, one);        }    }}

• CharCountReducer:Diese Klasse definiert die Reduce-Methode, die die Eingabewerte für jeden Schlüssel aufsummiert und das Gesamtergebnis ausgibt.

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class CharCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {    @Override    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {        int sum = 0;        for (IntWritable val : values) {            sum += val.get();        }        context.write(key, new IntWritable(sum));    }}

• Job-Konfiguration:Schließlich müssen wir den Job konfigurieren und die Mapper- und Reducer-Klassen sowie die Ein- und Ausgabeformate angeben.

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class CharCount {    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        Job job = Job.getInstance(conf, "char count");        job.setJarByClass(CharCount.class);        job.setMapperClass(CharCountMapper.class);        job.setCombinerClass(CharCountReducer.class);        job.setReducerClass(CharCountReducer.class);        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        FileInputFormat.addInputPath(job, new Path(args[0]));        FileOutputFormat.setOutputPath(job, new Path(args[1]));        System.exit(job.waitForCompletion(true) ? 0 : 1);    }}

• Mapper-Klasse: CharCountMapper
• Reducer-Klasse: CharCountReducer
• Job-Konfiguration: CharCount