Computational Photography and Capture - Cheatsheet

Grundlagen der Kameratechnologie

Definition:

Grundlehre optischer und elektronischer Komponenten einer Kamera, um Bilder zu erfassen und zu verarbeiten.

Details:

• Optik: Linsen, Blende, Brennweite
• Sensoren: CCD vs CMOS
• Belichtung: ISO, Verschlusszeit, Blende (-\textit{f/-}-Wert)
• Bildverarbeitung: Bayer-Pattern, Signal-Rausch-Verhältnis, Dynamikumfang
• Bildgeometrie: Perspektivprojektion, Verzeichnung
• Kalibration: Intrinsische und extrinsische Parameter, Radialverzerrung

Bildfilterung und Rauschreduktion

Definition:

Techniken zur Verbesserung von Bildqualität durch Unterdrückung von Rauschen und Verstärkung gewünschter Bildeigenschaften.

Details:

• Rauschen: zufällige Pixelwertvariation, verursacht durch Sensorlimitierungen.
• Typen: Gauss-, Salz-und-Pfeffer-, speckle-Rauschen.
• Filteransätze: Medianfilter, Gaussfilter, bilateraler Filter.
• Medianfilter: Gut für Salz-und-Pfeffer-Rauschen, nicht-linear.
• Gaussfilter: Weichzeichnung unter Einbeziehung aller Pixel, linear.
• Bilateraler Filter: Kombination von Gaussfilter und Kantenaufbewahrung.
• Fourier-Analyse: Frequenzbasierte Filterung, z.B. Weichzeichnung durch Tiefpassfilter.
• Wichtigkeit von Evaluierung: PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index).

Kantendetektion und Segmentierung

Definition:

Kantendetektion identifiziert Kanten in Bildern durch Analyse der Intensitätsänderungen. Segmentierung zerlegt ein Bild in mehrere zusammenhängende Regionen.

Details:

• Kantendetektionsmethoden: Sobel, Canny, Prewitt
• Mathematische Grundlage: Gradientenberechnung, \( G = \sqrt{G_x^2 + G_y^2} \)
• Segmentierungstechniken: Thresholding, Region Growing, Clustering
• Segmentierungsalgorithmen: K-Means, Graph-Cut, Watershed
• Kantenerhaltung wichtig bei Segmentierung

Stereo-Vision und Tiefenschätzung

Definition:

Stereo-Vision nutzt zwei leicht versetzte Kameras, um Tiefeninformationen aus Bildern zu extrahieren.

Details:

• Zwei Kameras in bekannter Entfernung zueinander
• Disparität: Differenz der Positionen eines Objekts in den beiden Bildansichten
• Triangulation: Methode zur Berechnung der Tiefeninformation aus der Disparität
• Fokussierung auf Epipolar-Geometrie
• Grundformel zur Tiefenberechnung: \( z = \frac{b f}{d} \), wobei b der Basisabstand, f die Brennweite und d die Disparität ist

High Dynamic Range (HDR) Imaging

Definition:

Technik zur Aufnahme und Verarbeitung von Bildern mit erweitertem Helligkeitsumfang.

Details:

• Erzeugt durch Kombination mehrerer Aufnahmen mit unterschiedlichen Belichtungszeiten
• Erfasst sowohl sehr dunkle als auch sehr helle Bereiche detailliert
• Häufige Verwendung in Landschafts- und Innenfotografie
• Kamera-Begrenzungen: Kann nicht alle Beleuchtungsnuancen in einer einzigen Aufnahme erfassen
• Must-have: Software zum Zusammenfügen und Bearbeiten (z.B. Adobe Photoshop, Photomatix)
• Mathematische Basis: Linearitätsannahmen der Leuchtdichten, \( L_{i}(x) = E_{i}(x) \times t_{i} \)
• Tonemapping erforderlich für die Darstellung auf herkömmlichen Displays

Rendering-Methoden

Definition:

Techniken zur Erzeugung von Bildern aus 2D- oder 3D-Modellen.

Details:

• Raytracing: Simuliert Lichtstrahlen; hohe Abbildungsqualität; rechenintensiv.
• Rasterisierung: Wandelt 3D-Modelle in 2D-Bilder um; schneller als Raytracing; benutzt in Echtzeit-Anwendungen.
• Global Illumination: Berücksichtigt indirekte Beleuchtung; steigert Realismus.
• Phong-Shading: Glättet Oberflächen; beseitigt Kantenartefakte.
• Gouraud-Shading: Berechnet Farbübergänge zwischen Ecken eines Polygons; weniger rechenintensiv als Phong.

Bildfusion und Panoramaerstellung

Definition:

Bildfusion bezieht sich auf die Kombination mehrerer Bilder zu einem einzigen Bild. Panoramaerstellung ist die Technik, um mehrere Fotos zu einem weiten Sichtfeldbild zusammenzusetzen.

Details:

• Bilder registrieren: Schlüsselmerkmale finden, z.B. mittels SIFT
• Transformationen: Homographien für perspektivische Korrektur
• Bildmosaiken erzeugen
• Feathering und Multi-Band Blending zur nahtlosen Integration
• Fehlerquellen: Belichtung, Parallaxe
• Übliche Verfahren: RANSAC für robuste Schätzung der Homographien

Struktur aus Bewegung (SfM)

Definition:

Rekonstruktionsverfahren zur Berechnung der 3D-Struktur aus einer Serie von 2D-Bildern, die von verschiedenen Blickwinkeln aus aufgenommen wurden.

Details:

• Verwendung von korrespondierenden Bildpunkten zur Bestimmung relativer Kamera-Positionen und -Orientierungen
• Grundlagen: Epipolar-Geometrie, Fundamentalmatrix
• 3D-Punktwolke rekonstruiert durch Triangulation
• Iterativer Optimierungsprozess (Bundle Adjustment) zur Verfeinerung der Kamera-Parameter und 3D-Punkte
• Wichtige Gleichungen:
  • Epipolargeometrie: \textit{Fundamentalmatrix}, \textit{F}
  • Triangulation: \textit{Dreiecksberechnung}
  • Bundle Adjustment: \textit{Nichtlineare Optimierung}