Music Processing Analysis - Lecture and Exercise - Cheatsheet

Grundlagen der Fourier-Transformation und Filter

Definition:

Transformation von Zeit- in Frequenz-Domäne für Signalverarbeitung; Filter modifizieren bestimmte Frequenzanteile.

Details:

• Fourier-Transformation: \(\mathcal{F}\{f(t)\} = F(\omega) = \int_{-\infty}^{\infty} f(t) e^{-j\omega t} dt\)
• Inverse Fourier-Transformation: \(\mathcal{F}^{-1}\{F(\omega)\} = f(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} F(\omega) e^{j\omega t} d\omega\)
• Diskrete Fourier-Transformation (DFT) für digitale Signale
• Typen von Filtern: Tiefpass, Hochpass, Bandpass, Bandsperre
• Filtercharakteristik: Übertragungsfunktion (\(H(\omega)\))
• Faltungstheorem: \(y(t) = f(t) * h(t)\)

Diskrete Fourier-Transformation (DFT) und schnelle Fourier-Transformation (FFT)

Definition:

DFT wandelt ein zeitdiskretes Signal in seine Frequenzkomponenten um. FFT ist ein effizienter Algorithmus zur Berechnung der DFT.

Details:

• DFT: \(X[k] = \sum_{n=0}^{N-1} x[n] e^{-i \frac{2\pi}{N} kn}\)
• FFT: DFT-Algorithmus mit verringerter Rechenzeit (\(O(N \log N)\))
• Wird in der Musikerkennung und -analyse häufig verwendet
• FFT-basierte Algorithmen: Cooley-Tukey, Radix-2, und mehr
• Reduzierung von Aliasing und Spektralleckage durch Fensterfunktionen

Notenerkennung und -transkription

Definition:

Automatische Erkennung und Umwandlung von gespielten Musiknoten in eine schriftliche Form.

Details:

• Notenerkennung: Algorithmus extrahiert Musiknoten aus einer Audioaufnahme.
• - Methode: Fourier-Transformation zur Frequenzanalyse
• - Konzept: Tonhöhe, Dauer und Lautstärke
• Notentranskription: Umsetzung der erkannten Noten in eine lesbare Notation.
• - Schritte: Identifikation von Tonhöhen-Events, Zeitsegmentierung, Notenaggregation
• - Herausforderung: Polyphonie, Hintergräusche, Instrumentencharakteristik
• Wichtige Algorithmen und Verfahren: Hidden-Markov-Modelle, maschinelles Lernen

Rhythmus- und Tempoerkennung

Definition:

Analyse von Musiksignalen zur Bestimmung des Tempos und der Rhythmen. Verwendung in Musiksynchronisation, automatischer Transkription und Musikklassifikation.

Details:

• Tempobestimmung: Frequenzanalyse zur Detektion von Beats pro Minute (BPM)
• Rhythmuserkennung: Identifikation von rhythmischen Mustern anhand von Timing und Akzentierung
• Algorithmen: Fourier-Transformation, Autokorrelation
• Musikalische Metadaten: Nützlich für Datenbankabfragen und Empfehlungssysteme
• Software: LibROSA, Essentia

Extraktion akustischer Merkmale

Definition:

Prozess der Gewinnung bedeutender Merkmale aus Audiosignalen zur weiteren Verarbeitung und Analyse.

Details:

• Frequenzmerkmale: \textit{Spektrale Merkmale} wie z.B. Mel-Frequenz Cepstrum-Koeffizienten (MFCC) zur Darstellung der kurzzeitigen Leistungsspektren.
• Zeitraummerkmale: \textit{Hüllkurve}, \textit{Null-Crossing Rate} - relevante Informationen über Amplitudenverläufe.
• Weitere Merkmale: \textit{Chromagramme}, \textit{Tonhöhenverlauf}, \textit{RMS-Energie}.
• Anwendungen in \textbf{Klangklassifikation}, \textbf{Musikinformation-Retrieval} (MIR), \textbf{Spracherkennung}.

Neurale Netzwerke und tiefe Lernmodelle

Definition:

Neurale Netzwerke: Modelle aus verbundenen Knoten (Neuronen) inspiriert vom menschlichen Gehirn. Tiefe Lernmodelle (Deep Learning): Mehrschichtige neuronale Netze für komplexe Datenverarbeitung und Mustererkennung.

Details:

• Perzeptron: Grundlegende Neuroneneinheit
• Vorwärtspropagation: Berechnung des Outputs durch Schichten hindurch
• Aktivierungsfunktionen: \textbf{sigmoid}, \textbf{tanh}, \textbf{Relu}
• Fehlerfunktion: \textbf{MSE} (Mittlerer quadratischer Fehler), \textbf{Cross-Entropy}
• Gradientenabstieg: Optimierungsalgorithmus zur Minimierung der Fehlerfunktion
• Backpropagation: Anpassung der Gewichte durch Rückpropagation des Fehlers
• Hyperparameter: Lernrate, Anzahl der Epochen, Batch-Größe
• Überanpassung verhindern: Regularisierung, Dropout
• Anwendungen in Musikverarbeitung: Genre-Klassifizierung, Stimmungsanalyse, Instrumentenerkennung

Grundlagen des MIDI-Protokolls

Definition:

MIDI (Musical Instrument Digital Interface): Standard zur Kommunikation zwischen digitalen Musikinstrumenten und Computern.

Details:

• Datenformat: Überträgt Ereignisse (z.B.: Note on/off, Control Change).
• MIDI-Datenpaket: Statusbyte gefolgt von bis zu zwei Datenbytes.
• Statusbytes: Kennzeichnen Nachrichtentyp (z.B.: 0x80 für Note off).
• Kanäle: 16 MIDI-Kanäle (1-16).
• Übertragung: MIDI-Kabel oder USB.
• Auflösung: 7-Bit-Wert (0-127) für Datenbytes.

Implementierung von DSP-Algorithmen in Software

Definition:

Implementierung von standardisierten Verfahren zur Signalverarbeitung auf Softwarebasis unter Berücksichtigung von Echtzeit-Anforderungen und Effizienz.

Details:

• DSP = Digitale Signalverarbeitung
• Verwendung von Mathematischen Operationen wie DFT, IDFT, FFT
• Echtzeit-Anforderungen bedeutend für Audioverarbeitung
• Effiziente Algorithmen: z.B. FFT beschleunigt DFT-Berechnung
• Fokus auf niedrigere Latenz und Speicherverbrauch