Optical Music Recognition with Deep Learning

Eigenprojekt

Optische Notenerkennung (engl. Optical Music Recognition, kurz OMR) beschäftigt sich mit der automatischen Verarbeitung von geschriebenen Noten, vergleichbar mit Optischer Zeichenerkennung (OCR), allerdings deutlich komplexer. Ziel ist es, dem Computer das Notenlesen beizubringen, damit dieser Noten "verstehen" kann. Die Anwendungsgebiete von optischer Notenerkennung sind vielfältig, von Digitalisierung zur Konservierung über eine vereinfachte Möglichkeit Noten zu bearbeiten bis hin zu dem Abspielen von Musik oder der Möglichkeit Musiker zu unterstützen, indem fehlende Begleitstimmen durch den Computer gespielt werden.

OMR wird seit vielen Jahren erforscht, und obwohl es bereits kommerzielle Produkte gibt, besteht noch großer Forschungsbedarf, besonders für komplexe Szenarien, wie die Erkennung von Orchesterpartituren, handgeschriebener Skizzen oder beschädigter Manuskripte.

In diesem Projekt soll der Stand der Technik mithilfe von maschinellem Lernen, insbesondere durch Tiefenlernen verbessert werden, um die visuelle und semantische Information von Musiknoten bestmöglich zu rekonstruieren. Dadurch wird ermöglicht, ein erweiterbares und robustes OMR-System zu entwerfen, welches auch für komplizierte Anwendungsfälle ähnlich gute Ergebnisse liefert, wie der Mensch.

Personen

Projektleiter_in

Subprojektleiter_in

Institut

Forschungsschwerpunkte

  • Information and Communication Technology

Externe Partner_innen

  • Universidad de Alicante
  • Charles University
  • McGill University
  • Universität Rennes

Publikationen