Neue Ansätze für Video Matting: Eye-tracking und Parallelisierung

01.10.2006 - 28.02.2010
Forschungsförderungsprojekt
Als Video-Matting bezeichnet man das Herauslösen eines bewegten Vordergrundobjektes aus einer Bildsequenz, indem Vordergrund¿ und Hintergrundfarbe sowie eine Opazität (Durchsichtigkeitsfaktor) für jedes Pixel der Sequenz berechnet werden. Die Extraktion von Objekten aus Videos ist eine wesentliche Operation in der Bild- und Videoverarbeitung mit einer Vielzahl von Anwendungen in der Unterhaltungsindustrie. Extrahierte Objekte können beispielsweise in eine andere Videoszene eingefügt oder auch mit künstlichen Objekten kombiniert werden. Das Matting Problem ist mathematisch unterbestimmt und kann daher im Allgemeinen nicht ohne zusätzliche Informationen gelöst werden. Um das Problem einzuschränken wurde bei frühen Ansätzen das zu extrahierende Objekt vor einem einfärbigen, meist blauen Hintergrund gefilmt. Diese Technik, welche auch als Blue Screen Matting bekannt ist, wird immer noch wirkungsvoll in der Filmindustrie eingesetzt. In vielen Fällen ist es jedoch notwendig, Objekte aus Bildern oder Videosequenzen zu extrahieren, welche unter natürlichen Bedingungen aufgenommen wurden. Algorithmen, welche Vordergrundobjekte aus einer natürlichen Szene herauslösen, basieren meist auf einer so genannten Trimap. Eine Trimap ist eine Segmentierung des Bildes die drei Bereiche ¿definitiv Vordergrund¿, ¿definitiv Hintergrund¿ und ¿Unbekannt¿. Vordergrund- und Hintergrundfarben sowie die Opazitäten müssen bei diesem Ansatz nur für Pixel in den als unbekannt klassifizierten Regionen berechnet werden. Das händische Erstellen einer hochwertigen Trimap ist jedoch in vielen Fällen ein mühsamer und zeitaufwändiger Prozess. Dies gilt insbesondere für Vordergrundobjekte mit einer Vielzahl von Löchern und semitransparenten Regionen. Unlängst wurde eine iterative Matting Methode präsentiert, welche ohne Trimap auskommt. Stattdessen stellt der Benutzer eine erstaunlich kleine Anzahl von Vorder- und Hintergrundsamples zur Verfügung, welche ausreichen, um beeindruckende Resultate für ein breites Spektrum an Bildern zu generieren. Der Verzicht auf eine Trimap bedingt allerdings die Verwendung eines berechnungsintensiven Algorithmus, der oftmals nur ein lokales Minimum findet. Die zuvor genannten Entwicklungen im Bereich von Matting führen zu qualitativ immer besseren Resultaten. Dennoch gibt es weiterhin eine Vielzahl an Problemen zu bewältigen. Insbesondere stellt die Extraktion von Objekten aus Videos, im Gegensatz zur Extraktion von Objekten aus Einzelbildern, eine große Herausforderung dar. Selbst modernste Video-Matting Systeme benötigen weitaus mehr Interaktion mit dem Benutzer, als dies bei der Extraktion von Objekten aus Bildern der Fall ist. Zudem schränkt die lange Berechnungsdauer der verwendeten Algorithmen die Nutzbarkeit dieser Systeme ein. In diesem Projekt wollen wir die aktuellen Probleme im Bereich des Video-Matting in Angriff nehmen und die Entwicklung neuer und effizienter Systeme zur hochqualitativen Extraktion von Objekten aus natürlichen Videosequenzen vorantreiben. Der Einsatz von Eye-tracking und parallelen Algorithmen soll die Entwicklung von interaktiven Video-Matting Ansätzen ermöglichen, welche auf einer iterativen Optimierung der Resultate, durch abwechselnde Benutzer-Interaktion und effiziente Berechnung von Zwischenresultaten, basieren.

Personen

Projektleiter_in

Projektmitarbeiter_innen

Institut

Förderungsmittel

  • Vereine, Stiftungen, Preise Fördergeber Typ Vereine, Stiftungen, Preise Spezifisches Programm MICROSOFT RESEARCH LIMITED

Forschungsschwerpunkte

  • Information and Communication Technology

Schlagwörter

DeutschEnglisch
Videovideo
Videoobjektsegmentierungvideo object segmentation
Eye-trackingeye-tracking
Parallelisierungparallelization

Publikationen