Obwohl inhaltsbasierte Bild- und Videoanalyse in den letzten Jahren zur erfolgreichen Lösung verschiedener realer Probleme geführt haben, ist die derzeitige Leistungsfähigkeit dieser Ansätze für das Wiederfinden von Videos noch deutlich schlechter als jene von rein textbasierten Ansätzen, welche auf händisch generierten Annotationen zurückgreifen.

IV-ART hat das Ziel diesen Stand der Technik für bestimmte Videodomänen zu verbessern. Dafür soll an einem neuartigen Videoannotations-Ansatz gearbeitet werden, bei welchem zunächst jene Objekte, die zur Beschreibung des Videos von Interesse sind, automatisch detektiert werden um in einem zweiten Schritt möglichst einfach und schnell von einem Benutzer annotiert werden zu können. Das Leistungspotential dieses Ansatzes soll durch einen Prototyp verdeutlicht werden. Vom technischen Standpunkt aus soll die Objektdetektion mithilfe von lokalen Bilddeskriptoren realisiert werden. Lokale Deskriptoren sind bereits ausführlich erforscht und es ist zu erwarten, dass sie dafür geeignet sind Korrespondenzen zwischen verschiedenen Bildern eines Videos zu finden, die zur Detektion von mehrmals vorkommenden Objekten verwendet werden können. Um die Leistung dieser Ausgangsmethode zu verbessern, ist unsere Forschung auf folgende zwei Punkte fokussiert:

1. Die Aggregation von lokalen Deskriptoren zu semantisch höherwertigen Deskriptoren für die Beschreibung einzelner Objekte

2. Die Verwendung domänspezifischen Wissens mit Fokusierung auf die Objekte und deren Relationen zueinander

Um dies zu erreichen, sollen verschiedene Techniken zum Modellieren, Sammeln und zur Verwendung der visuellen Erscheinung von Objekten eines Videos und deren Relationen zueinander in speziellen Videodomänen untersucht werden. Diese Grundlagenforschung fügt sich gut in das Einsatzgebiet der Videoannotation und dem Wiederfinden von Videos ein, da im Rahmen von IV-ART zusätzlich domänspezifisches Wissen in einen halbautomatischen Videoannotationsprozess integriert werden soll.