EU Crossmodal

01.12.2005 - 30.11.2009
Research funding project
Virtuelle Welten werden ein immer wichtigeres Element unserer Gesellschaft. Im Moment werden dafür der optische und akustische Eindrücke verwendet, obwohl letztere gewöhnlich stark vernachlässigt werden. Trotz stetig schnellerer Geräte für Ton- und Bildausgabe ist es nicht möglich, die immer komplexer werdenden virtuellen Welten in ausreichender Geschwindigkeit darzustellen. Das Ziel dieses Projekts ist nun, nur diejenigen Informationen (optisch oder akustisch) auch darzustellen, die der Benutzer auch wirklich wahrnehmen kann. Um dies zu erreichen, werden wir sogennante ¿cross-modale¿ Effekte ausnutzen, das heißt den gegenseitigen Einfluß von Ton und Bild auf die Wahrnehmung. So kann man z.B. aufgrund eines starken (hellen oder bewegten) visuellen Eindrucks in einem bestimmten Bildbereich die Anzahl der simulierten Umgebungsgeräusche verringern. Umgekehrt kann man bei einem starken akustischen Eindruck (Knall oder gut lokalisierbare Stimme) das Bild am Ursprung dieses Eindrucks genauer berechnen als anderswo. Am Anfang des Projekts steht eine Serie von Experimenten, um die genauen Einflüsse der cross-modalen Effekte zu untersuchen. Daraufhin wird ein sogenannter ¿Cross-Modaler Manager¿ entwickelt, um diese Effekte passiv und auch aktiv (z.B. um die Aufmerksamkeit des Benutzers an einen bestimmten Punkt zu lenken) zu nutzen. Die gewonnenen Erkenntnisse werden schließlich experimentell in geeigneten Versuchsaufbauten überprüft.

People

Project leader

Project personnel

Institute

Förderungmittel

  • European Commission (EU) 6.RP: IST - Technologien der Informationsgesellschaft 6.Rahmenprogramm für Forschung Europäische Kommission - Rahmenprogamme Europäische Kommission

Research focus

  • Media Informatics and Visual Computing: 100%

Keywords

GermanEnglish
real-time renderingreal-time rendering
cross-model renderingcross-model rendering
perceptionperception
audio rendering audio rendering

External partner

  • CNR
  • IRCAM
  • University of Bristol
  • Centre National de la Recherche Scientifique
  • Friedrich-Alexander-Universität Erlangen-Nürnberg
  • INRIA

Publications