Audiovisuelle Sprachsynthese

Wenn wir Menschen miteinander reden, sehen wir uns oft in die Augen. Ist unser Gegenüber jedoch akustisch schwer zu verstehen – z.B. aufgrund lauter Umgebungsgeräusche – wandert unser Blick zu den Lippen. Die sichtbaren Sprechbewegungen helfen uns, die unvollständige Information des akustischen Kanals zu ergänzen.

Dieses Buch erläutert Eigenschaften des visuellen Sprachverstehens und aktuelle Ansätze, sichtbare Sprechbewegungen synthetisch zu erzeugen. Es beschreibt detailliert die Entwicklung eines audiovisuellen Sprachsynthesizers („Talking Head“ ) und vergleicht dessen Visualisierung von Sprechbewegungen mit natürlicher Sprache hinsichtlich der Verständlichkeit.
Audiovisuelle Sprachsynthese hat eine Vielzahl potenzieller Anwendungen wie z.B. computergestütztes Sprechtraining für gehörlose oder hörgestörte Menschen, virtuelle Fernsehmoderatoren, Informationssysteme an geräuschvollen Orten oder Applikationen im Bereich Videokonferenz und Bildtelefonie.