EinloggenAutomatische Übersetzung von Gebärdensprache
Das 2012 als Spin-off an der TU München gegründete Unternehmen audEERING setzt seine Technologie zur Entwicklung einer KI-basierten, automatischen Übersetzung von Gebärdenspreche im Rahmen des neuen H2020 geförderten EU-Projekts EASIER ein.
Darüber informierte audEERING Mitte März. Ziel des Projekts ist die barrierefreie Kommunikation zwischen gehörlosen und schwerhörigen Menschen in der gesamten EU. So werden im Rahmen von EASIER Dienste entwickelt, die sowohl gebärdete als auch gesprochene Sprache übersetzen können, und zwar sowohl in Quasi-Echtzeit als auch zeitverzögert, sozusagen mit menschlicher Qualitätskontrolle. Dabei wird eine Technologie zur neuronalen maschinellen Übersetzung (NMT) angewendet, die mit einer Vielzahl von Sprachen und Kommunikationsszenarien umgehen kann. Gestartet wird das Projekt mit sieben Gebärdensprachen und sechs Lautsprachen. Mit Hilfe eines datengesteuerten (Video-)Erkennungs-Engine für Gebärdensprache und einem Gebärden-Avatar-Engine sollen so nicht bloß leicht verständliche Gebärden produziert werden, auch Informationen über affektive Ausdrücke und kohärente Prosodie wie Betonung oder Silbenlänge würden integriert.
Im Zentrum des Projekts soll die Analyse von Emotionen in der Sprache und die emotionale Simulation von synthetisierter Sprache stehen, bei der eine Sprachen-unabhängige intelligente Emotionsanalyse von audEERING sowie die Basistechnologie devAlce zum Einsatz kommen. Mit diesem System sei man in der Lage, mehr als 6.000 Charakteristika und eine Vielzahl an Emotionsklassen auch bei kürzesten Audioaufnahmen und geringen Datenbeständen zu analysieren. Zudem ist devAlce für die Implementierung auf Endgeräten wie Smartphones, Hearables und Wearables optimiert.
„Wir freuen uns, dass wir als Teil des Konsortiums EASIER die Potenziale von moderner KI und intelligenter Emotionserkennung für eine barrierefreie Kommunikation in der EU zum Einsatz bringen können. Unsere Technologie zur Analyse von Audiosignalen und Paralinguistik ist Sprachen-unabhängig und bietet damit große Potenziale für eine Kommunikation, die jede:n Bürger:in integriert“, erklärt Dagmar Schuller, Mitgründerin und CEO von audEERING.
Das Projekt EASIER richtet sich primär an die Gehörlosen-Community, Gebärdensprachdolmetscher und Content-Produzenten für Gebärdensprache.
Das Konsortium hinter dem Projekt vereint verschiedene namhafte Partner aus Bereichen wie der Maschinellen Übersetzung, Computer Vision, Computergrafik oder der Gebärdensprachlinguistik. Neben audEERING zählen dazu etwa die Universität Zürich, die Universität Hamburg, die Deutsche Forschungsgesellschaft für Künstliche Intelligenz, die CNRS und das griechische Forschungsinstitut ATHENA.
