Fortgeschrittene Themen in AI und Robotik

Menschen nutzen nonverbale Verhaltensweisen, um ihre Absichten, Emotionen und Haltungen in Mensch-Mensch-Interaktionen zu signalisieren. 
Embodied Conversational Agents (ECA), computergenerierte, menschenähnliche Charaktere, benötigen daher ebenfalls diese Fähigkeit, um die Interaktion angenehm und effizient zu gestalten. Ein wesentlicher Bestandteil der nonverbalen Kommunikation ist die Gestik. Die Aufgabe der Generierung von Handgesten wurde 
wurde anfangs hauptsächlich mit regelbasierten Methoden angegangen, aber die aktuellen State-of-the-Art-Methoden sind datengesteuert, und wir setzen diese Forschungsrichtung fort.
In diesem Vortrag wird Taras zwei Arbeiten vorstellen, die sich mit den beiden Komponenten der Aufgabe befassen:

Erzeugung und Bewertung von Co-Speech-Gesten für verkörperte Gesprächsagenten:

1) Speech2Properties2Gestures, ein neues Framework für die Gestengenerierung, das datengesteuerte Ansätze zur semantisch reichhaltigere Gesten zu erzeugen. 
2) GENEA Challenge 2022, der zweite Wettbewerb zur Gestengenerierung, der als Benchmark für die datengesteuerte automatischer Gestengenerierung in Co-Speech. 

Kurzer Lebenslauf

Der Wissenschaftler Dr. Taras Kucherenko forscht derzeit bei Electronic Arts in Schweden. Vor kurzem schloss er seine Promotion an der KTH, dem Königlichen Institut für Technologie in Stockholm ab. Seine Forschung befasst sich mit maschinellen Lernmodellen für nonverbales Verhalten und der Generierung von nonverbalem Verhalten, wie Handgesten und Gesichtsausdrücke. Für seine Forschungsarbeiten erhielt er den ICMI 2020 Best Paper Award und IVA 2020 Best Paper Award. Taras war auch der Hauptorganisator der GENEA Workshop (Generation and Evaluation 
von nonverbalem Verhalten für verkörperte Agenten) in den Jahren 2020, 2021, 2022 und 2023.

Relevante Literatur zu diesem Vortrag

• Simba Nyatsanga, Taras Kucherenko, Chaitanya Ahuja, Gustav Eje Henter, and Michael Neff. (2023). A Comprehensive Review of Data-Driven Co-Speech Gesture Generation. In Computer Graphics Forum (EuroGraphics 2023)
• Taras Kucherenko, Rajmund Nagy, Michael Neff, Hedvig Kjellström, and Gustav Eje Henter. Multimodal analysis of the predictability of hand-gesture properties. 21st International Conference on Autonomous Agents and Multiagent Systems (AAMAS). 2022
• Youngwoo Yoon*, Pieter Wolfert*, Taras Kucherenko*, Carla Viegas, Teodor Nikolov, Mihail Tsakov, and Gustav Eje Henter. 2022. The GENEA Challenge 2022: A large evaluation of data-driven co-speech gesture generation. In Proceedings of the ACM International Conference on Multimodal Interaction (ICMI ’22). ACM.

Der Vortrag findet in englischer Sprache statt und richtet sich an die Studierenden und Mitarbeitenden der H-BRS. Interessierte sind herzlich eingeladen.