Rainer Herpers als Visiting Professor in Kanada

Hintergrundinformationen (UNB):

Kognitive Agenten in der virtuellen Realität und in Spielumgebungen

In den meisten Virtual-Reality-Simulationen (VR) sind die dargestellten Szenarien nicht mehr statisch, sondern animiert. Aktive Entitäten in VR-Umgebungen, so genannte "Agenten", bewegen sich umher und beeinflussen den Benutzer oder interagieren mit ihm. Bisher war das simulierte Verhalten solcher Agenten skriptgesteuert. In fortgeschrittenen Anwendungen und Spielen kann das Verhalten von Skripten eine Reihe von Variationen aufweisen, die bei Bedarf durch Randomisierung vordefinierter Skripte berechnet wird. Dies ist nach wie vor der Standardansatz für das Agentendesign, der in fast allen verfügbaren Spiel- und Serious-Game-Szenarien angewendet wird.

Aktuelle Ansätze zur Erstellung solcher Agenten führen jedoch dazu, dass sie sich vorhersehbar oder unnatürlich verhalten. Damit Agenten sich realistischer verhalten können, muss das Verhalten des Agenten die Fähigkeiten und Grenzen von echten Menschen widerspiegeln. Ein bemerkenswertes Beispiel für dieses Konzept ist die Verkehrssimulation. Obwohl das Verhalten aller Verkehrsteilnehmer vorhersehbar sein und etablierten Regeln folgen sollte, gehen reale Menschen Risiken ein und es kommt daher vor, dass sie von Zeit zu Zeit gegen diese Regeln verstoßen - insbesondere wenn sie feststellen, dass die Risiken unter bestimmten Bedingungen als akzeptabel erachtet werden (und ihre Verstöße nicht geahndet werden). Solche Regelverstöße führen zu Verhaltensänderungen, die nicht randomisiert, sondern auf einer zugrunde liegenden individuellen Risikonahme-Strategie basieren.

Das Team des eingeladenen Experten Prof. Rainer Herpers entwickelte ein Framework, das es erlaubt, diese sich teilweise dynamisch ändernden Bedingungen und Randbedingungen so zu modellieren, dass kognitive Agenten in die Lage versetzt, individuelle Eigenschaften zu entwickeln, die sich sogar an zeitliche Veränderungen der Umgebung anpassen können.

Um diese Modellierung zu verifizieren und einen konkreten Anwendungskontext zu liefern, hat der eingeladene Experte vor einigen Jahren ein immersives Fahrradsimulationssystem namens FIVIS erfunden. Auf Basis dieses Forschungsprojektes entwickelte er mit seinem Team ein Framework zur Verkehrssimulation, das realistischere Verhaltensweisen in seinen Agenten gezeigt hat und damit die bekannten Defizite bestehender Ansätze (z. B. das 4-Wege-Stopp-Zeichen-Dilemma) überwinden kann.

Seine aktuelle Forschung konzentriert sich auf die virtuelle Wahrnehmung von menschenähnlichen virtuellen Agenten - der logische nächste Schritt seiner bisherigen Forschung. Fehlerhaftes oder besser suboptimales Verhalten von Menschen resultiert oftmals aus fehlenden sensorischen Informationen, z. B. fehlende visuelle Informationen durch Okklusionen oder eingeschränkte Sichtbedingungen (z. B. Nebel, Dunkelheit oder Amblyopie) oder es hat andere Gründe (Alkohol).

Außerdem wurde eine virtuelle Aufmerksamkeitsstrategie entwickelt und umgesetzt, die in das kognitive-Agenten-Framework integriert ist. Auf diese Weise ist das Framework in der Lage, suboptimales, aber realistischeres Agentenverhalten durch die Verwendung von beeinträchtigten sensorischen Informationen zu modellieren und zu berechnen.

Forschungsprojekt: EpicSave

In einem laufenden Forschungsprojekt mit dem Namen EpicSave hat sein Team damit begonnen, diese kognitiven Agentenkonzepte in professionelle Trainingsszenarien für Rettungssanitäter einzubetten und zu evaluieren. Die Trainingsszenarien sollen ungewöhnliche und seltene Vorkommnisse wie z. B. den analphylaktischen Schock umfassen. Die Ausbildung von Rettungssanitätern erfordert ein hohes Maß an Kommunikation zwischen den verschiedenen Akteuren oder Agenten unter hohem Stressniveau und einem potentiell hohen Grad an Ablenkung. In diesem Kontext ermöglichen virtuelle kognitive Agenten realistischere virtuelle, und damit wiederholbare Trainingsszenarien, die durch VR-Technologien unterstützt werden wie z. B. Head-mounted displays (unter anderem).

Während seines Aufenthaltes an der UNB wird der eingeladene Professor mit seinem Wissen das Fachwissen der Mitglieder der Fakultät für Informatik erweitern, die im Bereich der Spieltechnologie, Modellierung und Mensch-Maschine-Interaktion arbeiten. Er wird mit Dr. Scott Bateman zusammenarbeiten, der das Labor für Mensch-Computer-Interaktion innerhalb der Fakultät für Informatik eingerichtet hat. Dr. Batemans Team ist mit dem Spieledesign und der Gestaltung interaktiver Spielumgebungen für Trainings- und andere Serious-Game-Anwendungen vertraut. Darüber hinaus verfügt Dr. Bateman über einen Hintergrund in menschlicher Leistungsfähigkeit (human-performance) und Wahrnehmung, beides wichtige Gebiete für die Entwicklung neuer, realistischer Verhaltensmodelle auf der Basis der "Wahrnehmung" kognitiver Agenten.

Der Forschungsaufenthalt soll genutzt werden, um Strategien zu entwickeln, wie die Ansätze der kognitiven Agenten in serious-game-Szenarien auf allgemeinere Weise transformiert und angewendet werden können. Darüber hinaus sollen generische Evaluationsstrategien entwickelt werden, um das Potential dieser Simulationskonzepte aufzuzeigen. Neue Absolventen werden eingestellt und in die neuen Forschungsinitiativen eingebunden. Im Idealfall werden neue Dual-Degree-Masterstudierende beider Hochschulen den Forschungsaufenthalt von Prof. Herpers nutzen, und ihn begleiten.

Darüber hinaus ist die Berechnung virtueller Wahrnehmungsstrategien von kognitiven Agenten recht rechenintensiv, die zudem weiter wachsen, sobald mehrere Agenten in VR-Simulationsumgebungen integriert werden müssen. Dafür wären leistungsfähige Berechnungsansätze von Vorteil, um die Berechnung zu beschleunigen. In diesem Forschungsbereich wird ein weiteres Mitglied der UNB-Dozentengruppe mit dem eingeladenen Wissenschaftler zusammenarbeiten, der seine Expertise in GPGPU-Computing und anderen Parallelisierungstechniken einbringen wird. Dr. Kenneth Kent verfügt über umfangreiche Erfahrung im High-Performance Computing und leitet das "Centre for Advanced Studies - Atlantic". Ein kürzlich abgeschlossenes AIF-Projekt des Zentrums unter der Leitung von Dr. Kent untersuchte die Verbesserung der Performance der J9 Java Virtual Machine, IBMs Flaggschiff-Plattform für Java-Anwendungen. Dr. Kent's Forschung war mit über 100 Publikationen und etwa 18 Erfindungsmeldungen/Patenten sehr erfolgreich.

Die Heimathochschule des eingeladenen Fakultätsmitglieds (H-BRS) arbeit bereits seit vielen Jahren intensiv mit dem FCS der UNB zusammen. Zwei duale Studiengänge, ein dualer Masterstudiengang und ein Rahmenprogramm für den Austausch von Studierenden und Lehrenden wurden erfolgreich umgesetzt. Insbesondere der duale Masterstudiengang konnte in den vergangenen Jahren einen beachtlichen Erfolg vorweisen, der in zahlreichen gemeinsamen wissenschaftlichen Publikationen dokumentiert wurde. An der H-BRS ist ein neuer Masterstudiengang in Visual Computing and Games Technology in Entwicklung. Der Forschungsaufenthalt soll auch genutzt werden, um mögliche Kooperationsmöglichkeiten in diesem neuen Studiengang zu finden.