Nadja Schömig, Katharina Wiedemann, Ruth Julier, Alexandra Neukum, André Wiggerich, Heike Hoffmann

• Der Bericht stellt zwei standardisierte methodische Ansätze zur Bewertung der Effizienz und Sicherheit der Mensch-Maschine-Interaktion (MMI) bei der Nutzung von teilautomatisierten Fahrfunktionen vor. Dazu wurden Prüfkriterien definiert, welche die Erfüllung der dazu notwendigen Anforderungen an die Vermittlung eines angemessenen Systemwissens, eines adäquaten System- und Situationsbewusstseins, einer wenig beanspruchenden Systembedienung und einer sicheren Fahrerreaktion an Systemgrenzen erfassen sollen. Mittels einer Expertenbewertung als erste Methode wird geprüft, ob die Mensch-Maschine-Schnittstelle (MMS, d. h. die Anzeigen, Systemausgaben und die Bedienelemente) die Mindestanforderungen bezüglich Wahrnehmbarkeit und Verständlichkeit von Systemzuständen erfüllt. Der Fokus liegt dabei auf visuellen und akustischen Systemausgaben. Zusätzlich werden Aspekte der Vermittlung eines angemessenen Systemverständnisses über das Benutzerhandbuch sowie der Systembedienung bewertet. Zur Überprüfung dieser Aspekte wurde eine Checkliste mit insgesamt 14 Anforderungen entwickelt. Das Verfahren kann auf Teststrecken oder im Realverkehr angewendet werden. Dazu wird ein Set an Use Cases durchfahren, anhand derer die Erfüllung der einzelnen Items abgeprüft wird. Die Checkliste wurde im Rahmen von zwei Realfahrstudien und einer Fahrsimulatorstudie erprobt und weiterentwickelt. Dabei stand die Überprüfung der Validität (d. h. kann die Checkliste unterschiedlich gute Mensch-Maschine-Interaktionskonzepte voneinander unterscheiden) sowie der Reliabilität (d. h. inwieweit kommen unterschiedliche Rater bei der Bewertung eines Systems auf vergleichbare Ergebnisse) im Vordergrund. Als zweite Methode wurde ein standardisiertes, szenarienbasiertes Beobachtungs- und Befragungsinstrument zur Bewertung der Systeminterak¬tion entwickelt. Als Bewertungskriterien werden Probleme bei der Systembedienung, im Fahrverhalten sowie Einschränkungen des Überwachungsverhaltens erfasst, die in ein übergeordnetes Versuchs¬leiterrating pro Use Case münden. Darüber hinaus werden Aspekte des Systemverständnisses über eine Befragung des Fahrers zu einzelnen MMS-Anzeigen und Systemreaktionen erfasst. Diese Be-wertungskategorien sind in anschaulicher Form in einer Tablet-Anwendung, der sog. S.A.D.E.-App (Standardized Application for Automated Driving Evaluation), umgesetzt. Die Methode wurde in zwei Simulatorstudien und während einer Fahrt im Realverkehr mit einem Seriensystem erprobt und validiert. Für eine umfassende, standardisierte Bewertung der Mensch-Maschine-Interaktion beim teilautomatisierten Fahren wird empfohlen, beide Methoden in Kombination zu verwenden. Das Verfahren kann um zusätzliche Methodenbausteine zur Erfassung der langfristigen Entwicklung von Systemvertrauen und -akzeptanz sowie Verhaltensanpassungen erweitert werden.
• The report presents two standardized method logical approaches for evaluating the efficiency and safety of human-machine interaction in the use of partially automated driving functions. For this purpose, test criteria were defined to assess the fulfilment of the necessary requirements for conveying adequate system knowledge, adequate system and situation awareness, easy system operation and safe driver reaction at system boundaries. As a first method, an expert evaluation is used to check whether the human-machine interface (HMI, i.e. displays, system outputs and operating elements) meets the minimum requirements regarding the perceptibility and comprehensibility of system states. The focus is on visual and acoustic system outputs. In addition, aspects of conveying an appropriate understanding of the system via the user manual and system operation are evaluated. A checklist with a total of 14 requirements was developed to check these aspects. The procedure can be applied in a driving simulator, on test tracks or in real traffic. For this purpose, a set of use cases is experienced, on the basis of which the fulfilment of the individual items is checked. The checklist was tested and further developed in two real-life driving studies and one driving simulator study. The focus was on evaluating the validity (i.e. can the checklist distinguish between human-machine interaction concepts of different quality?) and the reliability (i.e. to what extent do different experts arrive at comparable results when evaluating a system?) As a second method, a standardized, scenario-based observation and survey tool for the evaluation of system interaction in the context of user studies was developed. As evaluation criteria, problems with system operation, driving behaviour and inadequacy of the monitoring behaviour are recorded, which lead to a superordinate examiner rating per use case. In addition, aspects of system understanding are recorded by questioning the driver about HMI-indicators and system reactions. These evaluation categories are implemented in a tablet application, the so-called S.A.D.E.-App (Standardized Application for Automated Driving Evaluation). The method was tested and validated in two simulator studies and under real traffic conditions with a series production vehicle. For a comprehensive, standardized evaluation of the human-machine interaction during partially automated driving, it is recommended to use both methods in combination. The procedure can be extended by additional methods to evaluate the long-term development of system trust and acceptance as well as behavioural adaptations.