Quizmaster App

 (Mit der Quizmaster App wurden Pepper und Yuki (d.h. Exemplare des Robotermodells Pepper) eingesetzt. Das Ziel der App ist, die Studierenden mithilfe eines Quizzes – komplett gesteuert über den Roboter – auf potentielle Prüfungsfragen vorzubereiten und gleichzeitig dem Lehrenden Freiräume zu schaffen, sich während dieser simulierten Prüfungssituation den Studierenden als Hilfe anzubieten.

Hier gibt es ein kurzes Video zur Quizmaster App (ältere Version) wie sie unser Roboter mit einem oder ein paar wenigen Studierenden durchführen könnte. (Für  größere Gruppen würde das Quiz ohne Eingabe durchgeführt und auch auf eine große Leinwand projiziert.)

Beschreibung der App

Wie die Fragen (Fragen + Antworten + Erklärungen) durchgearbeitet werden, hängt davon ab, ob das Quiz manuell oder automatisch eingestellt wird:

• Manuell: Benutzer muss nächste Frage bzw. Lösung anklicken
• Automatisch: Roboter führt das gesamte Quiz durch. Nach jeder Frage bzw. Lösung wird den Studierenden kurz Zeit gegeben, bevor es weiter geht (ca. 10 Sekunden).

Im Quiz werden die Fragen nacheinander durchgearbeitet. 

Die Fragen werden dabei sprachlich und textuell vom Roboter vorgetragen, während oben rechts auf dem Tablet ein Timer läuft. Nach einer vorab festgelegten Zeit (Parameter bei Quizeinstellung) gibt es eine sprachliche Zwischenwarnung vom Roboter, dass nur noch X Sekunden übrig sind.

Wenn alle Fragen durchlaufen sind, können die Lösungen erfragt werden. Die Lösungen werden sowohl gesprochen, als auch auf dem Tablet angezeigt, und enthalten noch keine Erklärungen der Lösung. Erklärungen kommen automatisch (gesprochen und auf Tablet). Sollte nicht genug Platz auf dem Tablet sein, wird gescrollt.

Über einen Sprachbefehl oder eine Tableteingabe („Exit Program“) wird die Quiz-App beendet. Der Roboter bedankt sich für die Teilnahme am Quiz - „I really enjoyed our quiz together!“ – und zeigt wieder das Interface des App-Launchers an. Von dort aus kann man bei Bedarf den Roboter herunterfahren oder in den Sleep-Modus versetzen.

Semantisches Skript

Programmkomponenten

Einsatz und Evaluation

In beiden Kursen wurde die Quizmaster App mehrmals eingesetzt und die Reaktion der Studierenden qualitativ evaluiert.

Für die Evaluation wurde auf zweierlei Form der Datensammlung zurückgegriffen: Zum einen wurde der Einsatz der Quizmaster App persönlich von dem Teammitglied beobachtet, das zuständig ist für die Evaluation, und darüber hinaus wurden Fragebögen ausgeteilt, die mit teils geschlossenen, teils offenen Fragen die Meinung der Studierenden zum Einsatz des Roboters abfragen.

Im Anschluss an die Durchführung des Robotereinsatzes wurden die Daten ausgewertet und zusammengefasst. Insgesamt wurde die Quizmaster-App bisher viermal eingesetzt und evaluiert.

1. Einsatz

Am 09.11.2017 wurde die App zum ersten Mal eingesetzt, mit 4 Studierenden des Kurses History of English und Pepper (Robotermodell „Pepper“)

• 4 Teilnehmer
• 3m, 1w
• Lehramt Englisch
• Altersdurchschnitt  24

Da dieser Kurs im FLOCK-Format (Flexibler On-Campus-Kurs) unterrichtet wird, sind die Studierenden in verschiedene Lernrhythmen unterteilt und gruppieren sich dementsprechend auch in der Präsenzphase im Seminarraum. Die 4 Studierenden waren allesamt 3-Tage-Rhythmus Teilnehmer (eine neue Online Session alle 3 Tage). Sie saßen ganz vorne im Raum, in der ersten Reihe, und hatten Pepper direkt vor sich stehen. Über Sprachbefehle und Tabletbedienung – dazu wurde auch ein Stift bereitgestellt, da die Tabletreaktion auf die Finger manchmal unzuverlässig ist – konnten die Studierenden selbst ein Quiz gestalten, wofür sie erst die Rahmenbedingungen/Settings auswählen mussten, z.B. den Themenbereich, die Art der Fragen, die Anzahl der Fragen, die Bearbeitungszeit für die Fragen etc. und dann das Quiz selbst starten konnten. Daraufhin hat Pepper die Quizfragen vorgelesen und parallel auf seinem Tablet angezeigt.

Die verbleibende Zeit für die Bearbeitung der Frage wurde ebenfalls gut sichtbar auf dem Tablet eingeblendet. Nach 60 Sekunden hat Pepper sich kurz zu Wort gemeldet und auf die noch verbleibende Zeit hingewiesen. Ganz im Sinne einer Probeklausur wurden erst alle Fragen nacheinander angezeigt und bearbeitet, bevor am Ende die Lösungen verraten, d.h. auf dem Tablet angezeigt wurden.

Abgesehen vom leichten Problem mit der Reaktionszeit des Tablets – an einem Punkt hat das Projektteam-Mitglied, das den Einsatz beobachtet hat, eingreifen und einem der Studierenden kurzzeitig den Tabletstift wegnehmen müssen, da er zu energisch auf das Tablet drückte – verlief die Vorbereitung des Quizzes recht unproblematisch. Auch das Quiz selbst lief glatt, die Studierenden haben untereinander über die Antworten diskutiert und dann gemeinsam die Lösung eingegeben. Diese Interaktion dauerte ca. 15 Minuten, in denen die Studierenden 2 Quizzes bearbeiteten. Anschließend wurde ein Evaluationsbogen für diesen Robotereinsatz ausgefüllt.

Evaluation 1. Versuch

Der erste Versuch, Pepper als einen Quizmaster mit einer Kleingruppe an Studierenden zu benutzen, hat sich als durchwachsen herausgestellt. Die Studierenden fanden, dass Pepper schlecht zu hören war, einer der angegebenen Gründe war, dass es insgesamt zu laut war. Das könnte daran liegen, dass der Robotereinsatz mit den 4 Studierenden stattfand, während die restlichen Studierenden des Kurses wenige Meter entfernt ihre übliche Kursarbeit verrichtet haben, was Gespräche untereinander und Gruppenarbeit mit einschließt.

Dieser erste Versuch sah vor, dass die Studierenden Pepper selbst bedienen und sich ihre Quizzes generieren, um sie dann selbst durchzuführen und zu bearbeiten. Die Bedienung des Roboters fanden sie auf Nachfrage allerdings nicht sonderlich intuitiv oder unintuitiv. Pepper war ihnen zu langsam - die Studierenden beklagen das oftmalige Abstürzen des Roboters und erhoffen sich in der Zukunft eine „schnellere Umsetzung der Anweisungen“. Hauptkritikpunkt ist jedoch das Fehlen von ausführlichen Erklärungen der Lösungen. Die von Pepper gelieferten Lösungen waren den Studierenden nicht aufschlussreich genug.

Einen positiven Lerneffekt durch das Quiz mit Pepper konnte nach Meinung der Befragten nicht festgestellt werden. Nur einer aus 4 Befragten gab an, das Quiz habe dazu beigetragen, auf die kommende Klausur vorzubereiten. Zu fragen bleibt, ob das Ergebnis mit einem menschlichen Quizmaster genauso ausgefallen wäre. 3 der 4 Studierenden konnten sich vorstellen, erneut mit Pepper als Quizmaster zu arbeiten.

2. Einsatz

Am 23.11.2017 wurde im Rahmen des Kurses „History of English“ Pepper zum zweiten Mal als Quizmaster getestet.

Dieser Kurs wird im FLOCK-Format gehalten, also in drei Rhythmen eingeteilt. Für 7 Studierende des 5-Tages-Rhythmus wurde Pepper bereitgestellt, um klausurrelevante Fragen zu stellen.

• 7 Teilnehmer
• 1m, 6w
• Lehramt Englisch
• Altersdurchschnitt 20

Für diesen Durchlauf wurde die Tabletanzeige auch über den Beamer auf eine Leinwand geworfen, damit alle Studierenden der Quizgruppe alles gut sehen konnten. Darüber hinaus wurde die Handhabung des Roboters vereinfacht.

Der Lehrende startete das Quiz, ließ aber die Studierenden weiter mit Pepper interagieren. Deren erster Voice-Input wurde nicht verstanden. Auch weiterhin zeigten sich während des Quizzes weiterhin Probleme mit der Durchführung, was zu einem Punkt dazu führte, dass einer der Studierenden Peppers Leistung abfällig kommentierte und nachmachte. Das mehrmalige Abstürzen des Quizzes resultierte in studentischem Lachen.

Evaluation 2. Versuch

Der erste Versuch mit Pepper war durchwachsen. Zum zweiten Versuch konnten noch nicht alle Kritikpunkte der ersten Evaluation umgesetzt werden: Zwar ist die Handhabung jetzt theoretisch leichter, aber sie läuft noch nicht einwandfrei. Auch die Erläuterungen zu den Lösungen sind noch nicht implementiert. Dieser Kritikpunkt kam dann auch wieder auf von Seiten der Studierenden.

Die akustischen Probleme – auch bei diesem Einsatz empfanden die Studierenden Pepper als schlecht zu hören und die Umgebung als zu laut – deuten darauf hin, dass die Arbeitsgruppen mit Pepper in Zukunft besser in einem gesonderten Raum aufgehoben wären, damit durch die laute Umgebung nicht die Verständigung leidet, oder aber das Quiz mit dem kompletten Kurs durchgeführt werden sollte.

Als Beitrag zur Verinnerlichung des Lernstoffs und Vorbereitung auf die Klausur wurde der Robotereinsatz als Quizmaster von den Studierenden als irrelevant eingeschätzt. Die Studierenden sehen dort selbst keinen Mehrwert. Dennoch haben sich ausnahmslos alle dazu bereit erklärt, erneut mit Pepper als Quizmaster zu üben. 5 der 7 Studierenden knüpften dies allerdings an eine Bedingung – in den meisten Fällen betreffen diese Bedingungen eine zuverlässigere und flüssigere Arbeitsweise des Roboters / der App.

Auch von Seiten des Lehrenden kam konstruktive Kritik: Obwohl die Handhabung des Quizzes erleichtert wurde, sei es noch zu aufwändig, sich um den reibungslosen Ablauf des Roboters zu kümmern.

Evaluation zu Einsatz 3 + 4 folgt in Kürze.

Hindernisse und Besonderheiten

Durch den Einsatz der Roboter hat sich gezeigt, welche Hindernisse sich – über die App selbst hinausgehend – ergeben.

Der Robotereinsatz erfordert wie oben beschrieben in der Regel einen ziemlichen Aufwand. Ein alleiniger Dozent käme damit nicht zurecht. Auch bei plötzlichen Problemen mit dem Roboter, der App oder mit der anderweitig notwendigen technischen Ausstattung des Seminarraums (z.B. W-LAN-Verbindung) ist es von klarem Vorteil, einen Mitarbeiter mit Programmierkenntnissen und Robotererfahrung vor Ort zu haben. Idealerweise sollte dieser Bedarf sinken, je stabiler die entwickelten Apps funktionieren.

Die Umsetzung der gewünschten Änderungen ist nicht immer unproblematisch. Das selbstgesteuerte Durchlaufen des Quizzes, das keine Intervention der Lehrperson erfordern würde und ihr damit mehr Freiräume verschaffen würde, beispielsweise erfordert eine komplette Überarbeitung des gesamten Applikations-Codes, sodass dieser Änderungswunsch vorerst aufgeschoben werden musste.

Ein Merkmal der Roboter im Projekt H.E.A.R.T. ist, dass sie theoretisch dazu in der Lage sind, Emotionen zu erkennen und entsprechend zu reagieren. Um diese Fähigkeiten sinnvoll einzubringen, müssten noch Szenarien erdacht werden, die dann entsprechend programmiert werden. Zum jetzigen Zeitpunkt nutzen die Roboter nicht die Emotionserkennung, sondern drücken nur selbst in gewissem Maße Emotion aus: So lobt der Roboter mit freudiger Stimme, wenn eine richtige Antwort gegeben wurde, und tröstet den Quizteilnehmer bei einer falschen Antwort.

Fazit

Wie die bisherigen Evaluationen ergeben haben, sind die Studierenden generell positiv eingestellt, wenn sie auch für sich selbst – abgesehen von einen nicht zu unterschätzenden Unterhaltungsfaktor – keinen direkten Mehrwert feststellen konnten.

Der Mehrwert dieser App liegt ganz klar in der Durchführung eines Quizzes – komplett kontrolliert vom Roboter. Dadurch werden für den Lehrenden Freiräume geschaffen für dessen wichtigste Aufgabe: Studierende beim Lernen zu unterstützen.

Durch die Umfragen haben sich klare Vorstellungen darüber hinaus kristallisiert, wie die App noch optimiert werden könnte.

Disclaimer Impressum