Sonntag, 8.9.2019 9:00 – 17:00
Potentiell interaktive (Semi-)Public Displays finden heute eine weite Verbreitung an öffentlichen und halböffentlichen Orten. Bei der wissenschaftlichen Beschäftigung mit dieser Anwendungsklasse spielen Langzeitstudien eine immer wichtigere Rolle. Sowohl die Durchführung solcher Studien als auch die angemessene Berücksichtigung von beim Langzeiteinsatz in realen Nutzungskontexten auftretenden Effekten stellt dabei eine große Herausforderung dar.
In diesem Workshop wollen wir Erfahrungen und Best Practices zu diesem Themenkomplex sammeln und gemeinsam Empfehlungen und Hilfestellungen für die Durchführung von Langzeitstudien erarbeiten.
Interessierte Teilnehmer/innen sind eingeladen, vor dem Workshop Erfahrungsberichte einzureichen – siehe hierzu auch weiter unten. Einreichung von Beiträgen bis zum 15.06.2019 über das Konferenzmanagementsystem unter https://www.conftool.de/muc2019/. Die Veröffentlichung der Erfahrungsberichte erfolgt im Workshopband der Tagung. Eine Anmeldung zum Workshop selbst erfolgt im Rahmen der Konferenzanmeldung (siehe auch hierzu. https://www.conftool.de/muc2019/).
Motivation
(Semi-)Public Displays finden heute eine weite Verbreitung an öffentlichen und halböffentlichen Orten. Durch ihre Größe erlauben die Bildschirme mehreren Benutzern gleichzeitig mit demselben Bildschirm zu interagieren (Coutrix et al., 2011; Peltonen et al., 2008). Durch die Möglichkeit einer Interaktion über Touch oder Gesten kann dabei ein Explorieren und Vertiefen der angezeigten Informationen erlaubt werden.
Neben klassischen Fragen der Mensch-Computer-Interaktion, wie die Eignung bestimmter Eingabe- oder Ausgabevarianten für bestimmte Zwecke, welche gut in Laboruntersuchungen behandelt werden können, spielt in der Forschung zu Semi-Public Displays zunehmend die Erprobung in langlaufenden Realeinsätzen eine Rolle. Fragen, die nur mit langfristigen Deployment-Studien angegangen werden können, sind unter anderem das Verhalten von Benutzern (z. B. Laufwege, Bewegen durch verschiedene Interaktionsphasen), User Experience, Akzeptanz (z. B. hinsichtlich Schutz der Privatsphäre oder Datenschutz) sowie der soziale Einfluss neuer Technologien (Alt, Schneegaß, Schmidt, Müller, & Memarovic, 2012). Bei diesen Fragen spielt die ökologische Validität der erhobenen Daten eine wichtige Rolle, also ob diese einem realistischen Kontext entstammen.
Deployment-basierte Studien beschreiben Forschungsansätze, bei welchen Artefakte in den Alltag des Benutzers derart eingebettet werden, dass der Forschungskontext nicht erkennbar ist. Benutzer verwenden derart integrierte Artefakte aus freier Entscheidung, was zu potentiell hochvaliden Daten führt. In den meisten Fällen kommen als Datenerhebungsmethoden Logging oder Beobachtungen zum Einsatz. Auch Interviews ermöglichen es im direkten Anschluss an die Interaktion Feedback zu sammeln.
Eine große Herausforderung bei Deployment-basierter Forschung stellt das Deployment an sich dar (Alt & Vehns, 2016). Im Gegensatz zu kontrollierten Experimenten sind vollständig funktionsfähige und robuste Systeme notwendig, welche über einen längeren Zeitraum ohne Beobachtung laufen. Während über App-Stores einfach eine große Anzahl an Benutzern erreicht werden kann, stellt sich das Finden eines geeigneten Standorts für ein interaktives Display deutlich schwieriger dar. Häufig werden Deployments in Umgebungen durchgeführt, welche für Forscher einfach zugänglich sind, z. B. Universitätsgebäude wie Mensen, Cafeterien oder Institutsgebäude. Solche forschungsbasierte Deployments zeichnen sich in der Regel durch große Freiheit hinsichtlich der Forschungsfragen und durchgeführten Erhebungen aus. Modifikationen während des Deployments sind oft problemlos möglich. Zeitgleich sind aber Forscher selbst für die Bereitstellung und Wartung der Infrastruktur verantwortlich und Benutzergruppen sind in vielen Fällen homogen. Demgegenüber stehen Fälle, in denen Forscher Zugriff auf nicht allgemein zugängliche Infrastrukturen bekommen (Flughäfen, Bahnhöfe etc.) – sogenannte opportunistische Deployments. Diese ermöglichen es, spezielle Benutzungskontexte und heterogene Benutzergruppen zu erforschen. Häufig kann in solchen Fällen auch vorhandene Infrastruktur (z. B. Displaynetzwerke) genutzt werden. Jedoch steht hinter diesen Deployments in vielen Fällen ein kommerzieller Zweck, so dass eine Vielzahl an Interessensvertretern in solche Projekte involviert ist. Erschwerend kommt häufig hinzu, dass Modifikationen nur mit erheblichem Aufwand möglich sind, beispielsweise wenn das Deployment im Sicherheitsbereich eines Flughafens durchgeführt wird.
In der Praxis stellt sich Forschern regelmäßig die Herausforderung, zwischen einem langfristigen Betrieb eines Systems, den dazu notwendigen Forschungsaktivitäten und dem daraus resultierenden Erkenntnisgewinn abzuwägen. Hierzu existieren noch eher wenige Erfahrungen und Konzepte in der HCI-Community. Grundsätzlich wird dieser Prozess noch dadurch erschwert, dass bislang kaum methodische Ansätze existieren, ein solches Vorhaben ganzheitlich zu begleiten. Diesen Umständen wollen wir mit diesem Workshop Rechnung tragen.
Dazu sollen sowohl allgemeine Best Practices bei der Durchführung solcher Deployments gesammelt werden, als auch Erfahrungen zu möglichen Evaluationsfragen und zu möglichen technischen Lösungen zur Unterstützung der Evaluation – z. B. durch Erfassung passiver Nutzung der Bildschirme oder das Pflegen von Forschungstagebüchern – ausgetauscht werden.
Gemeinsam ist den verschiedenen Varianten von Deployment-basierter Forschung auch, dass beim Deployment und Langzeiteinsatz Effekte auftreten, die mitunter näher untersucht und bei der Evaluation berücksichtigt werden müssen. Beispiele dafür sind der Novelty Effect (Koch, von Luck, Schwarzer, & Draheim, 2018), Display Blindness und Interaction Blindness (Houben & Weichel, 2013; Memarovic, Clinch, & Alt, 2015) oder Display Avoidance (Kukka, Oja, & Kostakos, 2013) – aber auch soziale Effekte wie der Honeypot-Effekt (Brignull & Rogers, 2003) oder Effekte, die auf dem Zusammenspiel von Evaluation und Einsatz beruhen wie dem Howthorne-Effekt (Landsberger, 1958).
Auch zu diesen Effekten existieren noch eher weniger Erfahrungen und Strategien, wie diese in Langzeituntersuchungen ganzheitlich in den Forschungsprozess mit eingebunden werden können. Weiterhin ist es möglich, dass die Liste der zu berücksichtigenden Effekte noch nicht vollständig ist. Auch hier wollen wir mit diesem Workshop einen Beitrag leisten. Einerseits sollen Erfahrungen und Best Practices zu den Effekten und dem Umgang damit gesammelt werden und andererseits sollen daraus resultierende Empfehlungen abgeleitet werden.
Ziele des Workshops
In diesem Workshop möchten wir Erfahrungen (Lessons Learned) von Forschungsgruppen mit Langzeitevaluationen und den genannten Effekten sammeln – und gemeinsam eine Empfehlung entwickeln, wie zukünftig aussagekräftige Evaluationen von solchen Installationen durchgeführt werden können und sollen.
Ergebnis soll ein gemeinsamer Journal-Artikel mit den wichtigsten Learnings zu den genannten Effekten und den Bedeutungen für die Evaluation von Installationen sein.
Ergebnisse sind Sammlungen zu:
- Evaluationsfragen
- Evaluationstechniken (z. B. Methodenauswahl und Datenerhebungsverfahren)
- Effekte, die bei der Evaluation berücksichtigt werden müssen (Novelty Effect etc.)
Erfahrungsberichte / Durchführung
Zur Vorbereitung des Workshops sollen alle Teilnehmer/innen kurz ihre Erfahrungen zu den angesprochenen Effekten in Positionspapieren dokumentieren. Einreichung der Positionspapiere hat bis zum 15.06.2019 über das Konferenzinformationssystem zu erfolgen – unter https://www.conftool.de/muc2019/index.php. Die Workshopbeiträge müssen im ACM Long Paper Format eingereicht werden:
http://muc2019.mensch-und-computer.de/proceedings-format/. Erfahrungsberichte sollten mindestens einen Umfang von zwei und höchstens einen Umfang von zehn Seiten haben. Einreichungen sind möglich in Deutsch oder Englisch.
Die überarbeiteten Positionspapiere (DL: 12.07.2019) werden dann im Workshopband der Tagungsproceedings veröffentlicht.
Im Workshop beginnen wir mit einer Vorstellung der Erfahrungen und einer Strukturierung dieser. Teilnehmer/innen werden dazu eingeladen, die Inhalte ihrer Positionspapiere auf Postern zu dokumentieren und mitzubringen.
Aus dem erarbeiteten Erkenntnisstand wird dann gemeinsam ein Evaluationskonzept entwickelt. Schwerpunkte sind dabei Aussagen zu Best Practices bei Langzeitstudien und bei der Berücksichtigung der genannten Effekte (und vielleicht zusätzlich identifizierter Effekte).
Dieses Ergebnis soll im Nachgang des Workshops zu einer Journal-Publikation weiterentwickelt werden.
Organisationsteam
Michael Koch, Universität der Bundeswehr München – und Team
In der Gruppe von Michael Koch an der Universität der Bundeswehr München wird seit über fünfzehn Jahren am Konzept des CommunityMirror gearbeitet – einem interaktiven großen Informationsbildschirm, der durch Steigerung des Gewahrseins (Awareness) über vorhandene Informationsschnippsel und durch soziale Effekte die Informiertheit der Nutzer steigern soll. Im Rahmen des CommunityMirror-Projektes wurden bereits mehrere Langzeitdeployments durchgeführt und ausgewertet.
Kai von Luck, HAW Hamburg – und Team
In der Gruppe von Kai von Luck an der HAW Hamburg werden seit über 10 Jahren u. a. Studien zur Mensch-Computer Interaktion durchgeführt. Diese finden in kontrollierten Umgebungen wie dem HAW-eigenen Living Place (Smart Home-Umgebung) wie auch in betrieblichen und (halb-)öffentlichen Umgebungen statt. Teil der Überlegungen sind nicht nur die Interaktionsformen mit solchen Installationen, sondern auch die Wahrnehmung der Personen beginnend mit ihren Interaktionen, ihren Positionen, bis hin zu ihrem emotionalen Zustand. Die Studien sind sowohl kurzfristige Experimente als auch langlaufende Beobachtungen. Insbesondere bei langlaufenden Beobachtungen kommen u. a. auch qualitative Methoden der Sozialforschung zum Tragen.
Literaturverzeichnis
Alt, F., Schneegaß, S., Schmidt, A., Müller, J., & Memarovic, N. (2012). How to evaluate public displays. In Proceedings of the 2012 International Symposium on Pervasive Displays (PerDis 2012) (pp. 1–6). New York, New York, USA: ACM Press. https://doi.org/10.1145/2307798.2307815
Alt, F., & Vehns, J. (2016). Opportunistic Deployments: Challenges and Opportunities of Conducting Public Display Research at an Airport. In Proc. Intl. Symp. on Pervasive Displays. ACM Press. https://doi.org/10.1145/2914920.2915020
Brignull, H., & Rogers, Y. (2003). Enticing People to Interact with Large Public Displays in Public Spaces. In Proc. IFIP TC13 International Conference on Human-Computer Interaction (INTERACT) (pp. 17–24). Zurich: IOS Press.
Coutrix, C., Kuikkaniemi, K., Kurvinen, E., Jacucci, G., Avdouevski, I., & Mäkelä, R. (2011). FizzyVis: Designing for Playful Information Browsing on a Multitouch Public Display. In Proc. Designing Pleasurable Products and Interfaces (DPPI ’11) (pp. 27:1-27:8). ACM Press.
Houben, S., & Weichel, C. (2013). Overcoming interaction blindness through curiosity objects. In CHI EA ’13 CHI ’13 Extended Abstracts on Human Factors in Computing Systems (pp. 1539–1544). https://doi.org/10.1145/2468356.2468631
Koch, M., von Luck, K., Schwarzer, J., & Draheim, S. (2018). The Novelty Effect in Large Display Deployments – Experiences and Lessons-Learned for Evaluating Prototypes. In Proc. 16th European Conference on Computer-Supported Cooperative Work. European Society for Socially Embedded Technologies (EUSSET). https://doi.org/10.18420/ecscw2018_3
Kukka, H., Oja, H., & Kostakos, V. (2013). What makes you click: exploring visual signals to entice interaction on public displays. Proceedings of the …, 1699–1708. https://doi.org/10.1145/2470654.2466225
Landsberger, H. A. (1958). Hawthorne revisited: Management and the worker: its critics, and developments in human relations in industry.
Memarovic, N., Clinch, S., & Alt, F. (2015). Understanding Display Blindness in Future Display Deployments. In Proceedings of the 4th International Symposium on Pervasive Displays (PerDis ’15). ACM Press. https://doi.org/10.1145/2757710.2757719
Peltonen, P., Kurvinen, E., Salovaara, A., Jacucci, G., Ilmonen, T., Evans, J., … Saarikko, P. (2008). “It’s Mine, Don’t Touch!”: Interactions at a Large Multi-Touch Display in a City Centre. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI’2008), 1285–1294. https://doi.org/10.1145/1357054.1357255