Diese Arbeit wagt den Versuch, das Kochen, eine bereits seit mehreren Jahrtausenden den Alltag des Menschen begleitende Tätigkeit, in eine neue Dimension zu befördern. Mithilfe von Augmented Reality wird der Nutzer Schritt für Schritt durch ein Rezept geführt, während die virtuellen Anweisungen in der realen Umgebung des Nutzers immer an der Stelle angezeigt werden, an der er sie braucht. Über eine Blicksteuerung kann der Nutzer während des Kochprozesses mit der Anwendung interagieren und hat somit beide Hände frei. Zusätzliche Hinweise und Hilfestellungen in Form von Bildern und Videos ermöglichen es sogar Kochanfängern, ohne Probleme ein Gericht zuzubereiten.

Der Demonstrator zeigt ein Szenario aus der Sterilgutversorgungsabteilung in Krankenhäusern. Die AR-Anwendung unterstützt unerfahrene Mitarbeiter bei der Erledigung ihrer täglichen Aufgaben: Dem Packen von Operationsinstrumenten in Siebe, sowie dem Nachholen von Instrumenten aus dem Lager. Die Anwendung ist für die Microsoft HoloLens Gen1 entwickelt worden. Der Demonstrator unterstützt unterschiedliche Eingabemethoden, zum Beispiel einen Fußschalter und Gesten.

Natural and reliable application of service robots (SR) in service domains, for instance health service or elderly care, is currently not possible and full autonomy and automatization of SR is still in far distance. Hence, methodologies are needed that promote human-robot collaboration and allow the robot to learn from its human mentor to become more autonomous and reliable. This demo illustrates an environment for such human-robot collaboration that provides an infrastructure for SR manipulation and teaching. The basic idea is that the robot becomes an apprentice that learns new skills by observing a trained human mentor that performs relevant tasks in the service domain by operating the robot. By observation and collaboration, the SR gradually becomes more autonomous and capable to carry out relevant healthcare tasks.

With Augmented Reality (AR) we can enhance the reality by computer-generated information about real entities projected in the user's field of view. Hence, the user's perception of a real environment is altered by adding (or subtracting) information by means of digital augmentations. In this demo paper we present an application where we utilise AR technology to show visual information about the audience's mood in a scenario where the user is giving a presentation. In everyday life we have to talk to and in front of people as a fundamental aspect of human communication. However, this situation poses a major challenge for many people and may even go so far as to lead to fear and and avoidance behaviour. Based on findings in previous work about fear of speech, a major cause of anxiety is that we do not know how the audience judges us. To eliminate this feeling of uncertainty, we created an AR solution to support the speaker while giving a speech by tracking the audience's current mood and displaying this information in real time to the speaker's view: AudienceAR. By doing so we hypothesise to reduce the speaker's tension before and during presentation. Furthermore, we implemented a small web interface to analyse the presentation based on the audience mood after the speech is given. Effects will be tested in future work.

When touching virtual objects, we lack haptic feedback using commonly and commercially available VR controllers, such as the HTC Vive Controller or Oculus Touch. Haptic Illusion Glove is a wearable device used to create the haptic illusion when grasping objects. When the fingers touch the palm and we see our (in reality empty hand) in virtual reality holding an object, we “feel” the virtual object in our hand. We basically believe the touch of our fingers felt at our palm is induced by the held object.

In this paper, we present a pilot study that indicated cylindrical objects of a certain diameter range are suitable to create haptic grasp feedback for virtual objects. To create a believable illusion, the diameter of the grasped object has to be small enough to allows for one-handed grasping the object. In a following user study, we further explored the usability of Haptic Illusion Glove when grasping different objects. Our results indicate a high usability of Haptic Illusion Glove when grasping a cup, a hammer, and a water can.

Digital fabrication technologies, such as 3D printers, are receiving more and more attention, not only from professionals but also from hobbyists. However, even though people have easier access to these devices, 3D printers remain a black box for many users. To support the appropriation of 3D printers, this demonstration presents a system which extends a physical printer to include virtual components using augmented reality (AR). With these components, we try to explain how the printer works and allow the user to operate the printer through an AR application. We extend existing software with a custom solution to create a unique user interface and user experience. Our user interface provides a new way of inspecting models in AR before they are printed.

Human factors research in automated driving is nowadays often conducted using either low-quality setups such as 2D monitors or highly expensive driving simulators with motion platforms.

Additionally, software for automated driving scenarios is often expensive and hard to modify for different scenarios.

We intend to bridge this gap by proposing a low-cost, high-fidelity immersive prototyping solution by utilizing the recent advances in development of virtual reality (VR): AutoWSD - Automated driving simulator for research on windshield displays. We showcase a hybrid software and hardware solution that is based on the popular and widely used Unity development platform. Furthermore, we demonstrate the little effort needed to create scenarios for user studies, and thereby foster discussion about potential improvements and extensions for AutoWSD, as well as the topic of trust, acceptance, user experience and simulator sickness in automation.

Das Internet der Dinge (IoT) ist im Zuhause angekommen. Verspricht es doch mehr Sicherheit, Komfort und Unterhaltung in Wohnungen und Häuser zu bringen. In die Entwicklung solcher Smart Home/IoT-Anwendungen werden Nutzer kaum einbezogen. Wie diese funktionieren bleibt für sie meist verborgen. Dabei stellt die zunehmende Verbreitung von IoT-Anwendungen Wirtschaft und Wissenschaft vor schwerwiegende Fragen zur Beziehung zwischen Mensch und Maschine und deren Auswirkungen. Um zu verstehen, wie Menschen Sensoren verwenden und welche Auswirkungen diese auf gemeinschaftliches Leben haben können, wurde ein innovatives Forschungswerkzeug namens »Sensorstation« entwickelt, welches anschließend in einer mehrwöchigen empirischen Studie mit Menschen in ihrem Zuhause eingesetzt wurde. Im Rahmen dieser interaktiven Demo wird die Sensorstation den Besuchern präsentiert. Diese können dann selbstständig und ohne technisches knowhow schnell und einfach Sensoranwendungen entwickeln und live testen.

We present SentiBooks, a smartphone application to enhance the audiobook listening experience via affective computing and smart light bulbs. Users can connect to Philips Hue Light Bulbs with a smartphone app while listening to an audiobook. The app analyzes the emotional expression of the narrator of the audiobook using speech emotion recognition and adjusts the colors of the lighting settings according to the expression of the narrator in 10-seconds intervals. By transitioning between colors that are connected to the specific emotion that is currently dominant in the reading, the overall audiobook experience is intensified.

In dem Projekt VITALabs.Mobile wird ein mobiles VR/AR Labor in einem LKW eingerichtet. Dieses ermöglicht die Durchführung von wissenschaftlichen Studien und klinischen Versuchen überall in Deutschland. Das Labor soll mit Technologie voll ausgestattet werden, um die verschiedensten Anwendungen zu unterstützen (VR, AR, Kinect, Kameras, Greenscreen).

Die Demo beinhaltet die Präsentation des LKW vor Ort auf dem Konferenzgelände inkl. unterschiedlicher VR Anwendungen aus dem Kontext des Projektes.

Der LKW wird gemütlich eingerichtet um den Personen einen angenehmen Aufenthalt zu gewährleisten.

Here we present Any-Cubes, a prototype toy with which children can intuitively and playfully explore and understand machine learning as well as Internet of Things technology. Our prototype is a combination of deep learning-based image classification [9] and machine-to-machine (m2m) communication via MQTT. The system consists of two physical and tangible wooden cubes. Cube 1 ("sensor cube") is inspired by Google’s teachable machine [11,12]. The sensor cube can be trained on any object or scenery. The machine learning functionality is directly implemented on the microcontroller (Raspberry Pi) by a Google Edge TPU Stick. Via MQTT protocol, the microcontroller sends its current status to Cube 2, the actuator cube. The actuator cube provides three switches (relays controlled by an Arduino board) to which peripheral devices can be connected. This allows simple if-then functions to be executed in real time, regardless of location. We envision our system as an intuitive didactic tool for schools and maker spaces.

Interacting with elements inside a virtual reality (VR) experience is usually done with a controller. However, they tend to be clunky and cumbersome to use. We designed an alternative controller that allows for a rich touch interaction. Our prototype uses the forearm for touch input in VR. The forearm is easy to find through proprioception and also displayed through the HMD. We implemented two versions, one using a touchpad mounted at the forearm and one where the input is realized through touching only the skin of one’s arm. Users can select items of different menu types and through different gestures. A user study showed that both concepts show good usability, but none of the two touch mechanisms was preferred over the other.

Mit ‚ICAROSmulti‘ präsentieren wir eine kooperative Virtual-Reality-Anwendung, die zur Präsentation und Validierung multimodaler Interaktionstechniken entwickelt wurde. Für ein auf Messen demonstrierbares und gleichzeitig attraktives Anwendungsszenario in Virtual Reality wählten wir eine flugbasierte virtuelle Umgebung für mehrere Benutzer. Letztere interagieren darin miteinander und nehmen dazu unterschiedliche Rollen ein. Als Eingabegerät nutzen wir bis zu zwei ICAROS-Fluggeräte, die eigens dafür entwickelt wurden einen Flug in VR zu simulieren. In waagerechter Position können sich die Nutzer in der VR-Umwelt bewegen und navigieren (siehe Bild X). Mittels HMD wird ihnen ihre virtuelle Umgebung angezeigt, wobei die am Icaros befestigte Sensorik die Bewegung des Nutzers detektiert und kommuniziert. Aktorik wie Windmaschinen, Hitzelampen und andere Geräte dienen dem multimodalen Output und erhöhen die Immersion des Fluges. Darüber hinaus sind in die aktuelle Szene auch andere Geräte und 3D-Interaktionstechniken wie z. B. Laufen, Klettern etc. integrierbar. Alle Nutzer können sich in Virtual Reality sehen und miteinander kommunizieren. Für die einfache Entwicklung und Testung von 3D-Interaktionstechniken auf Basis vordefinierter Templates unter Unity3D wurden bereits verschiedene Komponenten entwickelt und integriert, die in diesem Paper kurz beschrieben werden und im Rahmen einer Demonstration auf der Konferenz ‚Mensch und Computer 2019‘ ausprobiert werden können. Eine Besonderheit des Projekts sind Komponenten, die eine messbare Verschlechterung der Immersion realisieren, etwa eine Einschränkung des Sichtbereichs, der Latenz oder der Framerate.

This paper presents a functional prototype for an interactive web-based interface i_sift developed to foreground the decision-making process of an algorithm that detects similarities in legal texts through word embeddings. Using this as a case study in Computational Social Science, our goal is, first, to highlight the importance of making computational tools and methods transparent to social scientists. Secondly, we suggest an approach that accomplishes this using methods and principles from Interactive Machine Learning and the Algorithmic Experience framework.

This work describes the use case, design and development of a virtual reality application for the visualization of multi-dimensional road works data. For successfully coordinating construction sites affecting roads and traffic, spatial and temporal dependencies need to be considered. In widely used 2D visualizations such as Gantt-charts and digital map tools, the relevant data and dependencies cannot be shown at once or well associated resulting in high cognitive load. Therefore a 3D interactive visualization with multiple map layers was designed and developed using virtual reality. The usability of the prototype was evaluated in a small user study and expert interview.

Usability-Aktivitäten in den Software Entwicklungsprozess zu integrieren ist oftmals problematisch. Zeitliche Abläufe müssen koordiniert, Kollegen müssen überzeugt und es muss an fehlende Arbeitsschritte erinnert werden. Traceability bietet eine Möglichkeit, diese Schwierigkeiten zu meistern. Es gibt zwar Traceability-Tools auf dem Markt, keines dieser Tools hat jedoch einen konkreten Fokus auf die Anforderungen im Usability Engineering. Dieser Beitrag stellt einen Prototyp für ein Traceability-Tool vor, der erstmals genau darauf das Hauptaugenmerk legt. Die Anforderungen für den Prototyp wurden mittels Interviews mit Usability-Experten erhoben. Das Traceability-Tool hilft ihnen, Verbindungen zwischen Arbeitsergebnissen herzustellen, auf Usability aufmerksam zu machen, an fehlende Schritte im Prozess des User Centred Design zu erinnern und für Usability zu argumentieren.

In this demo paper, we present a shoot'em up game similar to Space Invaders called the "Mood Game" that incorporates players' affective state into the game mechanics in order to enhance the gaming experience and avoid undesired emotions like frustration and boredom. By tracking emotions through facial expressions combined with self-evaluation, keystrokes and performance measures, we have developed a game logic that adapts the playing difficulty based on the player's emotional state. The implemented game AI automatically adjusts the enemy spawn rate and enemy behavior, the amount of obstacles, the number and type of power ups and the game speed to provide a smooth game play for different player skills. The effects of our dynamic game balancing mechanism will be tested in future work.

IslandViz ist eine Software-Visualisierung, welche die Architektur OSGi-basierter Softwaresysteme in virtueller Realität darstellt. Mit Hilfe einer Insel-Metapher wird jedes Modul als eigenständige Insel darstellt. Das resultierende Inselsystem wird auf einem virtuellen Tisch angezeigt auf dem die Nutzer mit der Visualisierung interagieren und das Inselsystem erforschen können. IslandViz ermöglicht es den Anwendern, sich einen ersten Überblick über die Komplexität eines Softwaresystems zu verschaffen, indem sie die Module und deren Abhängigkeiten untereinander interaktiv untersuchen.

Environmental simulations allow for an easy and safe acquisition of knowledge about hard-to-reach habitats. We present a mixed-reality simulation that enables the user to convert (parts of) an arbitrary place like his or her own living room into a maritime habitat, using the example of the Baltic Sea. The user explores the virtual underwater world by walking in the real world. Typical characteristics and elements of the simulated habitat are integrated by adjusting light refraction and textures, and by adding animals, plants, and stones. The virtual animals respond to the user’s movement. Rearranging real world objects causes the virtual world to change its appearance as well. User tests show that the environmental simulation provides an authentic insight into the Baltic Sea habitat and is well received with regard to the overall user experience. However, for first-time users, conveying more formal knowledge does not seem to work as well (yet) as compared to a conventional textbook approach.

With the spread of virtual reality (VR) applications in various domains (e.g. education and training, engineering or entertainment) targeting heterogeneous end-users, the aspect \emph{context-awareness} started to play an important role. As tasks and environments in VR applications become more and more complex, it is important to adapt the interaction to the needs and the context in order to improve usability. In this paper, we study how to exploit context-awareness in VR applications in order to automatically adapt the interaction techniques in a VR application based on context parameter like user, platform, and environment. To show the benefit of our approach, we present a context-aware VR application for first aid training.

In der digitalen Produktentwicklung gibt es oft nur wenige konkrete Anhaltspunkte dafür, in welche Ideen investiert werden soll, um die Ausrichtung auf die späteren Nutzer zu verbessern. Mit der Bet-Cost-Matrix-Methode werden interdisziplinäre Teams dabei unterstützt, individuelle Wetten und Kostenschätzungen spielerisch zusammenzuführen, um versteckte Annahmen und verborgene Risiken aufzudecken. In dem Team entsteht ein geteilter Bezugsrahmen, in dem sich ein gemeinsames Verständnis der Probleme, der Chancen und der verfügbaren Ressourcen etablieren kann. Die Bet-Cost-Matrix kann für komplette Produktideen, einzelne Features, Epics oder User Stories angewendet werden. Das Vorgehen belebt die Kommunikation, erleichtert die Priorisierung und macht die Ableitung von Handlungsempfehlungen möglich. Um den Aufwand bei der Durchführung der Methode zu senken, wurde eine Web-App zur Erhebung der Einzelbewertungen und zur Darstellung der Ergebnisse entwickelt.

Recently, Visual Programming Languages (VPLs) have been applied to a wide variety of domains ranging, usually for users lacking traditional programming skills. However, there have not been yet any concrete attempts to harness VPLs in the domain of Document Image Analysis (DIA), an applied-research field that tends to mainly cater to the needs of non-programmers. In this context, we introduce AMAP, a VPL-based system to empower non-programming users of DIA methods. We expound the motivation behind the system and briefly outline its design and development along with the architecture. We focus on showcasing several use cases that will demonstrate the system's ability to cope with different DIA scenarios.