Pervasive Desktop Computing by Direct Manipulation of an Augmented Lamp - Technologie et connaissance pour l'Interaction
Theses Year : 2024

Pervasive Desktop Computing by Direct Manipulation of an Augmented Lamp

Informatique de bureau pervasive par manipulation directe d’une lampe augmentée

Yuan Chen

Abstract

Desktop computing, despite its long-standing dominance in personal productivity, remains largely confined to screens. Many efforts to expand beyond a single screen, from multiple monitors to incorporating projector-camera units or head-mounted displays, have shown promise. However, this is often from the desktop display to other devices and it lacks the awareness of physical environments and user activities. This thesis explores a novel form of direct manipulation projector-camera system, which leverages unique characteristics of physical lamp movement to manipulate content to and from the desktop display, but also to and from devices and the physical environment, while maintaining the awareness in the workspace. Three projects examine the design, prototyping, and human factors aspects of an augmented lamp system in which the lamp works as an input and output device connecting desktop computing and physical environment. In the first project, an interaction design space is introduced for physical direct manipulation using an architect lamp with a proof-of-concept system using a projector and motion tracking system. We demonstrate its potential usage through three scenarios, describe study results evaluating its potential, and summarize design implications. In the second project, we study the impact on user performance and interaction strategies when interacting with an augmented lamp in a desktop space. We conduct a controlled experiment in Virtual Reality to examine two control mechanisms for target acquisition tasks in a dynamic peephole display: "coupled", when the display centre is used for selection, and "decoupled", when the selection is handled by separate inputs like direct touch. We find that the two control mechanisms have subtle differences in total time and error, but with the same technique, people show different kinematics patterns for coordinating the movement of a dynamic peephole display for searching the target. In the third project, we explore the latter observation in a more general context. Using a controlled Virtual Reality environment, we conduct an experiment to investigate whether what users intend to do with a virtual target impacts how they plan and perform the initial target acquisition. Our results lead to an understanding of user motion profiles before acquisition for different intended interactions with the same target. We discuss how these kinematics profiles can then be used to improve the lamp design, such as integrating force sensors into the lamp to improve its activity awareness. Together, these findings establish a promising way to connect current desktop computing with the surrounding physical desktop environment based on a deeper understanding of user activities in that space.
L'informatique de bureau, qui reste le moyen principal de réaliser efficacement une large gamme de tâches, continue d'afficher des informations confinées aux écrans. De nombreuses tentatives d'affichage au-delà d'un seul écran se sont révélées prometteuses, allant de l'utilisation de plusieurs écrans à l'utilisation de projecteurs ou de casques de réalité mixte. Cependant, cette extension se fait souvent à partir de l'écran du bureau vers d'autres appareils, sans tenir compte de l'environnement physique et des activités de l'utilisateur. Cette thèse explore une nouvelle forme de système projecteur-caméra à manipulation directe, qui exploite les caractéristiques uniques du mouvement physique d'une lampe de bureau pour manipuler du contenu interactif vers et depuis l'écran de bureau, mais aussi vers et depuis différents dispositifs et le reste de l'environnement physique, tout cela en conservant une connaissance du contexte de l'espace de travail. Trois projets explorent la conception, le prototypage et les facteurs humains associés à un système de lampe augmentée dans lequel la lampe fonctionne comme un dispositif d'entrée et de sortie reliant l'ordinateur de bureau et l'environnement physique. Dans le premier projet, un espace de conception d'interaction est introduit pour la manipulation physique directe à l'aide d'une lampe d'architecte avec une preuve de concept utilisant un projecteur et un système de suivi des mouvements. Nous démontrons son potentiel à travers trois scénarios, décrivons les résultats de l'étude évaluant son potentiel et détaillons les implications en termes de conception. Dans le second projet, nous étudions les impacts sur la performance de l'utilisateur et les stratégies d'interaction lorsqu'il interagit avec une lampe augmentée dans un espace de bureau. Nous menons une expérience contrôlée en réalité virtuelle pour comprendre l'impact de deux mécanismes de contrôle pour les tâches d'acquisition de cibles avec un affichage dynamique de type peephole: "couplé", lorsque le centre de l'affichage est utilisé pour la sélection et "découplé", lorsque la sélection est gérée par des entrées séparées comme le toucher direct. Nous constatons que les deux mécanismes de contrôle présentent des différences subtiles en termes de temps de réalisation de la tâche et d'erreur, mais que les utilisateurs suivent des stratégies différentes pour coordonner le mouvement de l'écran dynamique avec les différentes techniques d'acquisition de cibles. Dans le troisième projet, nous explorons cette observation dans un contexte plus général. En utilisant un environnement de réalité virtuelle contrôlé, nous menons une expérience pour étudier si ce que les utilisateurs ont l'intention de faire avec une cible virtuelle a un impact sur la façon dont ils planifient et effectuent l'acquisition initiale de la cible. Nos résultats permettent de comprendre les profils de mouvement de l'utilisateur avant l'acquisition pour différentes interactions prévues avec la même cible. Nous discutons de la manière dont ces profils de mouvement peuvent ensuite être utilisés pour améliorer la conception de la lampe, par exemple en y intégrant des capteurs de force pour améliorer la prise en compte de l'activité de l'utilisateur. L'ensemble de ces résultats sont prometteurs pour étendre l'informatique de bureau actuelle à l'environnement physique du bureau, sur la base d'une compréhension plus approfondie des activités de l'utilisateur dans cet espace.
Fichier principal
Vignette du fichier
PhD_Thesis_Yuan Chen.pdf (23.57 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

tel-04774422 , version 1 (08-11-2024)

Identifiers

  • HAL Id : tel-04774422 , version 1

Cite

Yuan Chen. Pervasive Desktop Computing by Direct Manipulation of an Augmented Lamp. Human-Computer Interaction [cs.HC]. Université de Lille; University of Waterloo (Canada), 2024. English. ⟨NNT : ⟩. ⟨tel-04774422⟩
0 View
0 Download

Share

More