Hoe ontwerp je voor Virtual Reality

Deelvraag

Hoe ontwerp je voor Virtual Reality?

• Hoe kunnen programmeerblokken worden weergegeven en gehanteerd in een 3D-ruimte?
• Hoe kan ik visual programming weergeven in een 3D omgeving?
• Hoe zorg je voor een intuïtieve en gebruiksvriendelijke interactie met de VR-bril zodat ook kinderen zonder ervaring met VR de app/game kunnen gebruiken?
• Welke gebaren en bewegingen zijn het meest intuïtief voor het manipuleren van virtuele objecten?
• Hoe wordt onboarding geregeld in VR omgevingen?

Door onderzoek te doen naar de beste manier om te ontwerpen voor Virtual Reality kan ik ervoor zorgen dat mijn ontwerp voldoet aan de design principles van VR en Immersion op de juiste en meest effectieve manier wordt gebruikt. Door onderzoek te doen naar onboarding, gebaren en bewegingen kan ik ervoor zorgen dat deze in mijn concept natuurlijk aanvoelen en er geen extensieve uitleg nodig is voor het gebruik van mijn concept.

De methodes die ik hiervoor wil gebruiken zijn:

• Proof of Concept
• Peer review
• Literature study
• Usability Testing
• Thinking out load
• Co-creation

Conclusie

Fysiologisch Comfort en Ergonomie:

• Het minimaliseren van motion sickness door weloverwogen bewegingsontwerp
• Het respecteren van natuurlijke bewegingszones en ergonomische principes
• Het handhaven van hoge framerates en lage latentie

Interface en Interactie Design:

• Gebruik van intuïtieve affordances en minimale tekst
• Strategische plaatsing van UI-elementen (world-locked vs follow-along)
• Implementatie van directe feedback en bevestigingen
• Voorkeur voor donkere thema’s om visuele vermoeidheid te verminderen

Beweging en Navigatie:

• Onderscheid tussen physical en artificial locomotion
• Bewuste keuze voor bewegingstypen om motion sickness te minimaliseren
  • Fysieke locomotion geeft de meeste immersion en het minste motion sickness
• Geleidelijke introductie van complexere bewegingspatronen

Pedagogische Elementen:

• Effectieve onboarding met geleidelijke introductie van nieuwe concepten
• Gebruik van minigames voor het bevorderen van computational thinking
• Implementatie van visual programming concepten voor educatieve doeleinden
• Continue begeleiding en ondersteuning tijdens de leerervaring

Zintuiglijke Integratie:

• Gebruik van 3D-audio voor verhoogde immersie
• Implementatie van haptische feedback waar mogelijk
• Balans tussen visuele, auditieve en tactiele elementen

Designing for VR

“To make learning games playable, designers should challenge the learners by having them “explore, try, fail, and reflect,” and this cycle of challenges with instant feedback and perception of progress was the “key ingredient in game design, necessary for fun and engagement.” (Xu & Ke, 2016)

“Virvou and Katsionis (Citation2008) examined two important factors in designing a VRGLE—the usability (i.e., the controls of the game) and the likeability (i.e., being engaging). The sense of presence is another key design factor for a VRGLE, which in our context refers to the extent and likelihood that learners feel immersed in a virtual environment (Heeter Citation1992; Schloerb Citation1995). It is a learner’s psychological experience that she/he perceives regarding how much she/he is attached to a learning intervention. Schuemie et al. (Citation2001) found offering learners the sense of presence a major instructional design challenge and concluded that active learner involvement was “necessary for experiencing presence” (185) in the virtual reality. Vogel et al. (Citation2006) reported that the level of interactivity between the user and the game determined the depth of user involvement in the activity, and an appropriate level of challenge encouraged students to make attempts for a higher level of achievement.” (Xu & Ke, 2016)

Design Principles

Physiological Comfort
Het meest belangrijke aspect bij het ontwerpen van een VR-ervaring is comfort. Het is echter ook een uitdagende stuk. Veel mensen ervaren vermoeidheid of misselijkheid na langdurig gebruik van een VR-headset. Dit komt omdat VR de hersenen kan verwarren, aangezien het lichaam stilstaat terwijl een bewegende omgeving wordt bekeken. Om misselijkheid te verminderen, kan een vast referentiepunt zoals een horizonlijn of een dashboard dat stationair blijft, nuttig zijn. Als de app veel beweging omvat, zoals versnellen, zoomen of springen, moeten gebruikers controle hebben over deze acties om ongemak te voorkomen.

Environmental Comfort
Bij het ontwerpen van VR-ervaringen is het essentieel om rekening te houden met de schaal van virtuele ruimtes en de omgeving. Te groot kan gebruikers desoriënteren, terwijl te klein claustrofobie kan veroorzaken. Om gebruikers effectief te begeleiden, kunnen zowel ruimtelijke als niet-ruimtelijke methoden worden gebruikt. Audio en licht kunnen bijvoorbeeld aanwijzingen geven voor ruimtelijke positionering en paden onthullen. De gaming industrie maakt al jaren gebruik van deze technieken om spelers door virtuele werelden te navigeren.
De omgeving is ook belangrijk omdat de spelers zich comfortabel moeten voelen met de omgeving. Vooral als dit de eerste keer in VR is.

Sound
Hoewel geluid een hinder kan zijn in web- of mobiele apps, is het essentieel voor VR-ontwikkeling. Denk aan synesthesie: een fenomeen waarbij het stimuleren van één zintuig een ander triggert. Bijvoorbeeld, iets ruiken kan smaak oproepen. Dit geldt ook voor geluid. Omdat VR geen tastbare feedback heeft, kan geluid feedback geven wanneer gebruikers met objecten omgaan.
3D-geluid, of holofonisch geluid, is veelbelovend. In tegenstelling tot stereogeluid (links/rechts) stelt holofonisch geluid ons in staat om de oorsprong van geluid te bepalen, zelfs van boven of onder. Deze immersion is essentieel voor een echt realistische VR-ervaring.

Affordances
Een uitdaging is om gebruikers duidelijk te maken waarmee ze interactie kunnen hebben en hoe. Designers moeten visuele aanwijzingen uit de echte wereld gebruiken, zoals een deurklink, om interactieve elementen aan te duiden. Deze aanwijzingen, genaamd “affordances”, moeten intuïtief zijn zodat gebruikers kunnen begrijpen hoe ze ermee moeten omgaan zonder instructies nodig te hebben. Bijvoorbeeld, een deurklink suggereert dat je eraan trekt, niet dat je erop tikt zoals een knop.

Ergonomics
Bij het ontwerpen voor VR is het leuk om te denken aan het creëren van futuristische interfaces. Maar de realiteit is dat deze UIs vermoeiend zouden zijn als ze langer dan een paar minuten worden gebruikt. De volgende diagrammen helpen om de comfortabele bewegingszones te illustreren: We zijn allemaal wel eens getroffen door een soort “text neck” syndroom (de pijn die wordt gevoeld door lang naar onze smartphones te kijken). Afhankelijk van hoe ver je overleunt, kan een slechte houding tot 30 kg druk op je ruggengraat veroorzaken. Dit kan leiden tot permanente zenuwschade in je ruggengraat en nek. Naarmate VR door een breder publiek wordt geadopteerd, zal het essentieel zijn om gezonde gewoontes en bewegingsstandaarden vast te stellen. In plaats van onszelf aan te passen aan de beperkte interacties die door onze bestaande technologieën worden ondersteund, zullen onze interacties met VR-platforms zo natuurlijk en intuïtief mogelijk moeten zijn. Dit “natuurlijke computing” paradigma - dat wil zeggen, interacties die zich niet langer hoeven aan te passen aan de beperkte vormfactoren van de computer (toetsenbord, muis, touchscreen) - zal ons in staat stellen om met de digitale wereld te interacteren op dezelfde manier als we met de fysieke wereld omgaan.

Confirmations
In VR, waar alles potentieel interactief kan zijn, is directe feedback essentieel om gebruikersfrustratie te voorkomen. Dit kan worden bereikt door visuele aanwijzingen (affordances) of zelfs eenvoudige geluiden om het voltooien van een actie aan te geven.

Guide users along the way
Om een effectieve leerervaring te creëren, is het niet genoeg om alleen een introductie tutorial te bieden. Gebruikers in een VR omgeving hebben vaak voortdurende begeleiding en ondersteuning nodig. Gebruikershandleidingen, nuttige informatie, bronnen en minitutorials moeten gemakkelijk beschikbaar zijn wanneer nodig. Deze begeleiding mag echter niet opdringerig zijn; het moet de ervaring verbeteren zonder de plezier van de gebruiker af te nemen.

Use minimal text for instructions
Tekst kan een obstakel zijn voor immersie in VR ervaringen, vooral voor instructieve inhoud. Gebruikers kunnen het als storend ervaren om te pauzeren en lange blokken tekst te lezen terwijl ze ondergedompeld zijn in een virtuele wereld. Bovendien kan de manier waarop tekst in VR wordt weergegeven worden beïnvloed door de positie en het perspectief van de gebruiker, wat mogelijk kan leiden tot ongemak of verwarring. Om de gebruikerservaring te verbeteren en de valkuilen van tekstrijke VR-inhoud te vermijden, is het raadzaam om visuele aanwijzingen en hiërarchieën voor het presenteren van instructies te prioriteren. Het minimaliseren van het gebruik van tekst kan helpen om de onderdompeling te behouden en afleidingen te voorkomen.

Follow-along
UI-elementen volgen de gebruiker terwijl deze door de omgeving beweegt en zijn niet vast. Een voorbeeld uit de echte wereld hiervan is het dashboard van uw auto.

World-locked
UI-elementen hebben een specifiek toegewezen ruimte binnen de omgeving en bewegen niet. In de echte wereld zijn dit bijvoorbeeld straatnaamborden, verkeerslichten of zebrapadindicatoren.

Distance to the user
Om ervoor te zorgen dat alle UI-elementen even zichtbaar zijn, kunt u ze langs een cilinder rangschikken of onder een hoek kantelen. Als u een vloeiendere curve wilt, plaatst u het midden van de cilinder achter de gebruiker.

Anchor points
Mogelijke plaatsingsopties voor gebruikersinterfaces (UI) in virtuele realiteit (VR)-omgevingen. Vier hoofdplaatsingsstrategieën:

• Boven het object: Dit is geschikt voor markers of gezondheidsbalken die gemakkelijk zichtbaar moeten zijn vanuit het perspectief van de gebruiker.
• Voor de gebruiker: Dit is ideaal voor hoofdmenu’s of andere informatie die gemakkelijk toegankelijk moet zijn.
• Bevestigd aan de controller van de speler: Dit is handig voor het weergeven van toetsenbordkaarten of statistieken die specifiek zijn voor de controller.
• Nabij het midden van de camera van de gebruiker: Dit is geschikt voor essentiële HUD-elementen die altijd zichtbaar moeten zijn, zoals gezondheidsindicatoren of schermopname-indicatoren.

Dark theme
Bij VR-headsets zit het scherm heel dicht bij de ogen en kan een felle interface hard aanvoelen. Daarom is het beter om een ​​donker thema te gebruiken voor de interface.

Buttons & Fitts’s law
Hoewel VR-controllers een hoge precisie bieden, zijn ze niet zo nauwkeurig als een computermuis. Dit betekent dat interface-elementen in VR groter moeten zijn om rekening te houden met mogelijke onnauwkeurigheden

Rendering layers
Dit voorbeeld laat zien hoe een gebruikersinterface (UI) kan samenwerken met andere elementen in een virtual reality (VR)-omgeving. In het spel Robo Recall staat de UI voor de speler, maar kan deze gedeeltelijk worden bedekt door de handen van de speler. Omdat handbewegingen cruciaal zijn in VR-games, ligt de focus van de ontwerper op het ervoor zorgen dat de UI het vermogen van de speler om met de virtuele wereld te interactie niet belemmert.

Latency and Frame Rate
Om bewegingsziekte te minimaliseren en een comfortabele VR-ervaring te bieden, is het cruciaal om lage latentie en hoge framerates te handhaven. Als er een vertraging is tussen hoofdbewegingen en visuele updates, kan dit leiden tot desoriëntatie. Voor optimale resultaten streeft naar een framerate van meer dan 90 frames per seconde.

Interaction Design
Interactie met virtuele objecten moet natuurlijk aanvoelen. Designers moeten intuïtieve besturingen overwegen, zoals grijpen, duwen of trekken, die echte wereldacties nabootsen. Haptische feedback kan ook de realisme verbeteren.

Visual Programming

Visual Programming in VR is al een keer gedaan in de vorm van een studie die inging op het leren van basis programmeer principes met behulp van VR. Er zijn hier een aantal afbeeldingen over gedeeld en dit zou een startpunt voor mij kunnen aangeven.

VR-OCKS: “This paper presents a prototype of a virtual reality system to teach the basic concepts of programming called VR‐OCKS. The system is inspired by other visual languages such as Scratch or Kodu, and it works by proposing to the user the resolution of simple puzzles in a 3D environment.” (Segura et al., 2019)

Conclusion: “The prototype is aimed at children of approximately 12 years old, with the intention of helping them to develop an algorithmic thinking, and attracting them to the world of programming. The experimentation carried out showed the suitability and viability of the proposal, highlighting a good learning curve of the concepts and a correct set of metaphors for the different actions that can be used in a program and their management” (Segura et al., 2019)

Minigames in VR

Een studie gedaan die kijkt naar de invloed van minigames in een VR omgeving op Computational Thinking laat zien dat minigames een positieve impact heeft op CT. “This study presents an initial evaluation of educational VR mini-games to foster CT. The quantitative analysis of players’ data retrieved during the gameplay by integrating a personalized learning assessment model revealed how students practically gained CT competency from playing the mini-game.” (Oyelere et al., 2023)

Onboarding in VR

Er zijn belangrijke punten om rekening mee te houden tijdens de onboarding in VR die zijn beschreven in het artikel over ‘How to implement VR Experiences’.

“You can follow the steps of immersive media design to manage the onboarding stage:  Introduce new elements slowly so people will feel safe. For instance, in a puzzle game, start with simple puzzles and gradually increase the complexity level as the player progresses. Create a sense of familiarity for users to relate to the environment. For example, in a VR shopping experience, you could use a layout similar to a real-world store.  Provide a glimpse of the virtual world’s style, scale, design concept, mood, and vision, so users know what they can expect from the experience: In a VR tour of an art museum, show a preview of the artwork that users will see in the upcoming exhibition. Start with an enjoyable or exciting element to create a positive attitude and set the tone for the rest of the experience. Let’s say you design a VR rollercoaster experience; you may start with a thrilling drop or twist to create excitement and get users engaged from the beginning” (Fitz-Patrick, 2023)”

Beweging in VR

“Gesture manipulation is a new input mode for the modern virtual reality (VR) user experience. Current gesture manipulation can be performed with three types of devices: Hand-held, Bare-hand and Hand-worn devices. Each device has its own advantages and disadvantages. However, many studies have not discussed the difference between these three types of gesture manipulation. To address this gap, we conducted research on how to find their learnability, effectiveness, and extensibility. We introduce a VR cup stacking game to mimic the state-of-presence experiment to compare the completion time of each device. Moreover, a series of user studies were conducted to collect feedback from participants. The results show that despite the Hand-held device being familiar to general users, but most of them were expected that the Hand-worn and Bare-Hand device can be well developed and wildly adopted into other applications to provide more intuitive and immersive experience.” (Jen Tun Lee et al., 2022)

“The direct, physical method is usually the most intuitive way to interact in VR. However, there are scenarios where abstract hand poses and gestures are appropriate and beneficial. For example, pinching the thumb and forefinger together to activate a VR drawing tool, and drawing in the air.
Abstract gestures and poses need to be taught to users when they’re introduced. They also require more cognitive effort than direct interaction.
A button or object in VR is already telling you what to do through its form and movement. In contrast, every time you use an abstract gesture, you have to pull it out of your memory without prompts from the world around you.
Gestures and poses work best with hand tracking when used for a relatively small number of actions that are valuable to the user. This makes them feel worth learning. Enabling locomotion, or bringing up a main menu UI panel, are examples of this.
We find that many VR interfaces benefit from a small number of abstract gestures (perhaps as few as one or two) to supplement direct interaction.” (Hand Tracking in VR: Design for Direct Interaction | Ultraleap, 2021)

Locomotive Types

Locomotion oftewel beweging is een groot onderdeel van het ontwerpen in VR. Meta Horizon heeft daarom ook een aantal Design Principles opgesteld die hierbij horen. Beweging oftewel Locomotion in VR is verdeeld in 2 verschillende types: Physical Locomotion en Artificial Locomotion.

Physical Locomotion / Fysieke Locomotion: Physical locomotion is wanneer beweging in de virtuele wereld wordt gecontroleerd door jouw beweging in de fysieke wereld.

Artificial Locomotion / Artificiele Locomotion: Artificial Locomotion is wanneer beweging in de virtuele wereld niet direct overeenkomt met fysieke beweging. Dit komt vaak voor in de vorm van draaien, lopen of bewegen in de virtuele wereld door middel van controller input, zoals het indrukken van een thumbstick.

Teleportation of smooth/continues locomotion zouden dus onder Artificial Locomotion vallen terwijl Room-scale VR onder Physical Locomotion valt. Bij Artificial Locomotion sta je zelf stil en dan kan je last krijgen van motion sickness zoals ook wordt uitgelegd in een artikel of Motion sickness in VR: “Virtual reality causes motion sickness because a sensory contradiction arises here. This usually happens when VR users move around artificially. When you move in this way, your eye perceives motion, but your inner ear does not because you are actually standing or sitting in place. So we have the reverse case as with boat and car travel. The result, on the other hand, is the same in susceptible individuals: Discomfort. The more real the sensory impressions are and the more drastic the artificial locomotion is, the stronger the body can react to this sensory contradiction.” (Tomislav Bezmalinovic, 2022)

Het ziek worden van artificial locomotion in VR is veel verkomend en heeft zelfs de naam ‘VR legs’ gekregen. VR legs is: “the metaphorical representation of being accustomed to immersion in a virtual reality environment, particularly in regards to virtual locomotion.”
‌

Movement in VR

“Virtual reality causes motion sickness because a sensory contradiction arises here as well. This usually happens when VR users move around artificially. Instead of traversing a game world with their own body, they move purely virtually, i.e. passively, for example by pressing the analog stick, a button, or a key.
When you move in this way, your eye perceives motion, but your inner ear does not because you are actually standing or sitting in place. So we have the reverse case as with boat and car travel. The result, on the other hand, is the same in susceptible individuals: Discomfort. The more real the sensory impressions are and the more drastic the artificial locomotion is, the stronger the body can react to this sensory contradiction.” (Tomislav Bezmalinovic, 2022)

Fluid locomotion via een analoge controller is voor de meeste spelers nog steeds de meest natuurlijke manier van artificiële locomotion. Dit kan wel lijden tot motion sickness omdat je fysiek stil blijft staan.

Bronnen

Bronnen

Xu, X., & Ke, F. (2016). Designing a Virtual-Reality-Based, Gamelike Math Learning Environment. American Journal of Distance Education, 30(1), 27–38. https://doi.org/10.1080/08923647.2016.1119621

Segura, R. J., Pino, F. J., Ogáyar, C. J., & Rueda, A. J. (2019). VR‐OCKS: A virtual reality game for learning the basic concepts of programming. Computer Applications in Engineering Education, 28(1), 31–41. https://doi.org/10.1002/cae.22172

Oyelere, A. S., Agbo, F. J., & Oyelere, S. S. (2023). Formative evaluation of immersive virtual reality expedition mini-games to facilitate computational thinking. Computers & Education: X Reality, 2, 100016. https://doi.org/10.1016/j.cexr.2023.100016

Fitz-Patrick, M. (2023, November 3). How to Implement VR Experiences. The Interaction Design Foundation. https://www.interaction-design.org/literature/article/how-to-implement-vr-experiences

Jen Tun Lee, R.P.C. Janaka Rajapakse, & Miyata, K. (2022). An Empirical Study on Intuitive Gesture Manipulation in Virtual Reality. 216–224. https://doi.org/10.1109/icvr55215.2022.9848105

Hand Tracking in VR: Design for Direct Interaction | Ultraleap. (2021). Www.ultraleap.com. https://www.ultraleap.com/company/news/blog/vr-guidelines/

Tomislav Bezmalinovic. (2022, November 16). What Motion Sickness is and how you can prevent it. MIXED Reality News. https://mixed-news.com/en/was-die-reisekrankheit-ist-und-wie-sie-ihr-vorbeugen-konnen/#Why_does_motion_sickness_occur_with_virtual_reality

Tomislav Bezmalinovic. (2022, November 16). What Motion Sickness is and how you can prevent it. MIXED Reality News. https://mixed-news.com/en/was-die-reisekrankheit-ist-und-wie-sie-ihr-vorbeugen-konnen/#Why_does_motion_sickness_occur_with_virtual_reality

Meta Developers. (2024). Meta.com. https://developers.meta.com/horizon/resources/artificial-locomotion/
Meta Developers. (2024) https://developers.meta.com/horizon/resources/bp-core-types-of-locomotion

‌

‌