iPhone X ook handig bij ontwikkelen games

Face ID van de iPhone X is niet alleen handig om je telefoon te ontgrendelen, de gezichtsscanner blijkt op veel meer fronten van pas te komen. Natuurlijk zijn er Animoji die voor ongekend creatieve uitspattingen zorgen, maar er is meer mogelijk.

Twee Australische ontwikkelaars hebben van de iPhone X een krachtig hulpmiddel bij het ontwikkelen van games gemaakt. Met een simpele plug-in voor game-engine Unity wordt motion capturing heel toegankelijk.

Motion Capturing

Unity is een Engine die gebruikt kan worden voor het maken van games, zowel voor iOS als Windows. Motion Capturing is het vastleggen van bewegingen van bijvoorbeeld gezichten. Als je een game speelt, wil je dat alles zo Keltische mogelijk is, maar dat is veel werk voor de ontwikkelaar. Het animeren van gezichten wordt vaak nog handmatig gedaan, of aan de hand van audio. Dat levert een acceptabel resultaat op, maar om het perfect te krijgen is veel handmatig werk of gespecialiseerde apparatuur nodig.

Met de TrueDepth-camera van de iPhone X kan het echter veel sneller en bijna in real-time. Met de plug-in van de Australische ontwikkelaars kan data die de iPhone X vastlegt meteen in een 3D-model voor een game verwerkt worden. Een ontwikkelaar kan de gewenste animatie gewoon met zijn eigen gezicht maken en vastleggen. Daarna is het meteen bruikbaar in de game.

Analyse op 51 eigenschappen

Dit is geen onofficiële hack, maar iets dat Apple direct mogelijk maakt. Ontwikkelaars kunnen met ARKit en de iPhone X namelijk 51 eigenschappen van het gezicht vastleggen. Denk aan labels als ‘mond open’ ‘rechteroog open’ en ‘opwaartse blik’. Ieder label heeft een cijfer tussen de 0.0 en 1.0. Als ‘mond open’ een 0.9 heeft, is het vrijwel zeker dat de gebruiker zijn mond wijd open heeft. Door deze 51 eigenschappen real-time te analyseren, kunnen bewegingen en uitdrukkingen meteen gebruikt worden.

Ook geschikt voor ander creatief werk

De twee ontwikkelaars stellen de plug-in voor Unity en bijbehorende iOS-app gratis op Github beschikbaar. Nintendo zou deze kunnen gebruiken om je karakter in Animal Crossing: Pocket Camp (een game gemaakt in Unity) laten lachen als je een item vrijspeelt. Wij vermoeden dat dit nog maar het begin is, want snel gezichten animeren is ook iets dat bij de productie van films of andere animaties van pas komt.

https://www.youtube.com/watch?v=nY6bkB-dw0I