EyeSight pour rester connecté au monde réel

L’élément le plus inattendu lors de la présentation de Vision Pro par Apple est sans aucun doute son écran externe. Aucun casque de réalité étendue commercialisé à ce jour n’en est équipé. Apple l’appelle EyeSight, car sa fonction principale est d’afficher les yeux de l’utilisateur « à travers » le casque. Ainsi, les personnes à proximité peuvent distinguer lorsqu’on les regarde ou si nous sommes complètement en immersion et incapable de voir autour de nous.

La beta 6 de VisionOS, récemment dévoilée, contient une vidéo montrant comment scanner son visage pour créer son avatar grâce aux caméras de Vision Pro. Mais ce qui est encore plus intéressant, c’est que cette vidéo révèle qu’Apple prévoit d’utiliser l’écran externe pour bien plus, que simplement afficher les yeux de l’utilisateur à travers le casque.

apple eyesight

© Apple

« Nos yeux sont un indicateur essentiel de connexion et d’émotion, c’est pourquoi Vision Pro affiche vos yeux lorsque quelqu’un est à proximité », a déclaré Apple lors du discours d’ouverture de la WWDC 2023. Techniquement, l’écran EyeSight n’affiche pas réellement le visage de l’utilisateur. Il projette en fait une vue de l’avatar Vision Pro de l’utilisateur (ou « Persona » comme l’appelle Apple) qui permet de rendre le casque « virtuellement transparent ». L’affichage stéréoscopique, les effets de flou et une colorisation ingénieuse, permettent de dissimuler la résolution et la qualité limitée de l’avatar pour en faire une innovation remarquable qui nous aide à rester connecté au monde qui nous entoure. Pour rendre l’expérience la plus réaliste possible, EyeSight utilise les données des caméras infrarouges internes, qui capturent vos mouvements oculaires et vos expressions faciales. Ces données sont ensuite transmises à un algorithme d’apprentissage qui les combine avec votre avatar numérique, créé lors de la configuration de l’appareil.

EyeSight permet d’explorer de nouvelles fonctionnalités inédites pour un casque VR/AR

Pour générer l’avatar, les utilisateurs utiliseront les caméras TrueDepth frontale du casque pour capturer de multiples vues de leur visage. La procédure exacte a été découverte dans les fichiers de la beta 6 de VisionOS auxquels les développeurs peuvent accéder. Dans la vidéo, on voit un processus assez rapide et facile qui utilise l’écran externe du casque comme un guide étape par étape. Le processus de scan est intéressant en lui-même, mais le plus fascinant, c’est la façon dont Apple réfléchit à l’utilisation de l’écran externe pour guider l’utilisateur. Il semble probable qu’Apple exploite l’écran pour des fonctionnalités additionnelles, ce qui ouvre de nombreuses possibilités passionnantes. Par exemple, l’écran pourrait être utilisé pour que le casque communique avec nous lorsqu’on ne le porte pas. Il pourrait s’allumer en vert pour indiquer un appel FaceTime entrant ; ou en bleu pour nous indiquer qu’un téléchargement est terminé ; ou en rouge pour signaler que la batterie est faible et qu’il faut le recharger.

L’écran externe de Vision Pro ouvre un monde de possibilités au-delà de la simple projection d’un avatar. Bien qu’Apple puisse techniquement l’utiliser comme un banal affichage de notifications, la marque semble avoir des ambitions bien plus créatives. Cet écran intelligent pourrait devenir un compagnon interactif, avec des signaux visuels indiquant appels, messages, état de la batterie et bien d’autres… les utilisations sont infinies ! Qu’aimeriez-vous voir comme fonctionnalités sur cet écran externe révolutionnaire ? Faites parler votre imagination et partagez vos idées en commentaires !

Photo de couverture : © Apple