Actualités / Jeux

Cette nouvelle technologie d'Intel Labs pourrait révolutionner le jeu en réalité virtuelle

Si je dis «bons graphismes», vous imaginez probablement le dernier jeu triple-A avec des textures haute résolution et du lancer de rayons. Si je dis «photoréaliste», vous pensez probablement à quelque chose de similaire, mais avec une attention particulière portée à la similitude entre les graphismes et le monde réel. Une nouvelle recherche d'Intel Labs, cependant, nous montre à quel point photoréaliste devrait signifie – et a des applications passionnantes pour le développement de jeux, en particulier en VR.

Cette nouvelle technique s'appelle Free View Synthesis. Il vous permet de prendre des images source à partir d’un environnement (à partir d’une vidéo enregistrée en marchant dans une forêt, par exemple), puis de reconstruire et de rendre l’environnement représenté dans ces images en 3D «photoréaliste». Vous pouvez alors faire voyager librement une «vue cible» (c'est-à-dire une caméra virtuelle ou une perspective comme celle du joueur dans un jeu vidéo) à travers cet environnement, ce qui Nouveau vues photoréalistes. Cette recherche sera présentée en ligne à l'ECCV 20 (23 au 28 août), alors pour en savoir plus, assurez-vous d'être à l'écoute!

Les implications (à long terme) de cette technique pour le développement de jeux devraient être évidentes. En théorie, avec des images d'un endroit du monde réel à partir duquel tirer, il devrait être capable de produire automatiquement un environnement de jeu vidéo traversable qui est non seulement identique à la fois dans la mise en page et le contenu, mais aussi dans regards. Conception de niveau rapide et sans effort, comparable à la réalité en termes de fidélité visuelle.

Nous avons parlé à Vladen Koltun, scientifique en chef des systèmes intelligents chez Intel Labs, de cette nouvelle technique. Il a de nombreuses applications, mais en ce qui concerne le jeu en particulier, Vladen dit «il peut créer des jeux qui ne se distinguent pas de la réalité».

Pour en savoir plus sur la façon dont il le fait, vous pouvez lire le document de recherche complet sur Free View Synthesis (PDF), mais essentiellement, l'environnement qui est tiré des images source est reconstruit à l'aide de Structure From Motion (SfM) et Multi-View Stereo. (MVS) pour créer une carte de profondeur proxy, puis la vue cible a des caractéristiques reprojetées et traitées «via un réseau convolutif» pour synthétiser la nouvelle vue. En bref: prenez l'image source, créez un environnement de «carte de profondeur» à partir de ces images, puis utilisez un réseau convolutif pour synthétiser une nouvelle vue dans cet environnement.

Miniature YouTube

« Il existe un calcul géométrique du type de celui que vous rencontreriez dans les pipelines graphiques classiques, puis un passage à travers un réseau convolutif, comme vous le verriez dans l'inférence de réseau profond standard. » Nous avons donc un apprentissage en profondeur pour créer des vues photoréalistes dans des scènes réalistes avec seulement un nombre limité d'images sources (prises librement dans l'environnement) pour référence.

La vidéo ci-dessus montre d'autres techniques qui tentent de faire une chose similaire, y compris NPBG, une technique «publiée simultanément à la même conférence» qui «est née indépendamment» d'un autre laboratoire de recherche et qui a beaucoup en commun avec Free View Synthesis. Comme vous pouvez le voir dans la vidéo, cependant, Free View Synthesis obtient des résultats légèrement meilleurs.

L'utilisation de SfM et MVS est très importante pour Free View Synthesis, nous dit Vladen, et «de nombreuses autres techniques n'utilisent pas SfM / MVS dans la mesure où nous le faisons». Les chercheurs pensent qu '«il serait inutile de balayer de côté tous les progrès étonnants qui ont été réalisés (et continuent d'être réalisés) dans la SfM / MVS. Au contraire, nous devons nous en inspirer. Le haut niveau de fidélité atteint par notre approche est dû, en grande partie, à trente ans de progrès sur la SfM / MVS.

Intel Free View Synthesis 3D photoréaliste

Image tirée de la vidéo ci-dessus, montrant une vue d'environnement générée par Free View Synthesis.

En théorie, en utilisant Free View Synthesis, un développeur de jeux pourrait enregistrer une vidéo se promenant dans un parc local déserté, projeter des images de cette vidéo dans le pipeline Free View Synthesis et être capable de déplacer une caméra virtuelle dans un environnement réaliste. , photoréaliste, reconstruction 3D du parc, en empruntant n'importe quel chemin de mouvement qu'ils désirent. Extrapolez à partir de cela les implications pour le jeu, et vous avez une technique qui pourrait permettre de créer facilement et rapidement des environnements de réalité virtuelle photoréalistes dans lesquels le joueur peut se promener. Et alors que «l'implémentation actuelle n'est pas optimisée pour des performances en temps réel… il y a aucun obstacle fondamental à ce faire en temps réel ».

Une capacité graphique d'apprentissage en profondeur est nécessaire pour Free View Synthesis, mais cela ne devrait pas être un problème étant donné que les derniers GPU de Nvidia ont une telle capacité (pour DLSS, par exemple), et AMD devrait bientôt emboîter le pas. Mais le vrai défi à relever – du moins pour les jeux – est la création de nouveaux éléments synthétiques dans les scènes. Tout est possible de se promener dans un parc photoréaliste, mais pour créer un jeu, vous devez pouvoir interagir avec l'environnement, ou au moins y introduire d'autres éléments (comme des armes pour un jeu FPS, par exemple).

Camion photoréaliste Intel Free View Synthesis

Image tirée de la vidéo ci-dessus, montrant une vue d'environnement générée par Free View Synthesis.

Comment la technique pourrait faire face à une telle chose, dit Vladen, «est une question de recherche ouverte». En d’autres termes, il n’a pas encore reçu de réponse – ce qui ne veut pas dire que ce ne sera pas le cas. «Dans sa forme actuelle, l'approche ne traite que des scènes statiques. Il vous permet de déplacer librement votre point de vue à travers une scène statique tout en conservant une apparence photographique. À terme, ces techniques seront étendues aux scènes dynamiques, avec des objets en mouvement, mais nous n’en sommes pas encore là. C'est un sujet de recherche actif. »

C'est probablement la raison pour laquelle la technique «ne sera pas disponible tout de suite» pour les jeux – «même pas dans les deux prochaines années, mais éventuellement». Mais c’est un regard enchanteur sur ce qui est susceptible d’arriver.

Nous avons déjà certains des meilleurs casques VR qui travaillent pour vous immerger complètement dans un monde de jeu, et certaines des meilleures cartes graphiques utilisant l'IA et l'apprentissage en profondeur pour créer efficacement des environnements de jeu haute fidélité. Les techniques de rendu comme Free View Synthesis, combinées à ces avancées matérielles, nous promettent de grands sauts technologiques pour le jeu, et c'est quelque chose que je pense que nous pouvons tous soutenir.

Articles Similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *