La réalité mixte est une technologie qui permet la superposition d'hologrammes sur le monde réel. Certains pourraient dire, “mais n'est-ce pas la réalité augmentée ?”, oui, à la différence près qu'elle libère les mains, d'une certaine façon. En effet, vous portez des lunettes et cet appareil projette des hologrammes sur le monde réel. De plus, les modèles les plus récents comme le Hololens 2 de Microsoft reconnaissent les mains, vous permettant ainsi de faire pivoter, d'agrandir et de déplacer des hologrammes 3D dans l'“air”, à la manière du personnage Tony Stark dans Iron Man.
Réalité Mixte pour l'Assistance à Distance
Cette application vise à aider les personnes dans les domaines de la science, de la médecine, de l'ingénierie, de la formation, du divertissement, en somme, dans tout ce où il est possible de superposer des hologrammes aux images du monde réel à quelque fin que ce soit.
Cela pourrait révolutionner la santé en améliorant considérablement la formation des médecins, en leur permettant d'établir des diagnostics ou d'apprendre à réaliser des procédures sur un modèle numérique, et même pendant une intervention chirurgicale, la Réalité Mixte pourrait fournir aux chirurgiens des informations potentiellement vitales. Elle pourrait également permettre des consultations à distance avec des médecins, permettant aux patients d'être examinés sans quitter leur domicile, éliminant ainsi le temps consacré aux déplacements. Ils pourraient même être consultés par des spécialistes situés dans d'autres États ou pays. Un autre exemple serait une intervention chirurgicale au Brésil assistée et guidée par un chirurgien renommé aux États-Unis. Le médecin brésilien porterait les lunettes (l'assistant voit tout ce que voit l'assisté) et serait guidé par le professeur à distance. Ou encore un médecin nouvellement diplômé dans une ville de l'intérieur du pays guidé par un médecin expérimenté d'un grand centre. Ou une personne ordinaire devant prodiguer les premiers secours sous la direction d'un secouriste à distance. Imaginez le potentiel de sauvetage de vies que cela représente.
Imaginez une machine allemande tombant en panne au Brésil. Aujourd'hui, selon le cas, le technicien devrait se déplacer d'Allemagne jusqu'ici pour effectuer la réparation ; dans un avenir proche, un employé formé pourrait porter des lunettes de réalité mixte, comme le Hololens 2 par exemple, et être guidé par le technicien allemand à distance. Imaginez l'économie de temps et de ressources.
Les ingénieurs et les architectes ont également toutes les raisons de se réjouir. Des structures complexes, comme des moteurs, pourront bientôt être testées et partagées sous forme d'hologrammes avec d'autres professionnels partout dans le monde, avant que de coûteux prototypes ne soient construits. De même, les plans d'architecture seront probablement bientôt dépassés et remplacés par des modèles numériques simulant la construction à taille réelle. Ou bien des clients pourront parcourir l'espace vide d'un appartement déjà construit pour voir l'intégralité de la décoration réalisée par l'architecte. Ou encore un ingénieur de production se promener dans un entrepôt vide et voir l'ensemble des installations de l'usine avant qu'une seule prise réelle n'ait été posée.
Les forces armées américaines utilisent déjà la Réalité Mixte dans la formation des soldats, notamment dans le programme STC qui prépare en partie les combattants à la guerre. D'ailleurs, bon nombre des technologies que nous connaissons aujourd'hui ont été développées pour les forces armées américaines.
Bientôt, la RM pourrait devenir un outil extrêmement puissant et révolutionnaire dans l'enseignement également, car elle permettrait d'introduire en salle de classe un degré de réalisme et un volume d'informations jamais vus dans l'histoire de l'humanité. Des leçons totalement immersives augmenteraient certainement l'engagement des élèves et faciliterait la rétention des informations. Imaginez un cours d'histoire dans lequel les enfants pourraient déambuler dans les rues de la Rome antique ou de la Grèce, assister à des combats médiévaux comme s'ils y étaient ; assister au débarquement en Normandie le Jour J ; des cours de géographie où, au lieu de manuels scolaires sur l'Himalaya, vous seriez “transporté” dans les montagnes et ressentiriez presque de visu la grandiosité du lieu ; des cours d'anglais où vous seriez “transporté” dans une salle de classe réelle aux États-Unis ou en Angleterre et interagiriez avec les élèves en pouvant poser des questions au professeur, en temps réel ; ou encore un cours de sciences vous offrant la possibilité d'“être” dans un laboratoire réel et renommé pour observer des scientifiques au travail ; nous aurions la chance de décoller dans une fusée, d'atterrir sur la lune et de contempler la Terre ; nous pourrions nous retrouver face à face avec un dinosaure reproduit en taille réelle grâce à l'holographie, bref, toute situation imaginable peut être produite avec cette technologie.
MediView XR lève 4,5 millions de dollars pour offrir aux chirurgiens une vision radiologique grâce à la Réalité Mixte
MediView XR a récemment levé 4,5 millions de dollars pour développer davantage son système de Navigation Chirurgicale en Réalité Mixte. Accessible via le Microsoft Hololens, le produit MediView offre aux chirurgiens une forme de “vision aux rayons X” lors de la réalisation d'ablations et de biopsies de cancers. Le système génère un modèle holographique 3D personnalisé pour chaque patient à partir de tomodensitométries et d'IRM. L'échographie met ensuite à jour l'affichage holographique tout au long de la procédure. Ce processus réduit non seulement l'exposition aux rayons X nocifs utilisés aujourd'hui dans les procédures standard, mais améliore également l'acuité visuelle en traduisant des données 2D en trois dimensions. Les chirurgiens peuvent même tourner autour du corps, tandis que les visuels superposés en Réalité Mixte restent précisément mappés sur le patient. Parallèlement, des commandes vocales et le suivi manuel permettent aux chirurgiens d'accéder à toutes les informations nécessaires sur place. Lors de son premier ensemble de tests sur des humains, MediView a déjà utilisé son système sur cinq patients atteints de tumeurs actives et a lancé un essai avec neuf patients en août. Tirant parti de son capital nouvellement acquis, l'entreprise vise également à obtenir l'approbation de la FDA d'ici 2021.
Les chirurgiens du monde entier sont contraints d'interpréter des images en 2D pour des applications en 3D. La technologie de MediView éliminerait cet obstacle et réduirait les erreurs chirurgicales. Les visualisations 3D personnalisées peuvent également être utilisées pour informer les patients sur leur état de santé de manière plus intuitive. Les applications éducatives de la RA s'étendent également aux facultés de médecine, où la superposition de données réelles lors de procédures pratiques pourrait accroître l'engagement et l'apprentissage des étudiants. Le succès des chirurgies d'ablation de tumeurs dépend en grande partie de la précision avec laquelle les chirurgiens peuvent les inciser, en s'assurant qu'aucune trace de cancer ne soit laissée. À mesure que les casques de RA deviennent de plus en plus sophistiqués, des modèles 3D précis (combinés à des biomarqueurs injectés dans la circulation sanguine pour marquer les cellules tumorales) pourraient grandement améliorer les résultats pour les patients. Le PDG de MediView, John Black, qui a déjà réalisé plus de 2 000 interventions chirurgicales, a pour objectif de transformer la façon dont les chirurgiens interagissent avec les visualisations de données en temps réel.
Les Lunettes de Réalité Mixte d'Apple
Apple travaille sur un produit qui changerait complètement nos vies. J'avoue que c'est quelque chose que j'attends avec une grande impatience de voir et d'expérimenter. Je crois que ce produit sera encore plus grand et plus impactant que l'iPhone.
Malheureusement, elles sont actuellement expédiées uniquement au Royaume-Uni, mais restez à l'écoute car à l'avenir, elles seront certainement disponibles dans d'autres régions.
Que font-elles ? En principe, la même chose que les autres lunettes de réalité mixte comme le Hololens 2 de Microsoft (informations ajoutées au monde réel en temps réel comme la circulation, la météo, les itinéraires, les informations sur les produits, la présentation de projets “holographiques” à d'autres personnes avec la possibilité de les manipuler à la main, entre autres) ; cependant, le grand attrait est, comme il se doit pour un produit Apple, le design, la praticité, la légèreté et le confort. Les attributs esthétiques sont si nombreux que vous pourrez les porter sans attirer l'attention de manière péjorative, c'est-à-dire qu'elles attirerait l'attention négativement si elles étaient volumineuses, mais au contraire, elles attireront très probablement l'attention par leur élégance. Et lorsque vous regardez les lunettes de l'extérieur, elles ressemblent à des lunettes ordinaires. Mais c'est à l'intérieur que la magie opère. C'est là que vous verrez s'afficher les textes, graphiques et images comme des cartes.
Nous savons tous qu'Apple investit vraiment massivement dans la Réalité Mixte en ce moment. Elle a lancé sur le marché un nouveau framework permettant aux développeurs de créer facilement des applications tirant parti de tous les capteurs de votre appareil. Tout ce dont vous avez besoin est un iPhone à partir de 2015 ou un iPad à partir de 2017, ou tout appareil arborant une élégante pomme sur sa surface avec un processeur 9 ou plus récent, puis télécharger n'importe quelle application de RA depuis l'App Store, étudier les protocoles et, voilà, votre application interagira avec le monde réel. De plus, des rapports indiquent que depuis 2017, elle dispose d'une immense équipe de plus de 1 000 ingénieurs travaillant sur un projet secret autour d'un véhicule en Israël, et elle a également acquis un grand nombre d'entreprises liées à la Réalité Augmentée, Virtuelle et Mixte.
Vous vous demandez peut-être : des lunettes légères, dotées d'un objectif haute résolution et d'un grand volume d'informations nécessiteront un processeur puissant et une grande batterie pour tenir toute la journée. Comment cela sera-t-il concilié ? Eh bien, ils travaillent évidemment là-dessus et, outre le fait qu'ils comptent sur l'augmentation significative de la vitesse de connexion Internet, très probablement en 2020, date à laquelle ils prévoient de lancer le produit, ils seront à la génération de processeurs Apple 14 à cinq nanomètres.
Selon des rapports de CNN, les plans d'Apple prévoient que leurs lunettes disposent d'un affichage de 8K pour chaque œil. C'est pratiquement un écran de 16K. Il peut sembler insensé d'envisager une telle résolution dans un premier temps, mais n'oubliez pas que les résolutions doublent à chaque période de temps relativement courte.
Certains doutent que le processeur Apple 14 soit capable de relever ce défi, mais s'il ne l'est pas, nous ne doutons pas que cela sera résolu.
Il a également été rapporté qu'Apple développerait un nouveau système d'exploitation appelé ROS, ou système d'exploitation de réalité. Les lunettes seraient contrôlées via des pavés tactiles sur le côté de l'appareil, une activation vocale et même des gestes pour interagir avec elles. Tim Cook lui-même a déclaré dans de nombreuses interviews qu'il croit sincèrement que la Réalité Mixte est l'avenir, car elle permettra l'insertion de certains éléments virtuels dans le monde réel et que cela pourra améliorer significativement votre expérience et votre accès à des informations qui vous placeront dans un avantage monumental par rapport aux personnes qui ne disposent pas de cette information à ce moment précis. Autrement dit, cela aidera beaucoup à la qualité de la prise de décision en temps réel.
L'un des analystes les plus précis en matière de fuites concernant Apple a rapporté que l'entreprise commencera à produire en masse ses lunettes dès le 4e trimestre 2019 et qu'elles seront lancées en 2020, très probablement en fin d'année. Il a également indiqué qu'elles seraient commercialisées comme un accessoire de l'iPhone et transmettraient les données du smartphone plutôt que de contenir tous les composants nécessaires en leur sein, ce qui les alourdirait et les rendrait plus chères, en plus de consommer davantage de batterie, problème déjà évoqué précédemment. Apple intégrera probablement une puce de streaming qui récupérerait toutes les données de l'iPhone dans votre poche et les enverrait ensuite à l'appareil.
Or, pour la qualité des informations lorsque vous êtes immergé dans un environnement, un nombre minimum de caméras est nécessaire. De préférence de tous les côtés. Ainsi, les lunettes seront capables de suivre tout ce qui se passe à 360 degrés autour de vous et de vous informer ; supposons que vous traversez la rue et qu'une voiture arrive très rapidement sur votre côté ou derrière vous, les lunettes peuvent être programmées pour vous alerter rapidement afin que vous vous écartiez et évitiez un accident.
Nous tenons à préciser que ce qui a été écrit n'est que notre opinion sur la manière dont nous pensons qu'Apple pourrait construire les lunettes, sur la base de tous les brevets que nous avons examinés.
Réalité Mixte alliée à l'Intelligence Artificielle
La réalité mixte, alliée à l'intelligence artificielle, conférera aux êtres humains des “super pouvoirs” d'une manière jamais vue auparavant. On pourrait presque dire qu'une personne portant des lunettes de réalité mixte appartient à une espèce et que, sans l'appareil, elle appartient à une autre, tant est grande la distance en termes d'accès en temps réel aux données. Nous aurons accès en temps réel à des informations qui nous prendraient des minutes à obtenir via une recherche sur téléphone portable. Imaginez vos lunettes reconnaissant un ami que vous n'avez pas vu depuis des années et qui passe près de vous sans que ni vous ni lui ne vous aperceviez, dans une ville du monde où, par coïncidence, vous vous trouvez tous les deux en même temps ; ou les lunettes de la police reconnaissant un criminel recherché grâce à la reconnaissance faciale ; ou les lunettes signalant qu'une personne est sur le point de se sentir mal, parce que ses signes vitaux émettent, via des capteurs, des signaux d'alerte à ceux qui l'entourent. Voir des monuments et obtenir instantanément des informations sur leur histoire dans le verre des lunettes. En somme, cette nouvelle ère ne fait que commencer et je suis très heureux d'en faire partie. Et vous ? Qu'en pensez-vous ?
LYNX dévoile un nouveau casque de réalité mixte
En début de semaine, la startup française Lynx a lancé le R-1, un casque de réalité mixte autonome conçu pour les utilisateurs professionnels. Il dispose d'un écran opaque (aucune lumière extérieure n'entre), mais filme l'ensemble de l'environnement extérieur pour vous donner la sensation de superposition d'hologrammes sur le monde réel.
Il est l'un des premiers produits à utiliser le nouveau chip Snapdragon XR2 de Qualcomm et dispose de six caméras pour le suivi positionnel. Il ne possède pas de commandes manuelles physiques, mais reconnaît les mains et dispose donc d'une commande numérique qui suit les mouvements des mains.
Les nouvelles lentilles à prisme du R-1 le rendent également plus compact que les lentilles XR traditionnelles. Revendiquant une résolution de 1 600 × 1 600 pour chaque œil et un champ de vision de 90 degrés, Lynx est en bonne voie pour concurrencer Magic Leap et Microsoft Hololens.
Le prix devrait avoisiner les 1 500 dollars américains et la date de lancement est prévue pour l'été 2020.
La réalité mixte est sur le point d'ajouter une couche d'intelligence numérique à tout notre environnement, transformant le commerce de détail, l'industrie manufacturière, l'éducation, le tourisme, l'immobilier et presque tous les grands secteurs qui soutiennent notre économie aujourd'hui.
L'année dernière, le marché mondial de la RV / RA / RM a atteint une valeur de 814,7 milliards de dollars américains, et il devrait continuer à croître à un taux proche de 63 % jusqu'en 2025. Dans l'une des plus grandes révolutions technologiques de ce siècle, les smartphones ont dématérialisé les appareils photo, les chaînes hi-fi, les consoles de jeux vidéo, les téléviseurs, les systèmes GPS, les calculatrices et le papier.
Les lunettes de réalité mixte tendent à perpétuer cela, en dématérialisant le smartphone lui-même. Nous ne regarderons plus de minuscules écrans bidimensionnels, mais verrons à travers une interface 3D totalement immersive, qui enrichit notre quotidien d'informations précieuses, en temps réel.