Microsoft intensifie sa stratégie dans l’intelligence artificielle avec Copilot Vision, une nouvelle fonctionnalité intégrée au navigateur Edge, désormais accessible gratuitement aux utilisateurs aux États-Unis. Cette technologie permet à l’IA de Microsoft d’analyser en temps réel le contenu affiché à l’écran, afin de proposer des réponses contextuelles et des suggestions à l’utilisateur.
Même si prometteuse, cette gratuité soulève des questions sur la confidentialité surtout en Europe et se limite pour l’instant à un petit nombre de sites compatibles.
Copilot Vision se distingue par sa capacité à « voir » ce que vous voyez sur votre écran, une fonctionnalité qui rappelle des outils comme Gemini Live de Google, récemment rendu gratuit sur Android. Concrètement, l’IA scanne les pages web ouvertes dans Edge et répond à vos questions, que ce soit par commande vocale ou texte. Par exemple, sur un site de recettes comme Food & Wine, vous pouvez demander des conseils pour adapter une recette pendant que vous cuisinez, sans toucher votre clavier. Et sur le site GeoGuessr, l’IA peut même vous guider en analysant les indices visuels du jeu, bien que cela puisse être vu comme de la triche.
Initialement réservée aux abonnés Copilot Pro (20€ par mois), cette fonctionnalité est désormais gratuite pour tous les utilisateurs Edge aux États-Unis, à condition d’être connecté avec un compte Microsoft personnel. Microsoft met en avant une interaction naturelle : il suffit d’activer Copilot Vision via l’icône en bas du navigateur, puis de poser vos questions. L’IA peut résumer des articles sur Wikipedia, suggérer des produits sur Amazon ou indiquer les horaires d’un musée sur Tripadvisor.
Pour l’instant, Copilot Vision ne fonctionne qu’avec neuf sites : Wikipedia, Amazon, Food & Wine, Tripadvisor, Target, OpenTable, Williams Sonoma, Wayfair et GeoGuessr. Cette sélection, qui peut sembler éclectique, couvre des cas d’usage variés : shopping, voyage, cuisine, ou encore jeux en ligne. Par exemple, sur OpenTable, l’IA peut commenter les restaurants visibles, mais ne propose pas de recommandations au-delà de ce qui est affiché. Microsoft promet d’élargir cette liste progressivement, en fonction des retours des utilisateurs et des tests menés via Copilot Labs, son programme d’expérimentation.
Cependant, la fonctionnalité a des limites. Elle ne fonctionne pas sur les sites avec paywalls, les contenus sensibles ou les réseaux sociaux comme Instagram. De plus, certains utilisateurs rapportent des bugs et des problèmes d’activation, avec un message « One moment… » qui bloque l’accès.
Pour activer Copilot Vision, il suffit d’ouvrir Edge, de cliquer sur l’icône Copilot, puis sur le bouton micro et l’icône lunettes. La fonctionnalité est actuellement limitée aux États-Unis et aux comptes personnels – les comptes professionnels ou scolaires ne sont pas éligibles. Les abonnés Copilot Pro bénéficient d’un usage étendu, mais les détails sur ces avantages restent flous.
Microsoft prévoit d’étendre Copilot Vision à d’autres sites et plateformes, y compris iOS et Android via l’application Copilot, où l’IA pourra analyser des photos ou des flux caméra. Sur Windows, une version avancée permettra d’interagir avec des applications hors navigateur, mais elle est encore réservée aux Windows Insiders. En Europe, le déploiement pourrait tarder en raison des régulations strictes sur la confidentialité.
