Google étend les capacités de Gemini Live aux utilisateurs Android qui utilisent le service gratuitement, offrant ainsi la possibilité de partager votre écran et votre appareil photo à un public beaucoup plus large. Il s’agit d’une nouveauté attendue, déjà annoncée il y a quelque temps , qui se concrétise enfin avec un déploiement progressif. Nous parlons d'un véritable pas en avant pour l'assistant IA de Google, qui devient plus réactif et contextuel , grâce à la possibilité de voir ce qui se passe sur notre smartphone et de répondre plus précisément. Ce n’est plus seulement une question de mots : il peut désormais interpréter des images, ouvrir des applications et des sites Web en temps réel. Avec la dernière mise à jour de Gemini Live, Google introduit la possibilité de partager ce que nous voyons et encadrons directement avec l'Assistant , même pour ceux qui ont un compte gratuit sur Android. Comme le rapporte 9to5Google , une fois activée, l'interface affiche deux nouveaux boutons : l'un pour démarrer le partage d'écran, l'autre pour allumer la caméra. Lorsque nous activons le partage d’écran , nous pouvons naviguer librement entre les applications et les sites. Les Gémeaux reconnaissent ce que nous montrons et l’utilisent pour fournir des réponses plus précises , comme s’ils avaient vraiment des « yeux » sur notre téléphone. La vibration de l'appareil nous informe que l'assistant a visualisé le contenu, tandis que pour tout arrêter, il suffit de dérouler le panneau de notification et d'appuyer sur « Arrêter le partage ».

Partager l'appareil photo active plutôt un écran avec un viseur, où nous pouvons cadrer des objets, des textes ou des environnements. Le bouton en bas à droite permet de passer de la caméra arrière à celle avant, utile par exemple si l'on souhaite montrer notre visage ou un objet. Google recommande de déplacer lentement votre téléphone pour permettre à Gemini d'analyser correctement la scène. Les nouvelles fonctionnalités de Gemini Live ne s’arrêtent pas au simple partage visuel. Bientôt, il sera possible d'interagir directement avec les applications Google : de cette façon, Gemini comprendra non seulement ce que nous disons, mais pourra également effectuer des actions en notre nom, sans avoir à ouvrir chaque application individuellement. Les premières intégrations à venir incluent les applications suivantes :

- Google Agenda : pour créer des événements ;
- Google Maps : pour obtenir des informations instantanées sur les lieux, les lieux et les itinéraires ;
- Google Keep : pour prendre des notes vocales à la volée ;
- Google Tasks : pour ajouter des tâches.

En regardant vers l’avenir, Google vise une véritable révolution dans le contrôle de votre smartphone. Si cette direction se poursuit, il est évident que dans quelques années, l'IA sera capable de gérer l'ensemble du système d'exploitation uniquement par la voix et la caméra vidéo, comprenant l'environnement et les intentions de l'utilisateur en temps réel. Un rêve ou une dystopie ?