Google DeepMind a annoncé que ses nouveaux modèles d'IA permettent aux robots d'effectuer des tâches plus complexes et même de recourir à Internet pour obtenir de l'aide. Lors d'une conférence de presse, Carolina Parada, directrice de la robotique de l'entreprise, a expliqué que ces nouveaux modèles fonctionnent de manière collaborative et permettent aux robots d'anticiper leurs actions concrètes. Le système s'appuie sur les modèles Gemini Robotics 1.5 et Gemini Robotics-ER 1.5, récemment dévoilés, des versions actualisées des modèles présentés en mars. Alors que ces robots pouvaient auparavant effectuer des tâches simples comme plier du papier ou ouvrir un sac, ils peuvent désormais trier le linge par couleurs claires et foncées, préparer une valise en fonction de la météo londonienne ou, par exemple, trier les déchets, le compost et les matières recyclables grâce à des recherches en ligne adaptées aux spécificités régionales.

Selon Parada, les modèles, auparavant performants pour l'exécution d'une instruction à la fois, vont désormais au-delà des commandes individuelles pour véritablement comprendre et résoudre les problèmes du monde physique. Pour ce faire, les robots utilisent le modèle amélioré Gemini Robotics-ER 1.5 pour représenter l'environnement et exploitent des outils numériques comme Google Search pour obtenir des informations complémentaires. Gemini Robotics-ER 1.5 convertit ensuite les données obtenues en instructions en langage naturel, compréhensibles par le robot.