Vous connaissez Stephen Hawking qui « tapait » grâce au mouvement de ses yeux sur un clavier virtuel ? Eh bien, Google a mis au point un Souris de jeu IA qui vous permet de faire cela et bien plus encore. Le projet était révélé à l'occasion de Google I/O 2023, où le Pliage Google Pixel et le Google Pixel 7a. Voyons ensemble les détails.
Google Project Gameface, c'est la souris gamer qui s'utilise sans les mains : une un peu comme dans les films, on la manœuvre grâce aux gestes du visage
Google continue d'explorer les possibilités de l'intelligence artificielle, démontrant des applications et des technologies intéressantes. L'un des derniers développements du géant de la recherche était un projet appelé Project Gameface, une souris de jeu prenant en charge le contrôle mains libres équipé d'IA. Le contrôleur est basé sur l'intelligence artificielle et l'interaction avec le "dispositif" se fait grâce à la webcam. Il scanne le visage de l'utilisateur, suit les mouvements de la tête et les expressions faciales. Et puis les données reçues sont converties en mouvements des personnages du jeu.
Le logiciel Gameface vous permet de personnaliser les raccourcis clavier et souris pour des gestes spécifiques, y compris sourire, détourner le regard ou lever un sourcil. Par exemple, l'ouverture de la bouche peut être configurée pour cliquer sur le bouton gauche de la souris. En même temps, il est possible spécifier le niveau d'intensité d'un geste particulier à laquelle la commande configurée fonctionnera.
Project Gameface utilise MediaPipe open source de Google, qui combine divers modèles d'IA. Le spécialiste de l'intelligence artificielle de Google Laurent Moroni note que le résultat des travaux d'AI est une grille de 468 points sur le visage, qui sont ensuite convertis en télémétrie, comme les mouvements de la souris ou les clics.
Project Gameface est une nouvelle technologie prometteuse qui a le potentiel de rendre les jeux plus accessibles. Le le code est open source et disponible en avant-première aujourd'hui. L'outil est encore en cours de développement, mais si vous êtes un développeur, vous pouvez contribuer, améliorer ou utiliser cette technologie via le Référentiel GitHub.
