100% de compréhension, pour 88% de réponses correctes.
L’année s’achève bientôt, l’heure est au bilan pour Loup ventures. Comme chaque année, la firme publie son classement des assistants numériques intelligents. Concrètement, Loup ventures fait passer un « test de QI » à Google Assistant (via Google Home), Siri (HomePod d’Apple), Alexa (Amazon Echo) et Cortana (Microsoft) sur Invoke d’Harman Kardon en leur posant 800 questions types.
Les résultats
Cette année encore et pour la deuxième année consécutive, Google Assistant est désigné comme le « plus intelligent » de sa catégorie. L’assistant intelligent se distingue en ce qu’il comprend 100% des questions posées et peut répondre correctement à 88% d’entre elles, contre 75% pour Siri, 73% pour Alexa et enfin 63% pour Cortana.
Des résultats en constante progression puisque l’année dernière, Google Assistant a répondu à seulement 81% des questions de manière exacte contre 52% pour Siri, 64% pour Alexa et 56% pour Cortana. Les enceintes connectées intégrant ces solutions deviennent donc de plus en plus « intelligentes ». Il est également à noter que l’incompréhension des questions est majoritairement due à un nom propre, comme le nom d’une ville ou d’un restaurant.
Méthodologie
Après avoir posé les mêmes 800 questions aux assistants connectés, elles ont été notées sur deux métriques :
– A-t-il compris ce qui était dit ?
– A-t-il donné une réponse correcte ?
Si on regarde dans les détails, ces 800 questions, conçues pour tester de manière exhaustive les capacités et l’utilité d’un locuteur intelligent, ont été divisées en 5 catégories :
– Local : Où est le café le plus proche ?
– Commerce : Peux-tu me commander plus de papier toilette ?
– Navigation : Comment puis-je me rendre dans le centre-ville en bus ?
– Information : Contre qui les Twins jouent-ils ce soir?
– Commande : Commande – Rappelle-moi d’appeler Steve à 14 heures aujourd’hui.
Sur ce dernier point en revanche, Google Assistant s’est montré moins efficace que Siri. C’est le seul moment où le HomePod prend la tête cette année, mais il reste fermement accroché à sa deuxième place. Dans le rétroviseur Alexa et Cortana n’ont pas dit leur dernier mot. Selon toute vraisemblance, Alexa d’Amazon devrait progresser dans la catégorie Commerce. « À mesure que l’informatique vocale devient plus polyvalente et que les assistants deviennent plus performants, nous allons continuer à modifier notre test afin qu’il reste exhaustif« , précise ainsi le rapport annuel.
En un an, Google Assistant a progressé de 7 points, Echo de 9 points, Siri (sur 9 mois) de 22 points et Cortana de 7 points en matière de réponses correctes. La rapidité avec laquelle ces IA s’améliorent laisse augurer des résultats toujours plus impressionnants pour 2019.
