Une étude réalisée par l’entreprise américaine Loup Ventures a établi un classement des assistants vocaux les plus intelligents. Il en résulte que Siri, l’intelligence artificielle d’Apple, aurait un « QI » plus élevé que celle de Amazon Alexa. Google Assistant, quant à lui, est de loin l’assistant le plus perfectionné.
La méthode utilisée
Pour classer les IA, la société américaine n’a pas utilisé une méthode très sophistiquée : elle leur a simplement posé 800 questions chacune, sur différents thèmes. Pour évaluer la réponse, les chercheurs se demandaient : est-ce que l’IA a compris la question ? Est-ce que la réponse est correcte ? En plus de ça, ils ont disposé les questions par catégorie. Ainsi, elles pouvaient porter sur la localisation (quel est le restaurant le plus proche ?), sur les achats en ligne (commander tel ou tel produit), sur la navigation (comment se rendre dans le quartier X en vélo ?), sur des informations classiques (quel est le score du dernier match de hockey de la NHL ?) et sur son emploi du temps personnel (rappelle-moi que j’ai une réunion avec l’équipe Rotek à 18h00).
L’entreprise précise qu’elle changeait radicalement les thèmes sur lesquels portaient les tests qu’elle soumettait à chaque fois, pour observer le comportement des IA par rapport à des changements brusques. Enfin, cette étude a été réalisée sur Siri avec iOS 12.4, Google Assistant sur le smartphone Pixel XL (avec Android 9 pie) et pour Alexa avec l’application iOS. En ce qui concerne les enceintes dotées d’assistants intelligents, les chercheurs ont effectué des tests sur Wemo mini plug, TP-Link Kasa plug, Phillips Hue Lights, et Wemo Dimmer Switch.
L’analyse des résultats
Les résultats obtenus sont les suivants : Google Assistant domine le classement en ayant donné 93% de bonnes réponses et totalement compris chacune des 800 questions. Siri, qui a mal compris 2 questions mais obtenu 83% de réponses justes, se classe deuxième. Enfin, Alexa se classe troisième et dernier, en ayant mal compris une question et répondu correctement à 80% de celles-ci.
Toutefois, chacun des assistants vocaux a progressé de manière importante depuis le dernier test, datant de Juillet 2018 : Google Assistant avait alors obtenu 86%, Siri 79% et Alexa 61%. Regardons de plus près les catégories des questions : Google a obtenu les meilleurs scores sur 4 de celles-ci, Siri le devançant uniquement sur la catégorie de l’emploi du temps. Les questions avec le plus d’étendue au niveau des résultats ont été celle portant sur les achats en ligne : Google a obtenu 92%, contre 68% et 71% pour Siri et Alexa, respectivement. On aurait pu penser qu’Alexa dominerait cette catégorie, mais, l’entreprise américaine, avec son service Google Express, est totalement capable de rivaliser avec le géant Amazon. Mis à part ces détails, Loup Ventures note que chacune des IA a fait des progrès drastiques depuis les derniers tests et depuis la création de ces assistants, ce qui prouve leur importance.
Toujours plus de progrès pour les assistants vocaux
Sur une période de 13 mois, Google Assistant a augmenté son pourcentage de bonnes réponses de 7%, Siri de 5% et Alexa de 18%. L’assistant vocal d’Amazon a donc fait d’énormes progrès, c’est d’ailleurs la plus forte amélioration en un an depuis que Loup Ventures effectue ces tests. Les scores de chacune des IA approchent les 100%, ce qui signifie qu’elles seront probablement capables de répondre correctement à la plupart de vos requêtes d’ici peu. En attendant, elles sont toutes capables de saisir le sens de quasiment chacune de vos questions. Mais ce n’est que le début, car au fur et à mesure de leurs améliorations respectives, elles apprendront de nouvelles compétences et tendront à devenir totalement perfectionnées. C’est l’exemple-type de ce que représente actuellement le domaine de l’intelligence artificielle : des progrès fulgurants et toujours plus nombreux.
