Jean Veronis, professeur de Linguistique et Informatique à l’Université d’Aix Marseille 1, a réalisé une étude avec ses étudiants en licence MASHS (Mathématiques Appliquées, Sciences Humaines et Sociales). Thème de l’enquête : le classement, en terme de pertinence, des différents moteurs de recherche. Dans l’éprouvette, trois moteurs américains (Yahoo, Google et MSN) et trois moteurs français (Exalead, Voilà et Dir.com).

L’objet est aussi intéressant que ses résultats : dans le protocole d’étude, quatorze thèmes ont été retenus, représentants une utilisation « normale » ou habituelle d’un moteur : actualités, animaux, cinéma, divertissement, histoire, littérature, musique, nature, personnages célèbres, politique, santé sports, surnaturel et voyages. Chaque thème a été confié à un étudiant afin qu’il choisisse librement cinq requêtes. La formulation était libre (parenthèse ou non, etc.) afin de se rapprocher au mieux des usages d’un public non spécialiste. En tout, 70 requêtes ont été soumises aux six moteurs. Au final, après écrémage des résultats sponsorisés, 4200 résultats au total ont été répertoriés et débarrassés des informations autres que les seules URL des résultats.

Ce stock purement quantitatif a alors été confié aux étudiants pour analyse qualitative. Il s’agissait ainsi d’isoler les sites pornos, les liens morts, les sites hors thèmes, les sites commerciaux, ou encore, plus globalement, la pertinence de l’information au regard de la question.

Plusieurs constats : « Parmi les sites commerciaux qui apparaissent au moins 10 fois dans un des moteurs, seules figurent trois sociétés : Amazon, E-Bay et PriceMinister. Leur association avec les différents moteurs est intéressante à étudier (dans cet ordre). Google et Yahoo sont fortement associés à Amazon, tandis que Voilà préfère Ebay et PriceMinister » note l’enseignant.

De même, la proportion de pages hors thème est parfois très importante. Elle va de 20,7 % chez Yahoo (chiffre le plus faible du tableau) à 49,1 % pour Voilà (le plus haut). Porté par sa réputation, Google obtient tout de même 24,8%, dans ce classement. En termes de pertinence, Google et Yahoo sont au coude à coude décrochant une note de 2,3/5, proches de MSN (2/5), et loin devant Exalead (1,8), Dir (1,4) et Voilà (1,2). Yahoo et Google sont encore les mieux classés lorsqu’on se penche sur la proportion des résultats notés 5/5

Jean Veronis trace plusieurs conclusions. On retiendra ainsi que « rien dans cette étude ne permet d’expliquer la préférence massive des internautes pour le moteur Google, puisque, globalement Google et Yahoo ont des performances à peu près équivalentes, et se détachent de leurs concurrents », explique l’enseignant avant de supposer que les raisons exactes sont autres que de simples critères de pure pertinence. Et l’auteur de constater encore la présence de plus en plus importante des liens à caractère commercial (de 7 à 16% des résultats) engendrant une « nette dégradation en termes de pertinence perçue ».  On pourra consulter cette étude sur ce document Pdf.