Yahoo et Microsoft viennent tous les deux d’adopter Sitemap, un protocole qui permet d’aider l’internaute à faire indexer son site dans un moteur. Cette solution mise à disposition par Google depuis juin 2005 permet de renseigner le moteur et le robot d’indexation sur la liste des pages d’un site donné. Un travail toujours lourd et donc lent à mettre en oeuvre, sans cette aide.

« Ce protocole a été écrit pour être extrêmement évolutif et s'adapter à des sites de toutes tailles. Il permet également aux administrateurs Web d'inclure des informations complémentaires sur chaque URL (date de dernière modification, fréquence de révision, importance relative par rapport aux autres URL du site), de façon à favoriser une exploration plus intelligente du site par les moteurs de recherche. »


Le robot y trouve également les mises à jour de toute l’arborescence du site, même dans ses tréfonds, via un lien XML recensant ces informations. Avec ce travail facilité surtout pour les gros sites, Sitemap assurait aussi à Google une plus forte réactivité face à ses concurrents naturels que sont Yahoo et Microsoft.

Distribuée sous Creative Commons, la licence Sitemaps ne demandait ainsi qu’à être adoptée par d’autres moteurs, ce qui est aujourd’hui fait, indique Google dans son blog dédié aux webmasters. Pour l’occasion un nouveau site a été monté, sitemaps.org, soutenu par ces trois acteurs devenu pour le coup partenaires sur ce projet. On pourra encore consulter le site en français dédié à ce protocole.