Un logiciel qui déduit le sens des mots grâce à Google

En utilisant les résultats de recherche de Google et une approche probabiliste, des chercheurs ont développé une technologie capable de «comprendre» la signification de certains mots.

En se basant sur le Web, «la plus grande base de données planétaire», et plus précisément le moteur de recherche Google, des chercheurs de l'Université d'Amsterdam ont développé une technique qui permettrait à un logiciel de déduire la signification de certains mots.

La méthode se fonde sur le nombre de résultats obtenus lors de recherches avec un ou plusieurs mots-clés dans Google, ces données étant ensuite traitées à l'aide de calculs de probabilités afin de trouver une «distance» entre les mots.

Pour illustrer concrètement leurs propos, les chercheurs Rudi Cilibrasi et Paul M. B. Vitanyi donnent un exemple. Le mot «cheval» est trouvé dans 46,7 millions de pages Web, «cavalier» fournit 12,2 millions de résultats dans Google, tandis que la recherche simultanée de ces deux mots engendre 2,6 millions de résultats. Des calculs probabilistes permettent d'obtenir une «distance Google normalisée» généralement comprise entre 0 et 1, et censée donner une mesure de la «relation sémantique» entre les mots. Dans le cas de «cheval» et «cavalier», la proximité entre les mots est soulignée par une «distance» relativement courte de 0,45.

Avec une série de recherches dans Google, les chercheurs peuvent construire un arbre dans lequel les éléments sont disposés selon la «distance Google» qui les sépare. Dans l'article qui décrit les résultats obtenus grâce à cette méthode d'«extraction automatique» de la signification des mots, les chercheurs expliquent qu'ils sont parvenus à faire des distinctions entre des peintres néerlandais du 17e siècle (!), des nombres et couleurs, et même à trouver la traduction espagnole de mots anglais.

Envoyer à un(e) ami(e) - Version imprimable NOUVEAU!

Texte rédigé par : Jean-Charles Condo
Publié dans BRANCHEZ-VOUS! le 31 janvier 2005
Vous voulez réagir à cette actualité? Faites-le maintenant dans notre forum Internet