Pour ceux qui ne connaissent pas l’existence et le principe du fichier « robots.txt », sachez qu’il s’agit d’un simple fichier texte très fréquemment utilisé par les éditeurs de sites Internet pour indiquer aux moteurs de recherche ce qu’ils ont le droit d’indéxer (de référencer) et ce qu’ils doivent ignorer. Pratique pour cacher une nouvelle version ou empêcher le référencement de certaines zones privées.
Bon les geeks ou éditeurs de sites web apprécieront certainement plus la blague que les non initiés mais je ne pouvais pas m’empêcher de bloguer le fichier robots.txt qui actuellement utilisé par le célèbre site de musique en ligne Last.fm :
User-Agent: *
Disallow: /music?
Disallow: /widgets/radio?
Disallow: /show_ads.phpDisallow: /affiliate/
Disallow: /affiliate_redirect.php
Disallow: /affiliate_sendto.php
Disallow: /affiliatelink.php
Disallow: /campaignlink.php
Disallow: /delivery.phpDisallow: /music/+noredirect/
Disallow: /harming/humans
Disallow: /ignoring/human/orders
Disallow: /harm/to/selfAllow: /
ce sont surtout les 3 lois de la robotique d’Asimov
très drôle pour le coup
Énorme! Il n’y a pas à dire, c’est le plus personnalisé robots.txt que j’ai pu voir. Ça donne envie d’aller fouiller les codes sources de leur site pour voir s’il n’y à pas d’autres surprises du même genre.
Les trois lignes font plutôt référence aux trois lois de la robotique (comme dans le film i-Robot).
http://fr.wikipedia.org/wiki/Trois_lois_de_la_robotique
Effectivement, je viens de corriger l’article.. mais où avais-je la tête !!
Pas de source, j’ai pourtant vu passer l’info sur d’autres sites. A moins que tu ne sois le découvreur de la chose !
je l’ai lu sur digg cet après-midi, j’ai simplement oublié de le mentionner
Pour info, c’est l’auteur même du code qui a officialisé sa découverte, via Twitter, 5 mois après sa mise en ligne source: http://www.hteumeuleu.fr/robots-txt-last-fm/ ).
Merci pour cette prévision ! le tweet en question est toujours dispo en ligne : http://twitter.com/jonty/status/19668020429