‹ Google voegt product beoordelingen toe aan Froogle •
Yahoo blijkt zelf geen robots.txt te hebben. Met robots.txt kun je zoekmachine spiders toegang verlenen of de toegang blokkeren. Zo heeft Google een robots.txt waarmee er verschillende directories worden afgeschermd.
Tags: .
2 reacties
RSS Feed voor reacties op dit artikel
Trackback link
http://www.roodlicht.com/yahoo-geen-robotstxt.htm/trackback
23 December, 2004 at 6:37 pm
DXL
Ja dus?
Ik vind het zoiezo niet erg netjes om _wel_ robots.txt te gebruiken.
Als je iets private wil houden moet je maar gewoon een beetje beveiligen
23 December, 2004 at 9:18 pm
Ric
Daniel, een robots.txt heeft niets te maken met het gegeven dat je iets wilt verbergen. Het is dat je niet wilt dat de zoekmachine opneemt, danwel doorzoekt van een site. Dat kan bijvoorbeeld de pagina zijn die wordt weergegeven als een site een 404- page not found -error krijgt, of de toegangspagina tot een klantlogin. In feite allemaal publiek toegankelijke webpagina’s, maar ze leveren geen zinnige bijdrage tot de inhoud van een zoekmachine. Alle info over robots.txt en wat het doet vindt je op http://www.robotstxt.org/wc/faq.html.