“Yahoo! Slurp” ist ein Computerprogramm von Yahoo! welches das Internet selbständig nach Inhalten durchsucht. Im Fachjargon wird dieses Computerprogramm auch Spider, Crawler oder Robot genannt.
“Yahoo! Slurp” wurde von Yahoo im Jahr 2003 von Inktomi gekauft, der ehemalige Name lautete einfach nur “Slurp”.
Die genaue Funktionsweise wird unter http://help.yahoo.com/l/de/yahoo/search/index.html beschrieben.
Über die robots.txt kann die Aktivität von Yahoo Slurp auf der eigenen Seite begrenzt werden. Derzeit werden täglich 3000 – 5000 Seiten bzw. Links gespidert.
Um den Traffik und die Serverlast zu minimieren kann folgender Eintrag verhindern das Lastspitzen auftreten:
User-agent: Slurp
Crawl-delay: 60
“Crawl-delay” sagt Slurp nach wievielen Sekunden der nächste Link aufgerufen werden soll. Diese Vorgehensweise wird auch von Yahoo selbst empfohlen.
Related posts: