In den letzten Wochen wurde immer mehr Kritik von neidischen Verlegern an Google laut, die behaupteten, dass Google sich nur fremden Content zu Nutze macht um an Werbung Geld zu verdienen. Dies ging soweit, dass einige Verleger angekündigt haben, ihre News lieber exclusiv an den Konkurrenten Bing zu verkaufen.
Nun hat Google – wie ich finde – sehr gut reagiert und dem Google News Bot (der die Webseiten nach neuen News durchsucht) einen klaren Namen gegeben: „Googlebot-News„. Somit liegt es nun in der Hand eines jeden Verlegers diesen per robots.txt zu sperren, um somit die eigenen News vor der Listung im Google News Index zu schützen.
Somit kann man nun seine Seite durch folgenden Eintrag in die robots.txt für den Google News Bot blocken:
User-agent: Googlebot
Disallow:User-agent: Googlebot-News
Disallow: /
Weiterführende Infos zum Google News Bot gibts im Google Webmaster Central Blog.