Googlebot

Mit dem Namen Googlebot wird der Webcrawler von Google bezeichnet. Webcrawler sind computergesteuerte Programme, die den Inhalt („Content“) von Webdokumenten analysieren und diese Inhalte gegebenenfalls in ihren Index aufnehmen. Im Falle von Google ist dies der Google-Index. Beim Zugriff des Googlebots auf einen Webserver macht sich dieser über den User-Agent Googlebot kenntlich. Dadurch ist es bei einer Analyse der Serverlogfiles möglich, die einzelnen Seitenaufrufe des Crawlers nachzuvollziehen.

Die User-Agents des Googlebot

Neben dem „allgemeinen“ Googlebot gibt es Crawler, die für spezielle Themen geschaffen wurden. So gibt es z.B. einen Googlebot für Nachrichten, der sich mit eigener Nutzerkennung auszeichnet. Nachfolgend sind einzelne Google-Crawler und deren User-Agent aufgelistet:

  • Google Websuche: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot für Nachrichten: Googlebot-News
  • Googlebot für Bilder: Googlebot-Image/1.0
  • Googlebot für Videos: Googlebot-Video/1.0
  • Googlebot für Adsense: Mediapartners-Google

Für die Erfassung mobiler Inhalte hat Google im Januar 2014 eine Neuerung angekündigt. So werden mobile Inhalte in Zukunft durch einen Bot mit der Kennung Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) erfasst werden.

Die Übersicht über die verschiedenen User-Agents der Google-Crawler finden Sie hier.

Wie crawlt Google das Netz?

Ein Crawlingvorgang läuft in der Regel so ab, dass mehrere Instanzen des Googlebot gleichzeitig die Inhalte einer Website erfassen. Über die robots.txt-Datei ist eine Steuerung von Crawlern möglich. Durch die Verwendung des Meta-Tags „Robots“ mit dem Wert Noindex haben Webmaster die Möglichkeit, die Indexierung einzelner Seiten durch Suchmaschinen zu unterbinden. Das sogenannte Indexierungsmanagement ist dabei ein wichtiger Baustein einer strategischen Onpage-Optimierung.

Innerhalb der Google Webmaster Tools (hier finden Sie unser kostenloses Webmaster Tools E-Book) können Sie unter dem Punkt „Crawling“ die sogenannten Crawling-Statistiken aufrufen. Die Statistiken zeigen Ihnen unter anderem, wie viele Seiten Googlebot auf dem Webauftritt analysiert hat.

Weitere Informationen zum Googlebot gibt es in der Google-Hilfe.