Meta Robots-Tag

Die Meta-Robots Angabe ist eines der wichtigesten Meta-Tags. Wie alle HTML-Meta-Angaben muss natürlich die Anweisung an die Suchmaschinen-Crawler (Robots) innerhalb des head-Bereichs des HTML-Dokuments stattfinden.

Als zulässige Werte sind unter anderem die Angaben „Noindex“ und „Nofollow“ zugelassen, die entgegengesetzten Werte „Index“ und „Follow“ werden von Suchmaschinen als Standard angenommen. Diese müssen deshalb nicht explizit gesetzt werden.

Wenn keine „negative“ Anweisung, also Noindex oder Nofollow auf einer Seite gesetzt wurde, folgen Suchmaschinen sowohl allen Links und nehmen die Seite in den Index auf. Eine Übersicht der von Google verstandenen Meta Angaben finden Sie in der Google-Hilfe.

Der Aufbau des Tags lautet

<meta name="robots" content="Anweisung">

Beispiele zum Aufbau der Meta-Robots Angabe

Eine Seite soll nicht indexiert und allen Links nicht gefolgt werden:

<meta name="robots" content="noindex, nofollow">

Links auf einer Seite soll nicht gefolgt werden

<meta name="robots" content="nofollow">

Links auf einer Seite soll gefolgt werden, allerdings soll die Seite nicht indexiert werden

<meta name="robots" content="noindex">

Die Meta-Robots Angabe beeinflusst nur die Indexierung von Inhalten, nicht deren Crawling. Wenn Sie eine Seite nicht crawlen lassen wollen, müssen Sie dafür die robots.txt einsetzen. Bei einer Disallow-Angabe für eine URL kann ein Crawler entsprechend nicht den Inhalt der Seite lesen und findet eventuell vorhandene Meta-Robots Angaben nicht. Oder anders ausgedrückt: Der Inhalt der gesperrten Seiten ist für eine Suchmaschine nicht lesbar.

Für PDF-Dokumente kann ein Indexierungsausschluss über die X-Robots Angabe gesetzt werden. Weitere Informationen finden Sie unter https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=de.