Meta Robots-Tag

Die Meta-Robots Angabe ist eines der wichtigesten Meta-Tags. Wie alle HTML-Meta-Angaben muss natürlich die Anweisung an die Suchmaschinen-Crawler (Robots) innerhalb des head-Bereichs des HTML-Dokuments stattfinden.

Als zulässige Werte sind die Angaben „Noindex“ und „Nofollow“ zugelassen, die entgegengesetzten Werte „Index“ und „Follow“ werden von Suchmaschinen als Standard angenommen und müssen nicht explizit verwendet werden. Sofern keine „negative“ Anweisung, also Noindex oder Nofollow auf einer Seite gesetzt wurde, folgen Suchmaschinen sowohl allen Links und nehmen die Seite auch in den Index auf.

Der Aufbau des Tags lautet

<meta name=“robots“ content=“Anweisung“>

Beispiele zum Aufbau der Meta-Robots Angabe

Eine Seite soll nicht indexiert und allen Links nicht gefolgt werden:

<meta name=“robots“ content=“noindex, nofollow“>

Links auf einer Seite soll nicht gefolgt werden

<meta name=“robots“ content=“nofollow“>

Links auf einer Seite soll gefolgt werden, allerdings soll die Seite nicht indexiert werden

<meta name=“robots“ content=“noindex“>

Die Meta-Robots Angabe beeinflusst nur die Indexierung von Inhalten, nicht deren Crawling. Sofern Sie eine Seite nicht crawlen lassen wollen, müssen Sie dafür die robots.txt einsetzen. Bei einer Disallow-Angabe für eine URL kann ein Crawler entsprechend nicht den Inhalt der Seite lesen und würde eventuell vorhandene Meta-Robots Angaben nicht finden. Oder anders ausgedrückt: Der Inhalt der gesperrten Seiten ist für eine Suchmaschine nicht lesbar.