Meta Robots Tag erklärt

Die Meta Robots Angabe ist eines der wichtigsten Meta-Tags für die Suchmaschinenoptimierung. Wie alle HTML-Meta-Angaben muss die Anweisung an die Suchmaschinen-Crawler (Robots) innerhalb des head-Bereichs des HTML-Dokuments stattfinden.

Der Aufbau des Tags lautet

<meta name="robots" content="Anweisung">

Standardmäßig gehen Suchmaschinen davon aus, dass sie jegliches Dokument aufrufen und über die Google-Suche auffindbar machen dürfen. Entsprechend ist die Steuerung von Crawlern mittels robots-Angaben nur dann notwendig, wenn etwas explizit nicht gewünscht wird.

Mögliche Angaben sind:

Anweisung Bedeutung der Anweisung
noindex Die Seite soll nicht über die Google-Suche auffindbar sein.
nofollow Den (internen & externen) Links auf dieser Seite nicht folgen
none Entspricht der Angabe noindex, nofollow
noarchive Die Seite soll nicht als Kopie im Suchmaschinen-Cache (Zwischenspeicher) aufgenommen werden. Die Angabe hat keinen Einfluss darauf, ob die Seite in der Websuche erscheinen kann.
nosnippet Diese Angabe führt dazu, dass die Meta-Description (Beschreibungstext) nicht angezeigt wird.
noodp Suchmaschinen sollen für die Beschreibung nicht auf das Open Directory Project zugreifen. Da das ODP eingestellt wurde, ist diese Angabe obsolet.
notranslate Dadurch wird keine Übersetzung der Seite in den Suchergebnissen angeboten.
noimageindex Auf der Seite enthaltene Bilder nicht indexieren
unavailable_after: [RFC-850 date/time] Hiermit wird Suchmaschinen mitgeteilt, dass die Seite ab dem genannten Datum nicht mehr in der Suche erscheinen soll. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.
all Keinerlei Einschränkung. Diese Angabe entspricht dem Standardwert

Neben diesen Angaben gibt es noch einige weitere Meta (Robots) Angaben, die von Google verstanden werden. Eine Übersicht dieser Angaben finden Sie in der Google-Hilfe.

Beispiele zum Aufbau der Meta Robots Angabe

Eine Seite soll nicht indexiert, und allen Links nicht gefolgt werden:

<meta name="robots" content="noindex, nofollow">

Links dieser Seite soll nicht gefolgt werden

<meta name="robots" content="nofollow">

Links auf einer Seite soll gefolgt werden, allerdings soll die Seite nicht indexiert werden

<meta name="robots" content="noindex">

Die Meta-Robots Angabe beeinflusst nur die Indexierung von Inhalten, nicht deren Crawling. Suchmaschinen greifen folglich weiterhin auf die Adresse zu. Wenn Sie eine Seite nicht crawlen lassen wollen, müssen Sie dafür die robots.txt einsetzen. Bei einer Disallow-Angabe für eine URL kann ein Crawler nicht den Inhalt der Seite lesen und findet eventuell vorhandene Meta-Robots Angaben nicht. Oder anders ausgedrückt: Der Inhalt der gesperrten Seiten ist für eine Suchmaschine nicht lesbar.

Für PDF-Dokumente kann ein Indexierungsausschluss über die X-Robots Angabe im sogenannten HTTP-Header gesetzt werden. Weitere Informationen finden Sie unter https://developers.google.com/search/reference/robots_meta_tag?hl=de.

Meta Robots Angaben kontrollieren

Für die Kontrolle der Meta-Angaben ist normalerweise ein Blick in den Quelltext einer Seite notwendig. Eine komfortablere Möglichkeit zur Kontrolle bietet das kostenfreie Browser-Plugin „SeeRobots“. Dieses finden Sie mit anderen SEO-Browserpluginempfehlungen in unserem Blog.



Kommentare (2)

  • Boris Antworten

    Hallo zusammen,
    im dritten Beispiel zum Aufbau der Meta Robots Angabe ist „follow“ nicht angegeben. Ich verstehe es so, dass es automatisch erlaubt ist?
    Also muss ich Dinge wie follow oder index gar nicht in die Anweisung schreiben, weil das ja die Regel ist?
    Das würde jede Menge Zeit sparen 😉

    Vielen Dank
    Boris

  • Stephan Czysch Antworten

    Hallo Boris,

    exakt! Standardmäßig ist alles „follow“ und „index“ – nur wer deren Negativ-Angaben setzen möchte, der muss das entsprechend ein nofollow oder noindex definieren.

    Dieselbe Logik gilt übrigens auch bei der robots.txt: Ich muss nichts explizit erlauben, denn wenn es nicht Disallow: ist, dann ist es freigegeben. Allow: ist nur nötig, wenn ein Disallow ebenfalls auf URLs zutrifft, die ich doch freigeben lassen möchte. Z.B. könnte ich standardmäßig alle URLs blockieren, die „das-nicht“ enthalten, aber ein Allow für „das-nicht-ausschließen“ setzen 🙂

    Viele Grüße
    Stephan

Hinterlasse einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht.