Magentos robots.txt vs. Google

Shopbetreiber, die Magento als Shopsoftware einsetzen, sollten unbedingt mal einen Blick in Ihre robots.txt werfen. Dort wird oftmals das Crawling des „skin“-Ordners (ggf. auch der „media“ und/oder weiterer Ordner) für jegliche Bots, und somit auch für den Google-Bot, gesperrt (ggf. mit der Zeile Disallow: /skin/). In diesem Ordner bzw. diesen Verzeichnissen befinden sich aber – sofern nicht anderweitig konfiguriert – die für das Design mitverantwortlichen CSS-, JavaScript- und auch Bild-Dateien.

Mit den kürzlich offiziell erweiterten technischen Google Webmaster Guidelines (siehe auch hier) stehen diese robots.txt-Angaben jedoch grundsätzlich in Konflikt und können zu Problemen beim Rendering durch den Google-Bot und zukünftig auch zu Behinderungen bei der korrekten Indexierung und dem Ranking von URLs oder der gesamten Domain führen. Zumindest in unserem kurzen Test, bei dem wir uns die robots.txt-Files verschiedener größerer Magento-Shops angesehen haben, konnten wir in den meisten Fällen die Blockierung von fürs Layout wichtigen Dateien feststellen.

Um einen Eindruck davon zu erhalten, wie der Google-Bot Ihren Onlineshop oder Ihre Website tatsächlich „sieht“ und rendert, sollten Sie unbedingt die Funktion „Abruf wie durch Google“ in den Google Webmaster Tools benutzen. Lassen Sie dort einfach die Startseite „abrufen und rendern“ und schauen Sie sich die Ergebnisse an, die Ihnen Google dort direkt ausgibt. Sofern Ihnen Probleme aufgezeigt werden, die im Zusammenhang mit CSS-, JS- und Grafik-Dateien im „skin“-Ordner (oder auch anderen Verzeichnissen) stehen, sollten Sie die entsprechenden Anweisungen aus der robots.txt entfernen bzw. gezielt nur die Unterordner mit diesen Dateien zum Crawling freigeben (Allow: /ordner/), um so möglichen Ranking-Problematiken vorzubeugen.

Dieser Tipp richtet sich nicht nur an alle Magentoshop-Betreiber, sondern an alle Webmaster.

Diesen Artikel teilen



Hinterlasse einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht.

Wir sind bekannt aus...

  • Werben und Verkaufen
  • Internet World Business
  • lead Digital
  • t3n
  • https://www.trustagents.de/wp-content/uploads/2016/07/5.png
  • Markt und Mittelstand
  • IHK
  • n-tv