Im Internet sind zu viele falsche und veraltete Informationen zu dieser kleinen aber mächtigen Datei unterwegs. Mit dieser ultimativen Anleitung 😉 möchte ich diese Fehler ausmärzen.

Vorab: Man kann nur bei selbst gehostete WordPress Seiten Einfluss auf die Robots.txt nehmen. Besitzer einer DeineDomain.wordpress.com Seiten können keine Änderungen vornehmen.

 

Wie man die Robots.txt in WordPress bearbeitet

Dafür gibt es zwei Wege. Entweder über den FTP Server oder einfach über ein Plugin. Das Ergebnis ist dabei immer gleich. Für die meisten Leser wird die Lösung über ein Plugin in Frage kommen.

Robots.txt mit Hilfe eines Plugins überarbeiten

Es gibt verschiedene Plugins, ich selber verwende aber ausschließlich das kostenlose Plugin von Yoast. Man kann damit nicht nur Einfluss auf die Robots.txt nehmen, sondern bei Bedarf auch die .htaccess anpassen, Sitemaps erstellen, Meta-Title und Descriptions anpassen und die Meta-Robots steuern.

1. Plugin installieren

Hierzu einfach im Backend eurer WordPress-Installation den Cursor über den Punkt „Plugins“ bewegen und auf „Installieren“ klicken. Im dann erscheinenden Fenster oben nach „Yoast SEO“ suchen und das Plugin installieren. Hier der direkte Link: https://de.wordpress.org/plugins/wordpress-seo/

2. Yoast SEO einstellen

Stelle sicher, dass Yoast SEO „Erweiterte Einstellungen“ auf „Aktiviert“ gestellt ist. Dafür geh im Backend auf den neuen Punkt „SEO“, dann auf Dashboard -> Funktionen und schalte den Punkt „Erweiterte Einstellungen“ ein.

3. Die Robots.txt anpassen

Öffne den Reiter SEO -> Werkzeuge -> Datei-Editor. Nun solltest du die Robots.txt und die .htaccess sehen können. Die .htaccess bitte nur bearbeiten, wenn du weißt was du machst! Falsche Befehle können deine Seite vollständig lahmlegen.

Den gesamten Inhalt der Robots.txt kannst du jetzt durch die folgende, optimalen Einstellungen ersetzen. Du wirst überrascht sein.

 

Robots.txt mit Hilfe von FTP bearbeiten

Die Datei muss im Root-Verzeichnis deiner Webseite abgelegt werden. Dazu erstellst du einfach eine .TXT Datei mit einem Editor deiner Wahl und fügst die folgenden optimalen Einstellungen ein. Dann bennenst du die Datei robots.txt und lädst diese hoch. Achtung: Der Dateiname muss klein geschrieben werden.

 

Wie eine optimale Robots.txt für WordPress aussehen sollte

Richtige WordPress Robots.txt
User-agent: *
Disallow:

Sitemap: http://www.DeineDomain.tld/Deine-Sitemap-URL.xml

Ja, tatsächlich, die optimale (standard) Robots.txt fällt so kurz aus und erfüllt damit alle wichtigen Punkte für ein optimales Crawling deiner Webseite. Alle Crawler, einschließlich Google, können alles wichtige lesen und die Seite nach Bedarf wie ein Nutzer rendern und verstehen. Wodurch Google wichtige Signale für das Ranking deiner Seite erhält. Man kann diese Einstellung „Allow All“ nennen, wie ganz kurz in der verlinkten Anleitung beschrieben.

 Für bestimmt 99% aller WordPress Blogs reicht diese Robots.txt aus. Du gefährdet deine Rankings, wenn die Robots.txt falsch eingerichtet wird. 

 

Was sagen wir den Crawlern mit diesen Einstellungen?

User-agent:*
Mit diesem Befehl sprechen wir jeden Bot an. Der „*“ gilt als Wildcard.

Disallow:
Mit dem leeren Disallow befehl sagen wir „Alles ist erlaubt“.

Sitemap: http://www.DeineDomain.tld/Deine-Sitemap-URL
Mit diesem Befehl sagen wir den Bots, wo die Sitmap.xml zu finden ist. Zusätzlich empfiehlt es sich, die Sitmap.xml in den jeweiligen Webmaster Tools zu hinterlegen.

 

Sollten Parameter und Suchergebnisse auch ausgeschlossen werden?

In den aller meisten Fällen nicht über die Robots.txt. Für diese Aufgabe sollten Meta-Robot-Anweisungen und Canonicals verwendet werden. SEO Plugin lösen diese Problem sehr einfach. Wieder ist das kostenlose SEO Plugin von Yoast zu empfehlen.

Alle URLs sollten immer lesbar aufgebaut sein und nicht aus Parametern bestehen. Wenn Parameter zum Filtern oder Darstellen von Inhalten verwendet werden, sollten diese per Canonical auf das Original verweisen. Seiten mit Canonicals sollten nicht in den Meta-Robots (ungleich robots.txt) auf „noindex“ gesetzt werden. Es sei denn, das Original ist ebenfalls auf „noidex“ gesetzt.

Die Suche-Seite und alle Ergebnisse sollten auf „noindex,follow“ gesetzt werden. Die Ergebnisse sollten dabei nicht per Canonical auf die Suche-Seite verweisen, da jedes Ergebnis ungleich der Suche-Seite ist.

 

Muss ich den Feed auch sperren?

Nein. Google ignoriert seit Jahren automatisch diese Seiten (/feed/) und nimmt sie nicht mehr in den Index auf. Der Grund dafür ist ganz einfach: Google hat bemerkt, dass diese Inhalte keinen großen Wert für die eigenen Nutzer hat.

 

Sollte ich Plugins und den Admin-Bereich sperren?

Nein. Plugins sollten auf gar keinen Fall gesperrt werden, da diese das Aussehen einer Seite beeinflussen können und somit wertvoll für die Bewertung der Seite durch Crawler sind.

Ebenfalls sollte /wp-admin/ nicht gesperrt werden, da diese Seite sonst im Index auftauchen kann. Die Robots.txt sorgt nämlich nicht für eine Deindexierung von Seiten, solange diese irgendwo verlinkt werden. Gute Bots fangen ohne hin nichts mit den Inhalten von /wp-admin/ an und böse Bots lassen sich nicht durch die robots.txt aufhalten.

 

 

Mehr Details zur WordPress Robots.txt:

CSS und Javascript NICHT blockieren! Das kann eure Rankings beeinflussen.

Google will vollen Zugriff auf alle Daten deiner Webseite / deines Blogs, da Google die Seite rendern kann und will. Dafür benötigt Google auch Zugriff auf deine Javascript und CSS Dateien! Wenn dieser Zugriff durch die Robots.txt blockiert wird, wird Google dir einen Fehler in der Search Console anzeigen und dich auffordern den Zugriff freizugeben. Das gilt nicht nur für WordPress Seiten, sondern natürlich auch für alle anderen CMS Systeme am Markt.

Wofür will Google meine Seite rendern?

Google will die Seite wie ein menschlicher Nutzer sehen, um die Qualität der Seite auswerten zu können. Google sieht und bewertet schon lange nicht mehr nur den HTML-Code einer Seite, spätestens seit Panda 4.0, sondern bezieht auch das Design mit in die Rankings ein. Einige Seiten haben seit Panda 4.0 deutlich an Sichtbarkeit verloren, da die Robots.txt falsch eingerichtet war. Hierzu gibt es einen sehr schöner Artikel von Yoast.com (EN) inklusive Case-Study. Wie es richtig geht, erfährst du bei mir.

 

Das Netz ist voll mit falschen / alten Informationen zur „richtigen“ Verwendung der Robots.txt. Besonders für WordPress.

Ich lese fast überall in Foren und auf SEO Webseiten, dass man die Robots.txt nicht leer lassen soll, damit Google keine unnötigen / sensiblen Seiten in den Index aufnimmt. Nur leider ist die Robots.txt für diese Aufgabe nicht wirklich geeignet. Die robots.txt hält nämlich keine bösartigen Bots auf! Genau so wenig ist sie für das Deindexieren von Seiten geeignet.

Eine der vollkommen falschen WordPress Robots.txt Vorschläge sieht dann in etwa so aus:

Falsche WordPress Robots.txt
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /feed/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /wp-register.php
Disallow: /wp-content/themes/*
Disallow: */tag/*
Disallow: *?s=*
Disallow: /search/*

Dieses Beispiel ist eine Kombination von Vorschlägen, gefunden in der MOZ Community und auf Webseiten von SEO-Spezialisten.

 Google kann mit diesen Disallow-Einstellungen eure Seite nicht mehr rendern! Wir verbieten den Zugriff auf vitale Komponenten für Darstellung und Funktionen der Seite. Diese Ausschlüsse können sich sehr negativ auf die SEO-Leistung deiner Seite auswirken. 

Disclaimer: Ich bin nicht Affiliate mit Yoast, noch in irgend einer Weise verbunden. Ich bin lediglich vom Produkt überzeugt.

Quellen und Tools

Schreibe einen Kommentar