Vorwort

Diese Webseite wurde aus einer Frust heraus erstell, da sehr viele Webmaster die kleine robots.txt-Datei falsch verwenden, seltsam konfigurieren oder ganz ignorieren. Ich als SEO habe zu viele grausam entstellte robots.txt´s gesehen um nicht zu handeln. Jemand muss das Wort erheben 😉
Ich möchte an dieser stelle auch auf die Webseite der Robots.txt verweisen: http://www.robotstxt.org (englisch) verweisen. Mir persönlich fehlen allerdings einige wichtige Informationen auf der offiziellen Seite, ein weiterer Grund warum ich hier schreibe.

Anleitungen

Hier geht es zur ersten Anleitung: Die ultimative WordPress Robots.txt Anleitung