Die robots.txt ist eine kleine Textdatei, die Anweisungen für Suchmaschinen bereithält. Diese Anweisungen bestimmen, in welche Verzeichnisse der Google Bot reinschauen darf und in welche nicht.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?



Der Google Bot ist ein kleines Programm, welches allen Links im Internet folgt und die Inhalte hinter den Links sammelt und diese Inhalte dann an die Google Suchmaschine weitergibt (an den Google Indexer). Mit der robots.txt können wir dieses kleine Google Bot-Programm aus bestimmten Verzeichnissen ausschließen, sodass es die Inhalte hinter den Links nicht lesen darf.



Eigentlich ganz einfach und auch sehr nützlich, besonders wenn es Verzeichnisse gibt, die viele technische Dateien haben, die nicht relevant für die Google-Suche sind. Zum Beispiel viele XML- oder JSON-Dateien, die nur für das Programm sichtbar sein sollen.

Was den Google Bot stört

Es gibt sogar Verzeichnisse, welche den Google Bot stören würden, weil es so viele unnütze und irrelevante Dateien sind. Ein Beispiel dafür sind Javascript-Kalender, in denen jeder Tag eine eigene Seite ohne Inhalt hat und man dadurch schnell tausende Seiten ohne Inhalt generieren würde. So kann man Google sehr einfach sagen: Hier brauchst du nicht deine Ressourcen zu verschwenden, hier brauchst du nicht reinschauen.



Wenn man die robots.txt richtig anwendet, dann funktioniert das auch sehr gut, doch oftmals sehe ich in der Praxis, dass relevante Verzeichnisse ausgeschlossen werden, die wichtigen Content für die User und Google beinhalten. So wird schnell ein ganzer Ordner blockiert. Google kann die Inhalte dann nicht mehr lesen und fängt an, sie im Ranking herunterzustufen oder sogar ganz herauszunehmen. Das bedeutet Rankingverlust. Weniger Besucher und weniger Umsatz.