INTERNET WORLD Logo Abo
SEO-Illustration

SEO-Kolumne robots.txt - kleine Datei mit großer Wirkung

Shutterstock / StockStyle
Shutterstock / StockStyle

Die robots.txt-Datei ist oft dafür verantwortlich, dass eine komplette Internetseite aus dem Google-Index verschwindet und im Ranking abrutscht. SEO-Kolumnist Timon Hartung zeigt euch, wie ihr diesen Worst Case vermeidet. 

Die robots.txt ist eine kleine Textdatei, die Anweisungen für Suchmaschinen bereithält. Diese Anweisungen bestimmen, in welche Verzeichnisse der Google Bot reinschauen darf und in welche nicht.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?



Der Google Bot ist ein kleines Programm, welches allen Links im Internet folgt und die Inhalte hinter den Links sammelt und diese Inhalte dann an die Google Suchmaschine weitergibt (an den Google Indexer). Mit der robots.txt können wir dieses kleine Google Bot-Programm aus bestimmten Verzeichnissen ausschließen, sodass es die Inhalte hinter den Links nicht lesen darf.



Eigentlich ganz einfach und auch sehr nützlich, besonders wenn es Verzeichnisse gibt, die viele technische Dateien haben, die nicht relevant für die Google-Suche sind. Zum Beispiel viele XML- oder JSON-Dateien, die nur für das Programm sichtbar sein sollen.

Was den Google Bot stört

Es gibt sogar Verzeichnisse, welche den Google Bot stören würden, weil es so viele unnütze und irrelevante Dateien sind. Ein Beispiel dafür sind Javascript-Kalender, in denen jeder Tag eine eigene Seite ohne Inhalt hat und man dadurch schnell tausende Seiten ohne Inhalt generieren würde. So kann man Google sehr einfach sagen: Hier brauchst du nicht deine Ressourcen zu verschwenden, hier brauchst du nicht reinschauen.



Wenn man die robots.txt richtig anwendet, dann funktioniert das auch sehr gut, doch oftmals sehe ich in der Praxis, dass relevante Verzeichnisse ausgeschlossen werden, die wichtigen Content für die User und Google beinhalten. So wird schnell ein ganzer Ordner blockiert. Google kann die Inhalte dann nicht mehr lesen und fängt an, sie im Ranking herunterzustufen oder sogar ganz herauszunehmen. Das bedeutet Rankingverlust. Weniger Besucher und weniger Umsatz.

Sie möchten weiterlesen?
Jetzt 3 Monate für 9,90 € testen*
  • monatl. digitale Commerce Briefings
  • tägl. Commerce Shots Newsletter
  • alle digitalen plus-Inhalte
  • 1x Magazin in Print und Digital
  • exklusive Rabatte der INTERNET WORLD Events & Academy

*danach 24,92 € pro Monat im Jahres-Membership; monatlich kündbar.

INTERNET WORLD Abonnenten können im Rahmen ihres Memberships auf alle Inhalte zugreifen. Noch keine Zugangsdaten? Dann schreib uns an: kundenservice@ebnermedia.de.

Weitere Angebote findest du hier.

Das könnte Sie auch interessieren