INTERNET WORLD Logo Abo
SEO-Illustration

SEO-Kolumne robots.txt - kleine Datei mit großer Wirkung

Shutterstock / StockStyle
Shutterstock / StockStyle

Die robots.txt-Datei ist oft dafür verantwortlich, dass eine komplette Internetseite aus dem Google-Index verschwindet und im Ranking abrutscht. SEO-Kolumnist Timon Hartung zeigt euch, wie ihr diesen Worst Case vermeidet. 

Die robots.txt ist eine kleine Textdatei, die Anweisungen für Suchmaschinen bereithält. Diese Anweisungen bestimmen, in welche Verzeichnisse der Google Bot reinschauen darf und in welche nicht.

Was bedeutet es, wenn der Google Bot in ein Verzeichnis reinschauen darf?



Der Google Bot ist ein kleines Programm, welches allen Links im Internet folgt und die Inhalte hinter den Links sammelt und diese Inhalte dann an die Google Suchmaschine weitergibt (an den Google Indexer). Mit der robots.txt können wir dieses kleine Google Bot-Programm aus bestimmten Verzeichnissen ausschließen, sodass es die Inhalte hinter den Links nicht lesen darf.



Eigentlich ganz einfach und auch sehr nützlich, besonders wenn es Verzeichnisse gibt, die viele technische Dateien haben, die nicht relevant für die Google-Suche sind. Zum Beispiel viele XML- oder JSON-Dateien, die nur für das Programm sichtbar sein sollen.

Was den Google Bot stört

Es gibt sogar Verzeichnisse, welche den Google Bot stören würden, weil es so viele unnütze und irrelevante Dateien sind. Ein Beispiel dafür sind Javascript-Kalender, in denen jeder Tag eine eigene Seite ohne Inhalt hat und man dadurch schnell tausende Seiten ohne Inhalt generieren würde. So kann man Google sehr einfach sagen: Hier brauchst du nicht deine Ressourcen zu verschwenden, hier brauchst du nicht reinschauen.



Wenn man die robots.txt richtig anwendet, dann funktioniert das auch sehr gut, doch oftmals sehe ich in der Praxis, dass relevante Verzeichnisse ausgeschlossen werden, die wichtigen Content für die User und Google beinhalten. So wird schnell ein ganzer Ordner blockiert. Google kann die Inhalte dann nicht mehr lesen und fängt an, sie im Ranking herunterzustufen oder sogar ganz herauszunehmen. Das bedeutet Rankingverlust. Weniger Besucher und weniger Umsatz.

Sie möchten weiterlesen?
Digital plus jetzt 1 Monat kostenlos testen*
  • alle PLUS-Artikel auf allen Devices lesen
  • Inklusive digital Ausgabe des Magazins
  • alle Videos und Podcasts
  • Zugang zum Archiv aller digitalen Ausgaben
  • Commerce Shots, das Entscheider-Briefing für den digitalen Handel
  • monatlich kündbar

*danach € 9,90 EUR/Monat, monatlich kündbar

SEO und SEA bilden das Dreamteam im Online-Marketing. Aktuelle Trends, Zahlen, Learnings und mehr bietet der wöchentliche SEO/SEA World Newsletter, der in Co-Creation mit unserem Schwesterportal Werben und Verkaufen entsteht. >> Zum kostenlosen Newsletter
Das könnte Sie auch interessieren