Die Robots.txt-Datei ist nach einem bestimmten Schema aufgebaut. Zuerst gibt man an, für welchen Suchmaschinen-Spider die Anweisungen gelten, danach folgen die einzelnen Anweisungen. Ein Beispiel:

# robots.txt fuer http://www.ihreseite.de/

User-agent: BeispielRobot

Disallow: /temp/ # Die Dateien sind sehr kurzlebig

Disallow: /logfiles/ # Dateien sind nicht öffentlich

Mit "User-agent: BeispielRobot" bestimmt man, dass die Anweisungen nur für den Suchmaschinen-Spider „BeispielRobot" gelten. Mit den einzelnen „Disallow"-Einträgen bestimmt man Dateien und Verzeichnisse, die nicht indexiert werden sollen. # markiert einen Kommentar und wird von den Robots ignoriert.

Wenn man auf einen Rutsch alle Crawler ausschließen will, benutzt man den sogenannten Wildchar *, also:

# Alle Robots ausschließen

User-agent: *

Disallow: /temp/

Wenn man nicht gleich alle Crawler, sondern nur ein paar bestimmte meint, kann man diese so angeben:

User-agent: Name des Spiders

Um seine Site ganz von der Indexierung auszuschließen, kann man Folgendes benutzen:

# Ganze Site für alle Robots sperren

User-agent: *

Disallow: /

Wenn man den Slash (/) weglässt, wird alles für die Indexierung freigegeben. Insofern sollten Sie in jedem Fall prüfen, ob ein mögliches Rankingproblem nicht lediglich durch eine falsch konfigurierte Robots.txt-Datei entsteht.