Crawler
Bei Crawlern (auch als Bot, Spider oder Robot bezeichnet) handelt es sich um Programme, die dazu in der Lage sind automatisch und systematisch das World Wide Web zu durchsuchen und Webseiten zu analysieren, um diese später indexieren zu können. Crawler werden hauptsächlich von Suchmaschinen verwendet, die damit ihre Daten sammeln, um sie anschließend für die Suche aufzubereiten. Andere Anwendungsgebiete für Crawler sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderen Informationen.