Um Internet-Nutzer in Kunden verwandeln zu können, brauchen Vermarkter und Werbungtreibende im Idealfall möglichst viele Sichtkontakte von Usern mit der Werbung. Besuche von Spidern, Crawlern und Bots sind dafür wenig förderlich. Mark Thielen, CTO bei Adtech und Mitglied des "Spiders & Robots Policy Board" des IAB USA, erklärt, wie Ad Server den von Bots und Spidern generierten Traffic herausfiltern, um ein präziseres Reporting zu liefern.
Das amerikanische Internet Advertising Bureau veröffentlicht jeden Monat einen Spider- und Bot-Index. Die Nutzung dieser Listen ist für Inhouse- oder Third-Party-Ad-Server von Publishern ein Muss. Denn allein durch den einfachen Listenabgleich lassen sich die Besuche von Spidern, Crawlern und Bots herausfiltern - mit dem Ergebnis, dass das Reporting zu Ad Impressions, Views, Visibility und Klicks deutlich exakter ausfällt.
Diese Listen sind allerdings kostenpflichtig. Ihr Bezugspreis hängt vom Status der Mitgliedschaft beim Interactive Advertising Bureau (IAB) USA ab.
Was können Publisher und Ad Server dagegen tun, dass Bots Website-Traffic generieren? Hierfür gibt es zwei Ansätze:
Der erste Ansatz besteht in der Entwicklung eines Systems, das den Zugriff der Bots von vornherein blockt. Dabei wird keinerlei Interaktion dokumentiert, da der Besucher sozusagen bereits an der Tür abgewiesen wird. Der zweite Ansatz beruht darauf, die Daten nachträglich herauszufiltern.
Beide Ansätze sind sehr wirksam. Allerdings hat Ersterer den Nachteil, dass nicht nur "bösartige Bots" blockiert werden, sondern auch "guten Bots" das Leben schwer gemacht wird. Diese "guten Bots" dienen zur Analyse von Website-Struktur und Werbewirkung. Werden die von ihnen benötigten Informationen jedoch blockiert, können sie ihre Aufgabe nicht mehr ordnungsgemäß oder sogar überhaupt nicht ausführen.
Zudem können diese nützlichen Bots - wenn sie nicht korrekt eingesetzt werden - negative Auswirkungen auf die Kampagnen-Performance haben. Impressions oder - noch schlimmer - Klicks, die Crawler künstlich erzeugen, können unter Umständen als gültige Interaktionen erfasst werden. Dies verfälscht die Reports und beeinträchtigt Entscheidungen, die auf eben diesen Daten beruhen.
Derzeit fehlt es allerdings an einer offiziellen Liste, die alle "guten Bots" erfasst. Eine derartige Übersicht würde eine erhebliche Zeitersparnis für den Publisher, die Agenturen und die Ad-Serving-Anbieter bedeuten.
Bei der letzten Sitzung des IAB-Ausschusses für Spider und Bots wurde dieser Vorschlag nun vorgelegt. Es könnte also bald eine Lösung geben, mit der die Verfahren zur Erfassung echter Sichtkontakte noch weiter verbessert werden können.
