Crawler

Crawler(englisch, vom Verb to crawl bedeutet übersetzt krabbeln, kriechen) werden als hochspezialisierte Datensammel-Programme zur Analyse von Webseiten des World Wide Web (WWW) entwickelt.

 

Sie ähneln den Browsern, die sie weitgehend in ihrem Verhalten imitieren, um erstens nicht entdeckt zu werden und zweitens den Content präsentiert zu bekommen, den auch ein menschlicher Besucher zu sehen bekommt.

 

Die Daten, auf die es der Crawler abgesehen hat, prägen seine Funktion und geben ihm seine Namen.

Bots

Bots oder auch Searchbots (Bot ist die Verkürzung des englischen Begriffs robot, übersetzt Roboter) sind im Auftrag von Suchmaschinen unterwegs und sammeln alle jene Daten einer Website, zu denen ihnen der Webmaster den Zugang erlaubt und die sich technisch überhaupt erfassen können.

 

Regulären HTML-Code kann der Bot sehr gut verarbeiten, während Java oder Flash von ihm nicht interpretiert werden kann.

 

Dynamische Seiten auf Basis von Online-Shop-Systemen und Content-Management- Systemen weisen jedoch große Mengen an Code auf, den Bots nicht verstehen können und sind daher zur Vermeidung von Ranking-Nachteilen gezwungen, statische Seiten extra für den Bot aufzubereiten.

 

Besonders der Googlebot ist hervorzuheben, da er durch seine vielen Brüder sehr effizient ist und je nach Aktualisierungshäufigkeit der Website seine Besuchsfrequenz und Besuchstiefe bemisst.

 

Der Googlebot schafft durch seine Arbeit die Grundlage für die atemberaubend schnellen Antworten bei Google-Suchnachfragen.

 

Selbst Google ist es nämlich nicht möglich viele 100 Milliarden Webseiten in Millisekunden zu lesen. Dies besorgen still im Hintergrund und niemals in Realzeit die Googlebots.