Auch Crawler genannt, ist eine Art Computer, der alle Daten und Informationen einer Webseite “durchforstet” und anhand von Kriterien prüft und gegebenenfalls bewertet. Mittels der robots.txt, NoIndex oder NoFollow können wir das Crawl-Verhalten steuern.

Interessiert an anderen Themen? Hier haben wir noch ein paar passende Erklärungen.