Bot

Auch Crawler genannt, ist eine Art Computer, der alle Daten und Informationen einer Webseite “durchforstet” und anhand von Kriterien prüft und gegebenenfalls bewertet. Mittels der robots.txt, NoIndex oder NoFollow können wir das Crawl-Verhalten steuern.

Der bekannteste Bot ist der Googlebot. Daneben sind Crawler von Bing, von Analysediensten und zunehmend von KI-Anbietern unterwegs, die Inhalte für Antworten in Chat-Systemen auslesen.

Nicht jeder Bot ist willkommen. Manche kopieren Inhalte oder füllen Formulare mit Spam. Ein Teil lässt sich über die robots.txt aussperren, gegen den Rest helfen Schutzmassnahmen auf dem Server.

Wir richten Websites gezielt auf Suchbegriffe aus. Mehr dazu unter SEO-Betreuung.

Interessiert an anderen Themen? Hier haben wir noch ein paar passende Erklärungen.