Crawl-Budget

Als Crawl-Budget bezeichnet man die Menge an Seiten, die ein Bot einer Website in einem bestimmten Zeitraum abruft. Es ergibt sich aus zwei Grössen: wie viel Last der Server verträgt und wie wichtig Google die Website einschätzt.

Für die meisten KMU-Websites ist das kein Thema. Relevant wird es ab einigen tausend Adressen, etwa bei Onlineshops mit vielen Filter- und Sortieransichten oder bei Portalen mit automatisch erzeugten Seiten.

Verschwendet wird Crawl-Budget vor allem durch Weiterleitungsketten, endlose Parameter-Varianten und Seiten ohne Nutzen. Steuern lässt es sich über die robots.txt, über NoIndex und über einen sauberen canonical tag. Auch eine kurze Ladezeit hilft, weil der Bot in derselben Zeit mehr Seiten schafft.

We target websites specifically to search terms. Learn more at SEO support.

Interested in other topics? Here we have a few more suitable explanations.