Crawl Budget

Was ist ein Crawl Budget?

Damit eine Website von Google, KI-Systemen oder verschiedenen Tools aus­gelesen werden kann, muss sie zunächst von einem automatisierten Programm besucht werden. Diesen Vorgang nennt man Crawling. Zuständig dafür ist ein solches Programm, der sogenannte Crawler, machmal auch Spider oder Bot genannt. Das Crawl Budget beschreibt dabei, wie viele Seiten einer Website dieser Crawler innerhalb eines bestimmten Zeitraums tatsächlich besucht und ausliest.

Google Crawl Budget

Google selbst hat beschrieben, dass das Crawl Budget der Such­maschine aus zwei Faktoren entsteht, die zusammen bestimmen, wie intensiv der Googlebot eine Website besucht.

• Crawl Rate Limit: Der Googlebot nimmt Rücksicht auf den Server einer Website. Lädt eine Seite langsam oder ist der Server stark ausgelastet, drosselt Google automatisch die Crawling-Geschwindig­keit, um die Website nicht zu überlasten.
• Crawl Demand: Hier geht es darum, wie stark Google eine Seite über­haupt besuchen möchte. Seiten mit vielen Verlinkungen oder regel­mäßigen Aktualisierungen besucht Google häufiger als solche, die seit Jahren unverändert sind.

Für kleine Websites mit wenigen Seiten spielt das Crawl Budget in der Regel keine Rolle. Diese Google crawlt sie vollständig und regelmäßig. Relevant wird das Thema erst ab einer bestimmten Größen­ordnung, zum Beispiel bei Online-Shops mit Tausenden von Produkt­seiten, Nachrichten­portalen oder Websites mit vielen automatisch generierten URLs. Hier entscheidet das Crawl Budget darüber, ob neue oder aktualisierte Inhalte überhaupt zeitnah in den Google-Index aufgenommen werden.

Crawl Budget bei verschiedenen Suchmaschinen

Google ist nicht der einzige Crawler. Auch andere Such­maschinen wie Bing, Yandex oder DuckDuckGo schicken eigene Bots los, um Websites zu besuchen und auszulesen. Jeder dieser Crawler arbeitet vollständig unab­hängig und verwaltet sein eigenes Crawl Budget. Eine Website hat daher kein universelles Crawl Budget, sondern eines pro Bot. Gemeinsam­keiten gibt es trotzdem. Alle großen Such­maschinen-Crawler respektieren die robots.txt, reagieren auf Server­geschwindigkeit und priorisieren Seiten nach Relevanz und Verlinkung. Die genauen Algorithmen dahinter sind jedoch von Suchmaschine zu Such­maschine unterschiedlich und werden nicht vollständig offengelegt.

Einflussfaktoren auf das Crawl Budget

Das Crawl Budget ist keine feste Größe. Es wird von einer Reihe von Faktoren beeinflusst, die Websitebetreiber teilweise aktiv steuern können. Dazu gehören:

• Servergeschwindigkeit: Lädt eine Website langsam oder ist der Server häufig überlastet, drosselt Google automatisch die Crawling-Geschwindigkeit. Eine schnelle, stabile Server-Infrastruktur ist daher die Grundvoraussetzung dafür, dass der Googlebot möglichst viele Seiten besuchen kann.
• Seitenanzahl: Je mehr URLs eine Website hat, desto mehr Crawl Budget wird benötigt.
• Interne Verlinkungen: Seiten, die gut intern verlinkt sind, werden vom Googlebot leichter gefunden und häufiger besucht. Seiten, die kaum oder gar nicht verlinkt sind, werden entsprechend seltener gecrawlt.
• Duplicate Content: Doppelte Inhalte verschwenden Crawl Budget. Findet der Googlebot viele Seiten mit identischem oder sehr ähnlichem Inhalt, investiert er Ressourcen in Seiten, die keinen zusätzlichen Mehrwert bieten.
• Fehlerhafte URLs: 404-Fehler und lange Weiterleitungsketten belasten das Crawl Budget unnötig. Jede fehlerhafte Anfrage kostet Ressourcen, die besser in relevante Inhalte investiert wären.
• Noindex: Seiten, die mit einem Noindex-Tag versehen sind, sollten idealerweise auch nicht gecrawlt werden. Werden sie trotzdem regelmäßig besucht, verschwendet das Crawl Budget.
• Robots.txt Über die robots.txt lässt sich gezielt steuern, welche Bereiche einer Website gecrawlt werden dürfen und welche nicht. So kann Crawl Budget bewusst auf die wichtigsten Seiten gelenkt werden.

Das Crawl Budget und SEO

Suchmaschinenoptimierung und das Crawl Budget stehen in engem Zusammenhang. Denn nur Seiten, die regelmäßig gecrawlt werden, bleiben dauerhaft im Google-Index. Und nur indexierte Seiten können in den Suchergebnissen erscheinen und Traffic generieren. Wird das Crawl Budget ineffizient genutzt, zum Beispiel weil Google Ressourcen für fehlerhafte URLs, Duplicate Content oder irrelevante Seiten verschwendet, bleiben wichtige Inhalte möglicherweise unentdeckt oder werden seltener aktualisiert als nötig.

Crawling bei SEO-Tools

Neben Suchmaschinen gibt es eine weitere Gruppe von Crawlern, die viele Website­betreiber unter­schätzen, nämlich die der großen SEO-Tools. Das Crawl Budget sowie Crawl-Verhalten kann sich dabei grund­legend unter­scheiden.

• Screaming Frog: Crawlt auf direkte Anweisung des Nutzers. Wer einen Crawl startet, bestimmt selbst, wie tief und wie schnell die Website durchsucht wird. Die Geschwindigkeit ist direkt einstellbar und sollte bewusst gewählt werden, da ein intensiver Crawl den Server spürbar belasten kann.
• Ahrefs: Der AhrefsBot crawlt kontinuierlich und rund um die Uhr, unabhängig vom Google Crawl Budget. Über die robots.txt lässt er sich bei Bedarf drosseln oder blockieren.
• Sistrix: Auch Sistrix crawlt regelmäßig und verbraucht dabei sein eigenes Crawl Budget, unabhängig von den Suchmaschinen.