Beim Crawl-Budget handelt es sich um alle Mittel, die Google zum Crawlen eine Website aufwendet. Da es nicht unbegrenzt ist, kann es passieren, dass nicht jede URL erfasst wird. Das Crawl-Budget setzt sich aus der Crawl-Rate und dem Crawl-Bedarf zusammen. Die Crawl-Rate wird in erster Linie von der Reaktionsgeschwindigkeit einer Website bestimmt, während sich der Crawl-Bedarf nach der Beliebtheit und der Qualität des Contents richtet.
Wie lässt sich das Crawl-Budget positiv beeinflussen?
Webmaster können das Crawl-Budget auf unterschiedliche Arten beeinflussen und alle davon hängen mit einer Optimierung der Website zusammen. Einige Beispiele wären mehr interne Verlinkungen, eine flache Seitenarchitektur sowie mehr aktueller und hochwertiger Content. Zudem sollten Fehler wie Broken Links oder Duplicate Content unbedingt vermieden werden. All diese Maßnahmen werden als Crawl-Budget-Optimierung bezeichnet.