Googlebot-Frequenz einstellen: Server-Überlastung gezielt verhindern

Ein intensives Crawling kann gerade bei großen Websites oder begrenzten Hosting-Ressourcen zu massiven Performance-Problemen führen. Wenn Sie die Frequenz für den Googlebot einstellen müssen, geht es primär darum, die Erreichbarkeit der Seite für echte Nutzer zu sichern. Der Suchmaschinen-Bot versucht grundsätzlich, zwei Aspekte auszubalancieren: Er möchte neue Inhalte möglichst schnell entdecken, ohne dabei Ihre Infrastruktur in die Knie zu zwingen. Bei schwachen Servern oder plötzlichen Traffic-Spitzen reicht diese automatische Schonung jedoch nicht immer aus. In diesem Artikel erfahren Sie, wie Sie mit gezielten technischen Maßnahmen eingreifen können.

Warum das alte Tool in der Search Console abgeschafft wurde

Viele Website-Betreiber suchen noch immer nach dem Schieberegler in der Google Search Console (GSC), um die Crawl-Rate manuell zu begrenzen. Dieses Tool wurde jedoch am 8. Januar 2024 offiziell eingestellt. Die manuelle Begrenzung hatte einen entscheidenden Nachteil: Es dauerte oft mehr als einen Tag, bis die neuen Limits vom Crawler respektiert wurden. In einer akuten Notsituation war diese Verzögerung schlichtweg zu lang.

Google hat die Crawling-Logik stattdessen so optimiert, dass der Bot automatisch und nahezu in Echtzeit auf die Signale Ihres Servers reagiert. Wenn Sie heute die Frequenz für den Googlebot einstellen wollen, geschieht dies nicht mehr über ein externes Interface, sondern direkt über die Kommunikation Ihres Webservers.

Drei Wege: Wie Sie eine Server-Überlastung durch den Googlebot verhindern

Da die manuelle Drosselung entfallen ist, müssen Sie technische Rahmenbedingungen schaffen. Mit den folgenden drei Hebeln lässt sich eine Server-Überlastung durch den Googlebot verhindern:

1. HTTP-Statuscodes strategisch nutzen

Der Googlebot reagiert hochsensibel auf die Antwortzeiten und Statuscodes, die Ihr Server beim Verarbeiten der HTTP-Anfragen zurückgibt. Sobald Ihr System dauerhaft 500-Statuscodes (Internal Server Error) sendet, verlangsamt der Bot das Crawling sofort. Noch eleganter ist es, bei extremen Lastspitzen gezielt einen 503-Status (Service Unavailable) oder 429-Status (Too Many Requests) auszugeben. Dadurch signalisieren Sie der Suchmaschine temporäre Engpässe, ohne dass die betroffenen Seiten langfristig aus dem Index fliegen.

2. Parallele Verbindungen im Server drosseln

Wenn Ihre Website durch eine hohe Anzahl gleichzeitiger Zugriffe verlangsamt wird, können Sie direkt in den Server-Einstellungen (beispielsweise in NGINX oder Apache) ansetzen. Durch das Begrenzen der gleichzeitig zulässigen Anfragen pro IP-Adresse zwingen Sie externe Tools und Bots dazu, ihre Abfragen zu verlangsamen. So können Sie auf technischer Ebene die Crawl-Geschwindigkeit durch den Googlebot reduzieren.

3. Den If-Modified-Since-Header implementieren

Eine hervorragende Möglichkeit, Serverkapazitäten zu schonen, ist der korrekte Umgang mit Inhalten, die sich nicht verändert haben. Wenn der Bot eine URL anfragt, kann er den Zeitpunkt des letzten Besuchs übermitteln. Ist der Inhalt seitdem unverändert geblieben, sollte Ihr Server mit einem 304 Not Modified antworten und keinen HTML-Body ausliefern. Das spart enorm viel Verarbeitungszeit und Bandbreite.

Vorsicht vor technischen Limits: Die 2-Megabyte-Grenze

Neben der reinen Frequenz der Zugriffe spielt auch das Gewicht der angefragten Dokumente eine Rolle für die Auslastung. Googlebot wendet ein striktes Limit an: Er lädt maximal die ersten 2.097.152 Bytes (exakt 2 MB) des HTML-Quellcodes herunter. Alles, was danach kommt, wird kommentarlos abgeschnitten und ignoriert.

• Dekompression: Dieses Limit gilt für das entpackte HTML. Eine serverseitige Gzip- oder Brotli-Komprimierung ändert nichts daran, dass das entpackte Dokument bei 2 MB trunkiert wird.
• Gefahrenzonen: Besonders anfällig sind E-Commerce-Kategorieseiten mit hunderten Produkten im Quelltext, Inline-SVG-Grafiken oder extrem aufgeblähte JSON-LD-Daten.
• Ressourcen-Balancing: Wenn Sie Unterressourcen wie CSS und JavaScript in externe Dateien auslagern, reduzieren Sie die anfängliche HTML-Größe und senken die Serverlast beim primären Crawl.

Häufige Fehler bei der Reduzierung der Crawler-Aktivität

Einige Maßnahmen, die intuitiv richtig erscheinen, können der Sichtbarkeit Ihrer Website massiv schaden. Vermeiden Sie die folgenden Ansätze, wenn Sie die Zugriffe verringern möchten:

Aussperren durch Textdateien: Blockieren Sie den Googlebot niemals pauschal über die zentrale Steuerungsdatei Ihres Webspaces. Das Aussperren ganzer Verzeichnisse führt zwar zu weniger Zugriffen, entfernt diese Seiten aber auch vollständig aus den Suchergebnissen.

Zu strenge Limitierungen: Wenn Sie die Crawling-Raten serverseitig zu stark eindampfen, erfährt die Suchmaschine erst sehr spät von neuen Artikeln oder wichtigen Produktupdates. Das verzögert die Indexierung erheblich, da Sie im Notfall für neue URLs manuell eine Google Indexierung erzwingen müssen.

Frequenz mit Budget verwechseln: Unterscheiden Sie strikt zwischen dem Crawl-Budget (wie viele Unterseiten insgesamt erfasst werden) und der Crawl-Rate (wie schnell die Anfragen hintereinander erfolgen). Eine Reduzierung der Geschwindigkeit bedeutet nicht zwangsläufig, dass langfristig weniger Seiten im Index landen.

Crawling-Effizienz für einen reibungslosen Betrieb steigern

Langfristig ist es sinnvoller, die eigene Infrastruktur so zu verschlanken, dass selbst intensive Besuche der Suchmaschinen kein Problem darstellen. Eine ganzheitliche Suchmaschinenoptimierung als Dienstleistung bezieht eine solche technische Server-Stabilität heute zwingend mit ein. Je schneller Ihr Server auf Anfragen antwortet, desto effizienter verläuft das Crawling.

Vermeiden Sie lange Weiterleitungsketten und sorgen Sie dafür, dass eingebettete Skripte das Rendering nicht blockieren. Ein Blick in den Crawling-Statistik-Bericht hilft Ihnen dabei, Hostverfügbarkeitsfehler frühzeitig zu erkennen. Wenn der Bot auf sauberen, schnellen Code trifft, verbraucht jeder Aufruf weniger Rechenleistung – das schützt den Server vor Überlastungen und garantiert gleichzeitig, dass Ihre Inhalte zeitnah in der Suche erscheinen.

Häufige Fragen zur Steuerung der Crawler-Aktivitäten (FAQ)

Wie kann ich die Crawl-Rate in der Google Search Console anpassen?

Das manuelle Tool zur Beschränkung der Crawling-Frequenz in der Google Search Console wurde am 8. Januar 2024 eingestellt. Die Anpassung erfolgt heute automatisch auf Basis der Server-Antwortzeiten.

Was passiert, wenn mein Server dem Bot zu langsam antwortet?

Wenn die Antwortzeit für Anfragen deutlich ansteigt oder der Server HTTP-500-Fehler zurückgibt, registriert der Googlebot dies sofort und drosselt seine Anfragen automatisch auf ein Minimum.

Warum sollte ich den Bot nicht einfach komplett blockieren?

Ein vollständiges Blockieren verhindert zwar Zugriffe, führt aber unweigerlich dazu, dass die betroffenen Seiten aus den Suchergebnissen entfernt werden. Dies schadet der organischen Sichtbarkeit massiv.

Wie viel HTML-Code kann die Suchmaschine pro URL verarbeiten?

Das Limit für HTML-Dateien liegt bei exakt 2 Megabyte. Jeder Quellcode, der dieses Limit überschreitet, wird von der Suchmaschine abgeschnitten und bei der Indexierung nicht mehr berücksichtigt.

Wie helfen HTTP-304-Antworten gegen Überlastungen?

Durch den HTTP-Statuscode 304 (Not Modified) signalisiert der Server, dass sich ein Inhalt seit dem letzten Besuch nicht verändert hat. Der Server muss somit keinen HTML-Body ausliefern, was wertvolle Bandbreite und Rechenleistung spart.