Crawling-Budget bei kleinen Websites: wann es wirklich zählt

Crawling-Budget ist eines der SEO-Themen, das online oft übertrieben dargestellt wird: Viele Ratgeber klingen so, als müsste jede Website akribisch ihr Crawling-Budget verwalten. Für die überwiegende Mehrheit kleiner Websites mit wenigen hundert Seiten ist das schlicht nicht der Fall.

Trotzdem gibt es Situationen, in denen auch eine kleinere Seite an dieses Limit stößt, meist durch technische Altlasten, nicht durch die reine Seitenzahl. Wer versteht, wann Crawling-Budget wirklich eine Rolle spielt, verschwendet keine Zeit mit dem falschen Problem.

Was Crawling-Budget eigentlich bedeutet

Googlebot besucht nicht jede Website unbegrenzt oft und unbegrenzt tief. Für jede Domain gibt es eine gewisse Menge an Anfragen, die der Crawler in einem bestimmten Zeitraum stellt, bevor er zur nächsten Website weiterzieht. Diese Menge nennt man Crawling-Budget. Sie hängt unter anderem davon ab, wie schnell die Seite antwortet, wie oft sich Inhalte tatsächlich ändern und wie beliebt und vertrauenswürdig eine Domain insgesamt eingeschätzt wird.

Dieses Budget ist außerdem keine feste, dauerhaft gleiche Zahl, sondern passt sich über Zeit an das Verhalten der Website an. Eine Domain, die zuverlässig schnell antwortet und regelmäßig neue, relevante Inhalte liefert, bekommt tendenziell mehr Aufmerksamkeit zugewiesen als eine Domain, die selten aktualisiert wird oder technisch unzuverlässig arbeitet.

Bei einer Website mit fünfzig oder zweihundert Seiten reicht das verfügbare Budget in aller Regel locker aus, um alle relevanten Seiten regelmäßig zu erfassen. Das Thema wird erst spannend, wenn die Anzahl der tatsächlich existierenden URLs deutlich größer ist als die Anzahl der Seiten, die man selbst für wichtig hält.

Warum die meisten kleinen Websites das Thema getrost ignorieren können

Ein Handwerksbetrieb mit fünfzehn Unterseiten, ein Beratungsunternehmen mit einem Blog von vierzig Artikeln oder eine Kanzleiseite mit zwanzig Leistungsseiten erzeugen keine Situation, in der Google an Kapazitätsgrenzen stößt. Der Crawler schafft solche Seitenmengen ohne Weiteres in kurzer Zeit vollständig.

Wer bei einer solchen Seitengröße Zeit in Crawl-Budget-Optimierung steckt, optimiert meist am falschen Hebel. Wichtiger sind in diesem Fall Themen wie Ladezeit, saubere interne Verlinkung und die inhaltliche Qualität selbst — das bringt spürbar mehr als das Feintuning eines Limits, das ohnehin nie erreicht wird.

Wann Crawling-Budget auch bei kleineren Seiten relevant wird

Problematisch wird es, wenn technische Konstruktionen unbeabsichtigt eine Vielzahl zusätzlicher URLs erzeugen, die niemand geplant hat. Ein Shopsystem mit Filterkombinationen aus Farbe, Größe und Sortierung kann aus dreißig Produkten mehrere tausend URL-Varianten erzeugen. Eine Kalenderfunktion, die für jeden Tag eine eigene URL generiert, kann über Jahre hunderttausende technisch existierende, aber inhaltlich wertlose Seiten produzieren.

In solchen Fällen konkurriert die eigentlich wichtige Seite — etwa eine Produktkategorie oder ein Leistungsangebot — um Crawling-Kapazität mit tausenden technisch erzeugten, aber irrelevanten URLs. Genau hier lohnt sich, das Thema ernst zu nehmen, unabhängig von der Größe des sichtbaren, redaktionellen Teils der Website.

Serverantwortzeit als unterschätzter Faktor

Das hängt eng mit der Wahl des Hostings für kleine Unternehmen zusammen. Ein zweiter Fall, in dem Crawling-Budget auch kleine Seiten betrifft, ist eine dauerhaft langsame oder instabile Serverantwort. Antwortet ein Server sehr langsam oder häufig mit Fehlern, reduziert Googlebot die Crawling-Frequenz automatisch, um den Server nicht zusätzlich zu belasten. Das betrifft dann auch Websites mit wenigen Seiten, weil die Ursache nicht bei der Seitenzahl, sondern bei der technischen Infrastruktur liegt.

Ein Blick in die Server-Logs oder in den entsprechenden Bericht der Search Console zeigt, ob die durchschnittliche Antwortzeit auffällig hoch ist. Das ist einer der wenigen Fälle, in denen ein Hosting-Wechsel oder eine technische Optimierung direkt die Crawling-Situation verbessert.

Besonders anfällig sind Websites auf günstigem Shared Hosting, bei dem sich viele fremde Websites dieselbe begrenzte Serverleistung teilen. Wird der Server durch eine andere, stark frequentierte Website auf demselben Paket ausgebremst, leidet die Crawling-Frequenz der eigenen Seite mit, ohne dass die eigene Website selbst dafür verantwortlich ist.

Wie du erkennst, ob dein Crawling-Budget knapp wird

Wer regelmäßig die Sitemap- und Indexierungsberichte prüft, entdeckt solche Anzeichen meist zuerst dort. Der Statistik-Bericht zum Crawling in der Search Console zeigt, wie viele Anfragen Googlebot täglich stellt und wie sich das über die Zeit entwickelt. Ein Hinweis auf ein echtes Problem ist, wenn wichtige neue Seiten auffällig lange brauchen, bis sie überhaupt zum ersten Mal gecrawlt werden, obwohl sie korrekt verlinkt und in der Sitemap eingetragen sind.

Ein weiterer Indikator: Im Bericht zur Seitenindexierung tauchen viele URLs unter „Gecrawlt, zurzeit nicht indexiert" auf, während gleichzeitig die Gesamtzahl der bekannten URLs deutlich über der Anzahl der tatsächlich relevanten Seiten liegt. Das deutet darauf hin, dass Kapazität an technische Nebenprodukte statt an echte Inhalte verloren geht.

Ein einfacher Vergleich hilft bei der Einordnung: Wie viele Seiten glaubst du selbst, dass deine Website inhaltlich umfasst, und wie viele URLs listet der Indexierungsbericht tatsächlich auf? Liegt die zweite Zahl um ein Vielfaches höher als die erste, lohnt sich eine genauere Prüfung, welche technischen Konstruktionen diese zusätzlichen URLs erzeugen.

Was gegen ein knappes Crawling-Budget hilft

Der wirksamste Hebel ist meist, unnötige URL-Varianten von vornherein gar nicht erst crawlbar zu machen, etwa über die robots.txt oder über technische Regeln, die Filterkombinationen und Sortierparameter blockieren. Das reduziert die Zahl der URLs, um die sich Googlebot überhaupt kümmern muss, deutlich.

Ergänzend hilft eine saubere, aktuelle Sitemap, die ausschließlich die wirklich wichtigen Seiten enthält, sowie eine interne Verlinkung, die diese wichtigen Seiten mit möglichst wenigen Klicks von der Startseite aus erreichbar macht. Beides lenkt die verfügbare Aufmerksamkeit des Crawlers gezielt auf die Inhalte, die tatsächlich ranken sollen.

Sinnvoll ist außerdem, technisch erzeugte Duplikate regelmäßig aufzuräumen statt sie einmalig zu blockieren und dann zu vergessen. Neue Plugins, neue Shopfunktionen oder eine neue Kalenderansicht können jederzeit neue Arten von Massen-URLs erzeugen, die beim ursprünglichen Aufräumen noch gar nicht existierten. Ein jährlicher Check, welche URL-Muster inzwischen neu dazugekommen sind, verhindert, dass sich das Problem nach einiger Zeit unbemerkt wieder aufbaut.

Häufige Fragen