Wissen / Artikel

Sitemap, robots.txt und Indexierung - was Google von deiner Seite wirklich braucht

Wenn deine neue Webseite online ist, passiert erstmal: nichts. Google kennt dich noch nicht. Bevor deine Seiten in den Suchergebnissen auftauchen, müssen drei Dinge sauber zusammenspielen: Google muss deine Seite finden, lesen dürfen und sich entscheiden, sie aufzunehmen. Genau dafür sind Sitemap, robots.txt und Indexierung da. Wir erklären dir ohne Fachjargon, was diese drei Dinge tun - und was davon du wirklich brauchst.

Crawling, Indexierung, Ranking - der Unterschied

Diese drei Begriffe werden oft verwechselt, sind aber drei getrennte Schritte:

Crawling: Der Googlebot besucht deine Seite und liest den Inhalt - wie ein automatischer Besucher.
Indexierung: Google entscheidet, die Seite in seinen riesigen Katalog (den Index) aufzunehmen. Nur indexierte Seiten können überhaupt in der Suche erscheinen.
Ranking: Bei einer Suchanfrage entscheidet Google, an welcher Position deine indexierte Seite erscheint.

Wichtig zu verstehen: Eine Seite kann gecrawlt, aber nicht indexiert werden. Das ist normal und kein Fehler. Google indexiert nicht alles - nur was es für nützlich hält.

Was ist eine Sitemap?

Eine Sitemap (meist sitemap.xml) ist eine einfache Liste aller wichtigen URLs deiner Seite. Du sagst Google damit: "Hier sind meine Seiten, schau sie dir bitte an." Sie ist kein Befehl, sondern eine Empfehlung - eine Art Inhaltsverzeichnis.

Für eine kleine Webseite mit fünf bis zehn gut verlinkten Seiten findet Google den Inhalt auch ohne Sitemap, weil es den internen Links folgt. Richtig wertvoll wird die Sitemap, wenn:

deine Seite viele Unterseiten hat, die nicht überall verlinkt sind,
du regelmäßig neue Inhalte veröffentlichst (Blog, Produkte, Standorte),
deine Seite frisch online ist und noch wenige Backlinks hat.

Bei einem großen Katalog macht die Sitemap einen echten Unterschied. Wir betreiben sieben eigene Marken in Produktion - eine davon ist ein Produktportal mit rund 177.000 Produkten. Ohne saubere, korrekt aufgeteilte Sitemaps würde Google einen großen Teil davon nie entdecken. Bei einem schlichten One-Pager dagegen ist die Sitemap nett, aber nicht entscheidend.

Was macht die robots.txt?

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis deiner Domain (erreichbar unter deinedomain.de/robots.txt). Sie regelt, welche Bereiche der Googlebot besuchen darf und welche nicht. Typisch sind hier Sperren für Login-Bereiche, Warenkörbe oder interne Tools - Seiten also, die in der Suche nichts verloren haben.

Ein wichtiges Missverständnis: robots.txt verhindert keine Indexierung. Sie steuert nur das Crawling. Eine per robots.txt gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten darauf verlinken - dann erscheint sie aber ohne Beschreibung. Wenn du eine Seite wirklich aus der Suche heraushalten willst, gehört das über ein noindex-Meta-Tag geregelt, nicht über die robots.txt.

In der robots.txt steht üblicherweise auch der Verweis auf deine Sitemap - so finden Suchmaschinen sie automatisch.

Der häufigste und teuerste Fehler

Der Klassiker: Während der Entwicklung wird die Seite mit noindex oder einer kompletten robots.txt-Sperre vor Google versteckt - was richtig ist. Beim Livegang wird vergessen, diese Sperre wieder zu entfernen. Ergebnis: Die fertige Seite ist online, sieht gut aus, aber Google ignoriert sie komplett. Das kann Wochen unbemerkt bleiben.

Deshalb gehört zu jedem seriösen Launch eine Prüfung: Steht in der robots.txt versehentlich Disallow: /? Hängt irgendwo noch ein noindex? Wir prüfen das bei jedem Projekt aktiv ab, bevor wir eine Seite als "live" bezeichnen.

Deine praktische Checkliste

Google Search Console einrichten: Das kostenlose Tool von Google ist Pflicht. Hier siehst du, welche Seiten indexiert sind und wo es hakt.
Sitemap erstellen und einreichen: In der Search Console unter "Sitemaps" die volle URL angeben (z. B. https://deinedomain.de/sitemap.xml), nicht nur den Dateinamen.
robots.txt prüfen: Aufrufen und sicherstellen, dass keine wichtigen Bereiche gesperrt sind.
Indexierungsstatus kontrollieren: Mit der Suche site:deinedomain.de siehst du grob, was Google von dir kennt.
Geduld haben: Indexierung dauert. Tage bis Wochen sind normal, besonders bei neuen Domains ohne Verlinkungen.

Brauchst du dafür eine Agentur?

Ehrlich gesagt: Für eine kleine, übersichtliche Seite ist das alles in ein bis zwei Stunden selbst gemacht - die Search Console führt dich gut durch. Du musst dafür niemanden bezahlen. Komplex wird es erst bei großen Seitenstrukturen, mehrsprachigen Seiten, Online-Shops oder wenn Google bereits Seiten "gefunden, aber nicht indexiert" hat. Dann steckt das Problem meist tiefer - in der Seitenarchitektur, der internen Verlinkung oder der Inhaltsqualität.

Bei den Festpreis-Projekten, die wir bauen, ist eine korrekt generierte Sitemap, eine saubere robots.txt und die Anbindung an die Search Console von Anfang an Teil der Lieferung - nicht ein Extra, das später teuer nachgebessert werden muss. Eine technisch korrekt aufgesetzte Seite ist die Grundvoraussetzung dafür, dass jede spätere SEO-Arbeit überhaupt greifen kann.

Brauchst du selbst eine Website, ein Tool oder eine SaaS?

Wir bauen sie zum Festpreis - vom Team, das sieben eigene Marken live betreibt. Klarer Scope, klarer Preis, klarer Zeitrahmen.

Projekt starten Leistungen & Preise

Sitemap-Varianten, die du kennen solltest

Nicht jede Sitemap sieht gleich aus. Neben der klassischen XML-Sitemap fuer Seiten gibt es eigene Varianten fuer Bilder, Videos und News-Inhalte. Wer einen Onlineshop mit vielen Produktbildern betreibt, profitiert von einer separaten Bilder-Sitemap, weil Google Bilder sonst leicht uebersieht, wenn sie erst durch JavaScript nachgeladen werden.

Bei sehr grossen Seiten wird eine einzelne Sitemap-Datei schnell zu unhandlich. Deshalb erlaubt das Format eine Sitemap-Index-Datei, die auf mehrere kleinere Sitemaps verweist, zum Beispiel getrennt nach Kategorien oder Sprachen. Das hilft Google, gezielt die Bereiche neu abzurufen, die sich tatsaechlich geaendert haben, statt jedes Mal die komplette Liste zu pruefen.

Wichtig ist ausserdem das Feld fuer das letzte Aenderungsdatum jeder URL. Steht dort ein korrektes Datum, erkennt Google frisch aktualisierte Seiten schneller und crawlt sie bevorzugt erneut. Ein Datum, das sich bei jedem Seitenaufruf automatisch mit aendert, ohne dass sich der Inhalt tatsaechlich geaendert hat, wirkt dagegen eher verwirrend als hilfreich und sollte vermieden werden.

So prüfst du, ob deine Sitemap wirklich ankommt

Eine Sitemap zu erstellen reicht nicht, du solltest auch pruefen, ob Google sie tatsaechlich liest. In der Google Search Console gibt es dazu einen eigenen Bereich, in dem du die Sitemap-URL einreichst und den Status siehst: eingereicht, verarbeitet, gefundene URLs, etwaige Fehler. Tauchen dort Fehler auf, lohnt sich ein Blick in die Datei selbst, oft stecken fehlerhafte Zeichen oder falsche Zeilenumbrueche dahinter.

Ein haeufiger Stolperstein sind Weiterleitungen innerhalb der Sitemap. Wenn eine gelistete URL auf eine andere Adresse umleitet, sollte in der Sitemap direkt die Zieladresse stehen, nicht der Umweg ueber die Weiterleitung. Das spart Google einen zusaetzlichen Schritt und macht deine Sitemap zu einer verlaesslicheren Quelle.

Halte deine Sitemap ausserdem sauber von Seiten, die ohnehin nicht in der Suche erscheinen sollen, etwa mit noindex versehene Entwuerfe oder interne Testseiten. Eine Sitemap ist kein Ort fuer alles, was existiert, sondern eine Einladung fuer genau die Seiten, die gefunden werden sollen. Je praeziser diese Liste ist, desto mehr vertraut Google ihr auf Dauer.

Häufig gestellte Fragen

Muss ich eine Sitemap manuell aktuell halten?

Bei den meisten modernen Systemen wird die Sitemap automatisch generiert und aktualisiert sich mit, sobald du eine Seite anlegst oder loeschst. Manuelle Pflege ist nur bei sehr einfachen, handgebauten Seiten noetig.

Wie oft crawlt Google meine Sitemap?

Das legt Google selbst fest, abhaengig davon, wie oft sich deine Seite aendert und wie wichtig Google sie einschaetzt. Du kannst das Crawling nicht direkt erzwingen, aber ueber die Search Console einzelne URLs zur erneuten Pruefung einreichen.

Was passiert, wenn ich keine robots.txt habe?

Fehlt die Datei komplett, geht Google davon aus, dass alles gecrawlt werden darf. Fuer eine kleine Seite ohne sensible Bereiche ist das meist unproblematisch, bei einem Shop mit Warenkorb oder Login lohnt sich eine bewusste robots.txt trotzdem.

Kann eine falsche robots.txt meine ganze Seite unsichtbar machen?

Ja, ein versehentliches Disallow: / sperrt die komplette Domain fuer Suchmaschinen. Das ist einer der haeufigsten technischen Fehler bei einem Relaunch und sollte vor jedem Livegang gezielt kontrolliert werden.

Hilft eine Sitemap beim Ranking?

Eine Sitemap verbessert nicht direkt die Platzierung, sie sorgt aber dafuer, dass Google deine Seiten ueberhaupt zuverlaessig findet. Ohne Auffindbarkeit kann selbst der beste Inhalt nicht ranken.

Wie lange dauert es, bis eine neue Seite indexiert ist?

Das reicht von wenigen Tagen bei kleinen, gut verlinkten Seiten bis zu mehreren Wochen bei grossen oder wenig verlinkten Domains. Eine Garantie fuer einen festen Zeitraum gibt es nicht.

Sollte ich Google die Indexierung einer Seite selbst anstossen?

Ueber die Funktion 'URL-Pruefung' in der Search Console kannst du einzelne Seiten zur Indexierung vormerken. Das ersetzt keine gute Sitemap, kann aber bei einzelnen wichtigen Seiten den Prozess beschleunigen.