Sitemap, robots.txt und Indexierung - was Google von deiner Seite wirklich braucht

Wenn deine neue Webseite online ist, passiert erstmal: nichts. Google kennt dich noch nicht. Bevor deine Seiten in den Suchergebnissen auftauchen, müssen drei Dinge sauber zusammenspielen: Google muss deine Seite finden, lesen dürfen und sich entscheiden, sie aufzunehmen. Genau dafür sind Sitemap, robots.txt und Indexierung da. Wir erklären dir ohne Fachjargon, was diese drei Dinge tun - und was davon du wirklich brauchst.

Crawling, Indexierung, Ranking - der Unterschied

Diese drei Begriffe werden oft verwechselt, sind aber drei getrennte Schritte:

• Crawling: Der Googlebot besucht deine Seite und liest den Inhalt - wie ein automatischer Besucher.
• Indexierung: Google entscheidet, die Seite in seinen riesigen Katalog (den Index) aufzunehmen. Nur indexierte Seiten können überhaupt in der Suche erscheinen.
• Ranking: Bei einer Suchanfrage entscheidet Google, an welcher Position deine indexierte Seite erscheint.

Wichtig zu verstehen: Eine Seite kann gecrawlt, aber nicht indexiert werden. Das ist normal und kein Fehler. Google indexiert nicht alles - nur was es für nützlich hält.

Was ist eine Sitemap?

Eine Sitemap (meist sitemap.xml) ist eine einfache Liste aller wichtigen URLs deiner Seite. Du sagst Google damit: "Hier sind meine Seiten, schau sie dir bitte an." Sie ist kein Befehl, sondern eine Empfehlung - eine Art Inhaltsverzeichnis.

Für eine kleine Webseite mit fünf bis zehn gut verlinkten Seiten findet Google den Inhalt auch ohne Sitemap, weil es den internen Links folgt. Richtig wertvoll wird die Sitemap, wenn:

• deine Seite viele Unterseiten hat, die nicht überall verlinkt sind,
• du regelmäßig neue Inhalte veröffentlichst (Blog, Produkte, Standorte),
• deine Seite frisch online ist und noch wenige Backlinks hat.

Bei einem großen Katalog macht die Sitemap einen echten Unterschied. Wir betreiben sieben eigene Marken in Produktion - eine davon ist ein Produktportal mit rund 177.000 Produkten. Ohne saubere, korrekt aufgeteilte Sitemaps würde Google einen großen Teil davon nie entdecken. Bei einem schlichten One-Pager dagegen ist die Sitemap nett, aber nicht entscheidend.

Was macht die robots.txt?

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis deiner Domain (erreichbar unter deinedomain.de/robots.txt). Sie regelt, welche Bereiche der Googlebot besuchen darf und welche nicht. Typisch sind hier Sperren für Login-Bereiche, Warenkörbe oder interne Tools - Seiten also, die in der Suche nichts verloren haben.

Ein wichtiges Missverständnis: robots.txt verhindert keine Indexierung. Sie steuert nur das Crawling. Eine per robots.txt gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten darauf verlinken - dann erscheint sie aber ohne Beschreibung. Wenn du eine Seite wirklich aus der Suche heraushalten willst, gehört das über ein noindex-Meta-Tag geregelt, nicht über die robots.txt.

In der robots.txt steht üblicherweise auch der Verweis auf deine Sitemap - so finden Suchmaschinen sie automatisch.

Der häufigste und teuerste Fehler

Der Klassiker: Während der Entwicklung wird die Seite mit noindex oder einer kompletten robots.txt-Sperre vor Google versteckt - was richtig ist. Beim Livegang wird vergessen, diese Sperre wieder zu entfernen. Ergebnis: Die fertige Seite ist online, sieht gut aus, aber Google ignoriert sie komplett. Das kann Wochen unbemerkt bleiben.

Deshalb gehört zu jedem seriösen Launch eine Prüfung: Steht in der robots.txt versehentlich Disallow: /? Hängt irgendwo noch ein noindex? Wir prüfen das bei jedem Projekt aktiv ab, bevor wir eine Seite als "live" bezeichnen.

Deine praktische Checkliste

• Google Search Console einrichten: Das kostenlose Tool von Google ist Pflicht. Hier siehst du, welche Seiten indexiert sind und wo es hakt.
• Sitemap erstellen und einreichen: In der Search Console unter "Sitemaps" die volle URL angeben (z. B. https://deinedomain.de/sitemap.xml), nicht nur den Dateinamen.
• robots.txt prüfen: Aufrufen und sicherstellen, dass keine wichtigen Bereiche gesperrt sind.
• Indexierungsstatus kontrollieren: Mit der Suche site:deinedomain.de siehst du grob, was Google von dir kennt.
• Geduld haben: Indexierung dauert. Tage bis Wochen sind normal, besonders bei neuen Domains ohne Verlinkungen.

Brauchst du dafür eine Agentur?

Ehrlich gesagt: Für eine kleine, übersichtliche Seite ist das alles in ein bis zwei Stunden selbst gemacht - die Search Console führt dich gut durch. Du musst dafür niemanden bezahlen. Komplex wird es erst bei großen Seitenstrukturen, mehrsprachigen Seiten, Online-Shops oder wenn Google bereits Seiten "gefunden, aber nicht indexiert" hat. Dann steckt das Problem meist tiefer - in der Seitenarchitektur, der internen Verlinkung oder der Inhaltsqualität.

Bei den Festpreis-Projekten, die wir bauen, ist eine korrekt generierte Sitemap, eine saubere robots.txt und die Anbindung an die Search Console von Anfang an Teil der Lieferung - nicht ein Extra, das später teuer nachgebessert werden muss. Eine technisch korrekt aufgesetzte Seite ist die Grundvoraussetzung dafür, dass jede spätere SEO-Arbeit überhaupt greifen kann.