Zum Inhalt springen

Sandro Margas

Kleiner verlorener Internetnutzer, Golf-Fan

Wie Sie eine Sitemap nutzen, um eine Website einfach zu erkunden?

Das kennt jeder: eine Website mit mehreren Hundert Seiten, eine Navigation, die nur einen Bruchteil der Inhalte zeigt, und …

Femme consultant un plan de sitemap imprimé sur un bureau en bois dans un bureau à domicile moderne

Wir alle kennen diesen Moment: eine Website mit mehreren Hundert Seiten, eine Navigation, die nur einen Bruchteil der Inhalte zeigt, und keine schnelle Möglichkeit herauszufinden, was sich in den hintersten Ecken verbirgt. Die Sitemap, eine XML-Datei im Stammverzeichnis der Domain, enthält die Liste der URLs, die der Websitebetreiber sichtbar machen möchte.

Doch eine Sitemap ist kein vollständiger Plan der Website. Sie garantiert weder das Crawling noch die Indexierung jeder aufgeführten Seite. Um einen echten Nutzen daraus zu ziehen, muss man sie systematisch auswerten, mit anderen Daten abgleichen und darf ihr nicht mehr entnehmen, als sie tatsächlich aussagt.

XML-Sitemap: Was sie zeigt und was sie verbirgt

Öffnet man eine Sitemap-Datei, sieht man eine schlichte Liste von URLs, die von XML-Tags umschlossen sind. Jeder Eintrag kann das Datum der letzten Änderung (lastmod), die Änderungsfrequenz (changefreq) und eine Priorität (priority) enthalten. Auf dem Papier helfen diese drei Felder dabei, Seiten zu sortieren. In der Praxis sind zwei davon für die Planung eines Crawls nutzlos.

Google gibt an, die Werte für priority und changefreq zu ignorieren. Diese Angaben spiegeln nicht das tatsächliche Verhalten der Website wider. Ein Webmaster kann allen Seiten eine Priorität von 1.0 zuweisen, ohne dass sich dadurch etwas am Crawling ändert. Um URLs zu sortieren, stützt man sich auf beobachtbare Kriterien: den Seitentyp (Kategorie, Produktseite, Artikel), das Änderungsdatum oder den Indexierungsstatus.

Das lastmod-Tag kann dagegen nützlich sein, sofern es zuverlässig ist. Es sollte eine wesentliche Änderung am Inhalt widerspiegeln und nicht lediglich die erneute Erstellung der Datei oder eine Änderung an der Fußzeile. Ist das Datum konsistent und überprüfbar, lassen sich damit kürzlich aktualisierte Seiten auf einer umfangreichen Website schnell erkennen.

Wie eine Sitemap in der Praxis aussieht, zeigt die Sitemap von Série Live sehr anschaulich: Die URLs sind nach Inhaltstyp geordnet und mit ihren Änderungsdaten versehen.

Mann analysiert ein visuelles Sitemap-Tool auf einem großen Bildschirm in einem modernen Großraumbüro

Sitemap und Crawl vergleichen, um verwaiste Seiten zu finden

Der eigentliche Nutzen einer Sitemap zeigt sich beim Abgleich mit einem Crawl der Website. Ein Crawl, durchgeführt mit einem Tool wie Screaming Frog, Sitebulb oder einem Online-Crawler, durchsucht die Website, indem er den internen Links folgt. So bildet er die Struktur nach, wie eine Suchmaschine sie vorfindet. Die Sitemap hingegen listet die URLs auf, die der Websitebetreiber zugänglich machen möchte.

Der Abgleich dieser beiden Datensätze deckt drei Arten von Abweichungen auf, die sonst unentdeckt blieben.

  • URLs, die in der Sitemap stehen, aber im Crawl fehlen: Dabei handelt es sich möglicherweise um verwaiste Seiten, die nur über die Sitemap erreichbar sind und auf die kein interner Link verweist. Eine Suchmaschine wird sie über die Navigation allein nur schwer finden.
  • URLs aus der Sitemap, die einen 404-Fehler, eine 301-Weiterleitung oder einen 5xx-Statuscode zurückgeben: Diese veralteten URLs verunreinigen die Datei und verschwenden Crawl-Budget.
  • URLs, die im Crawl vorkommen, aber in der Sitemap fehlen: Seiten, die über die Navigation erreichbar sind, die der Webmaster jedoch nicht für relevant genug hielt oder schlicht vergessen hat. Je nach Art sollten sie hinzugefügt oder aus dem Index ausgeschlossen werden.

Der Vergleich lässt sich in einer Tabellenkalkulation durchführen. Man exportiert die Sitemap-Liste und den Crawl-Bericht und führt anschließend einen Abgleich anhand der URLs durch. Zeilen ohne Übereinstimmung in einer der beiden Spalten weisen auf Abweichungen hin, die untersucht werden sollten.

Sitemap und Navigation: Versteckte Bereiche einer Website aufspüren

Über verwaiste Seiten hinaus hilft die Sitemap dabei, Bereiche der Website zu erkennen, die über die Navigation nur schwer zu finden sind. Auf einer E-Commerce-Website mit Tausenden von Produktseiten können manche Kategorien vier oder fünf Klicks von der Startseite entfernt sein. Ein Crawl misst diese Tiefe. In der Sitemap stehen dagegen alle URLs auf derselben Ebene.

Sortiert man die URLs der Sitemap nach Verzeichnis (dem Pfad in der URL: /blog/, /produits/, /aide/), erhält man eine Übersicht nach Website-Bereichen. Anschließend lässt sich für jeden Bereich prüfen, wie viele URLs in den ersten Crawling-Ebenen auftauchen und wie viele tief verborgen liegen.

Ein konkretes Beispiel für eine Analyse

Nehmen wir eine Website, deren Sitemap 800 URLs aus den Bereichen /articles/, /guides/ und /outils/ enthält. Der Crawl zeigt, dass die 200 Seiten unter /outils/ nur über einen einzigen Link in der Fußzeile erreichbar sind. Das Ergebnis: Diese Seiten haben eine hohe Crawling-Tiefe und erhalten nur wenig interne Linkkraft. Die Sitemap allein hätte für diese Analyse nicht ausgereicht. Sie machte jedoch sichtbar, dass dieser Bereich existiert und genauer untersucht werden sollte.

Die Sitemap dient als Karte, der Crawl als Gelände. Für sich genommen liefert keines von beiden ein vollständiges Bild.

Junge Frau betrachtet den XML-Code einer Sitemap auf einem Tablet in einem minimalistischen Wohnzimmer

Die Sitemap einer Website aufrufen: Diese Wege funktionieren

Wer eine Website eines Drittanbieters untersuchen möchte, sollte zunächst deren Sitemap finden. Am direktesten geht das, indem man /sitemap.xml im Stammverzeichnis der Domain aufruft. Die meisten CMS (WordPress, Shopify, Webflow) erstellen standardmäßig an dieser Stelle eine Sitemap.

Wenn unter dieser URL nichts zu finden ist, sollte man die robots.txt-Datei der Website aufrufen, die unter /robots.txt erreichbar ist. Diese Datei enthält häufig eine Anweisung „Sitemap:“, gefolgt von der vollständigen URL der Datei. Das ist die zuverlässigste Methode, wenn sich die Sitemap nicht am üblichen Speicherort befindet.

Wenn die Sitemap ein Index ist

Bei umfangreichen Websites ist die Datei sitemap.xml oft ein Sitemap-Index: Sie listet die URLs der Website nicht direkt auf, sondern verweist auf mehrere thematische Unter-Sitemaps (sitemap-posts.xml, sitemap-pages.xml, sitemap-products.xml). Jede Unterdatei enthält eine Gruppe von URLs. Für eine vollständige Analyse lädt man alle Unter-Sitemaps herunter und führt sie zusammen, bevor man sie mit dem Crawl vergleicht.

Manche Websites bieten überhaupt keine Sitemap an. In diesem Fall bleibt der Crawl die einzige Möglichkeit, ihre Struktur nachzuvollziehen. Eine Sitemap erleichtert die Arbeit, ist aber keine Voraussetzung für die Analyse einer Website.

Eine Sitemap ersetzt weder ein technisches Audit noch einen Crawl oder die Analyse der internen Verlinkung. Ihr tatsächlicher Nutzen zeigt sich, wenn man sie aus ihrer passiven Rolle als an Google übermittelte Datei löst und als Vergleichswerkzeug einsetzt. Verwaiste Seiten, defekte URLs und schlecht verknüpfte Bereiche lassen sich erkennen, indem man die Sitemap mit dem abgleicht, was die Website ihren Besuchern und Suchmaschinen tatsächlich zeigt.

Wie Sie eine Sitemap nutzen, um eine Website einfach zu erkunden?