Naar de inhoud

Sandro Margas

Kleine verloren internetgebruiker, golffan

Hoe gebruik je een sitemap om eenvoudig een website te verkennen?

We kennen het allemaal: een website met honderden pagina’s, een navigatie die maar een fractie van de inhoud laat zien, en…

Femme consultant un plan de sitemap imprimé sur un bureau en bois dans un bureau à domicile moderne

We kennen het allemaal: een website met honderden pagina’s, een navigatie die maar een fractie van de inhoud laat zien en geen snelle manier om te ontdekken wat er in de verborgen hoekjes zit. De sitemap, het XML-bestand in de hoofdmap van het domein, geeft toegang tot de lijst met URL’s die de eigenaar van de website zichtbaar wil maken.

Maar een sitemap is geen volledige plattegrond van de website. Hij garandeert niet dat elke vermelde pagina wordt gecrawld of geïndexeerd. Om er iets nuttigs mee te doen, moet je hem methodisch lezen, vergelijken met andere gegevens en er niet meer in lezen dan erin staat.

XML-sitemap: wat hij laat zien en wat hij verbergt

Wanneer je een sitemapbestand opent, zie je een ruwe lijst met URL’s tussen XML-tags. Elke vermelding kan een datum van de laatste wijziging (lastmod), een wijzigingsfrequentie (changefreq) en een prioriteit (priority) bevatten. Op papier helpen deze drie velden om pagina’s te sorteren. In de praktijk zijn er twee niet bruikbaar om een crawl te organiseren.

Google geeft aan de waarden voor priority en changefreq te negeren. Deze declaratieve velden weerspiegelen niet het werkelijke gedrag van de website. Een webmaster kan aan al zijn pagina’s een prioriteit van 1.0 toekennen, zonder dat dit iets verandert aan de crawl. Om URL’s te classificeren, baseren we ons op waarneembare criteria: het paginatype (categorie, productpagina, artikel), de wijzigingsdatum of de indexeerbaarheid.

De lastmod-tag kan wel nuttig zijn, mits de waarde betrouwbaar is. De datum moet een belangrijke wijziging van de inhoud weerspiegelen, niet alleen het opnieuw genereren van het bestand of een wijziging in de footer. Als de datum consistent en controleerbaar is, kun je er snel recent bijgewerkte pagina’s mee opsporen op een grote website.

Wil je zien hoe een sitemap er in de praktijk uitziet? De sitemap van Série Live is een goed voorbeeld van deze structuur: de URL’s zijn er per type inhoud georganiseerd, met hun wijzigingsdatums.

Man analyseert een visuele sitemaptool op een groot scherm in een modern open kantoor

Een sitemap vergelijken met een crawl om verweesde pagina’s op te sporen

De sitemap wordt pas echt interessant wanneer je hem vergelijkt met een crawl van de website. Een crawl, uitgevoerd met een tool zoals Screaming Frog, Sitebulb of een online crawler, doorloopt de website door interne links te volgen. Zo brengt hij de structuur in kaart zoals een zoekmachine die ontdekt. De sitemap vermeldt daarentegen de URL’s die de eigenaar zichtbaar wil maken.

Door deze twee datasets te combineren, komen drie soorten afwijkingen aan het licht die je anders niet zou zien.

  • URL’s die wel in de sitemap staan, maar niet in de crawl voorkomen: dit kunnen verweesde pagina’s zijn, die alleen via de sitemap bereikbaar zijn en waar geen enkele interne link naartoe verwijst. Een zoekmachine zal ze moeilijk vinden via de navigatie alleen.
  • URL’s in de sitemap die een 404-fout, een 301-redirect of een 5xx-code opleveren: dit zijn verouderde URL’s die het bestand vervuilen en het crawlbudget verspillen.
  • URL’s die wel in de crawl voorkomen, maar niet in de sitemap staan: pagina’s die via de navigatie bereikbaar zijn, maar die de webmaster niet nodig vond om op te nemen of over het hoofd heeft gezien. Afhankelijk van hun aard moeten ze worden toegevoegd of uit de index worden verwijderd.

Je kunt deze vergelijking uitvoeren in een spreadsheet. Exporteer de sitemaplijst en het crawlrapport en voeg ze vervolgens samen op basis van de URL’s. Rijen zonder overeenkomst in een van beide kolommen wijzen op afwijkingen die nader moeten worden onderzocht.

Sitemap en navigatie: verborgen secties van een website opsporen

Naast verweesde pagina’s helpt de sitemap ook om secties van de website op te sporen die via de navigatie moeilijk te vinden zijn. Op een e-commercesite met duizenden productpagina’s kunnen sommige categorieën vier of vijf klikken van de homepage verwijderd zijn. Een crawl meet die diepte. De sitemap zet daarentegen alle URL’s op hetzelfde niveau.

Door de URL’s in de sitemap te sorteren op directory (het pad in de URL: /blog/, /producten/, /help/), krijg je een overzicht per sectie van de website. Vervolgens kun je voor elke sectie nagaan hoeveel URL’s in de eerste crawlniveaus voorkomen en hoeveel diep verborgen zitten.

Een concreet diagnosevoorbeeld

Neem een website waarvan de sitemap 800 URL’s bevat, verdeeld over /articles/, /guides/ en /tools/. Uit de crawl blijkt dat de 200 pagina’s onder /tools/ alleen bereikbaar zijn via één link in de footer. Daardoor hebben deze pagina’s een grote crawldiepte en ontvangen ze weinig interne linkwaarde. Met alleen de sitemap was deze diagnose niet mogelijk geweest, maar dankzij de sitemap werd wel duidelijk dat de sectie bestond en nader onderzoek verdiende.

De sitemap is de kaart, de crawl is het terrein. Zonder de een of de ander krijg je een onvolledig beeld.

Jonge vrouw bekijkt de XML-code van een sitemap op een tablet in een minimalistische woonkamer

De sitemap van een website vinden: methoden die werken

Als je een website van iemand anders wilt onderzoeken, is de eerste stap het vinden van de sitemap. De eenvoudigste methode is om /sitemap.xml in de hoofdmap van het domein te proberen. De meeste CMS’en (WordPress, Shopify, Webflow) genereren standaard op die locatie een sitemap.

Als deze URL niets oplevert, raadpleeg je het robots.txt-bestand van de website, dat bereikbaar is via /robots.txt. Dit bestand bevat vaak een regel met “Sitemap:”, gevolgd door de volledige URL van het bestand. Dit is de betrouwbaarste methode wanneer de sitemap niet op de standaardlocatie staat.

Wanneer de sitemap een index is

Op grote websites is het bestand sitemap.xml vaak een sitemapindex: het bevat niet rechtstreeks de URL’s van de website, maar verwijst naar meerdere thematische subsitemaps (sitemap-posts.xml, sitemap-pages.xml, sitemap-products.xml). Elk subbestand bevat een reeks URL’s. Voor een volledige verkenning download je alle subsitemaps en voeg je ze samen voordat je ze met de crawl vergelijkt.

Sommige websites hebben helemaal geen sitemap. In dat geval is de crawl de enige manier om de structuur in kaart te brengen. Een sitemap maakt het werk eenvoudiger, maar is geen vereiste om een website te onderzoeken.

Een sitemap vervangt geen technische audit, crawl of analyse van de interne linkstructuur. De werkelijke waarde ervan blijkt wanneer je hem niet alleen als passief bestand gebruikt dat bij Google wordt ingediend, maar als vergelijkingsinstrument. Verweesde pagina’s, kapotte URL’s en slecht verbonden secties: je spoort ze allemaal op door de sitemap te vergelijken met wat de website daadwerkelijk aan bezoekers en zoekmachines laat zien.

Hoe gebruik je een sitemap om eenvoudig een website te verkennen?