Uw site kan tientallen, zelfs honderden pagina’s bevatten, en toch blijven sommige onzichtbaar in de zoekresultaten. De sitemap is het bestand dat elke van deze pagina’s aan zoekmachines signaleert. Zonder dit bestand lopen recente of diep in de boomstructuur gelegen inhoud het risico nooit door indexeringsrobots te worden verkend.
Wat Google niet crawlt zonder expliciete aanwijzing
De robots van Google doorlopen een site niet pagina voor pagina zoals een menselijke bezoeker. Ze volgen interne links, en wanneer een inhoud niet aan een andere pagina is gekoppeld (of alleen vanaf een zelf weinig bezochte pagina is gekoppeld), wordt het een weespagina in de ogen van de zoekmachine.
De XML-sitemap lost dit probleem op door een volledige lijst van de URL’s te bieden die u geïndexeerd wilt zien. Elke vermelding kan een lastmod-tag bevatten, die de datum van de laatste wijziging aangeeft. Dit is trouwens de enige metadata-tag die nog door Google in overweging wordt genomen: de tags priority en changefreq worden al jaren genegeerd.
Concreet, als u vandaag een artikel publiceert, geeft de lastmod-waarde de robot aan dat deze pagina een nieuw bezoek verdient. Zonder deze aanwijzing zal de robot terugkomen volgens zijn eigen schema, soms weken later. Een goed voorbeeld van praktische toepassing is te vinden op de sitemap-pagina van Boost 4 Business, die illustreert hoe dit bestand voor een professionele site moet worden gestructureerd.
Indienen van de XML-sitemap: de twee enige geldige methoden
U heeft misschien tutorials gelezen die aanraden om een “ping” naar Google te sturen om een nieuwe sitemap aan te geven. Deze methode is verouderd. Google heeft de ping-endpoint in juni 2023 uitgeschakeld: het aanroepen van de URL /ping?sitemap= triggert niets meer.
Tegenwoordig werken er twee manieren om een sitemap aan Google in te dienen:
- Handmatige indiening via Google Search Console, in de sectie “Sitemaps”, waar u de URL van uw XML-bestand plakt en valideert.
- De verklaring in het robots.txt-bestand met de Sitemap: richtlijn, gevolgd door de volledige URL van het bestand. De robots lezen dit bestand bij elk bezoek en detecteren automatisch de sitemap.
Voor sites die zeer frequent publiceren en het proces willen automatiseren, vervangt de Search Console API (sitemap-resource) de oude ping. Deze aanpak vereist ontwikkelaars toegang, maar zorgt ervoor dat elke update van de sitemap goed wordt geregistreerd.
Sitemap en weespagina’s: de echte winst voor grote sites
Op een kleine site van vijf pagina’s met een duidelijke navigatiemenu biedt de sitemap slechts een marginale winst. Google zal uw pagina’s vinden door de interne links te volgen. De winst wordt significant in drie specifieke situaties.
Ten eerste, sites met een hoog volume aan inhoud. Wanneer een blog meer dan enkele honderden artikelen heeft, glijden oudere publicaties geleidelijk buiten het bereik van de robots. De sitemap houdt deze pagina’s binnen het verkenningsbereik, zelfs als er geen recente interne links naar hen wijzen.
Ten tweede, e-commerce sites. Productpagina’s worden vaak dynamisch gegenereerd en zijn afhankelijk van categorie-filters. Een product dat alleen toegankelijk is via drie niveaus van filtering heeft weinig kans om zonder sitemap gecrawld te worden.
Tenslotte, recente sites zonder backlinks. Een nieuwe site heeft nog geen inkomende links die de robots aantrekken. De sitemap die via Search Console wordt ingediend, versnelt de eerste golf van indexering door de pagina’s die moeten worden verkend direct aan te geven.
Pagina’s om op te nemen en pagina’s om uit te sluiten
Niet alle URL’s zijn bedoeld om in de sitemap te worden opgenomen. Neem alleen de pagina’s op die u in de zoekresultaten wilt zien. Inlogpagina’s, gepagineerde duplicaten, interne zoekresultaten of pagina’s in noindex hebben hier geen plaats.
Een schone sitemap vergemakkelijkt het werk van de robot en voorkomt dat het crawlbudget wordt verspild aan URL’s zonder SEO-waarde. Als uw bestand URL’s bevat die 404-fouten of omleidingen geven, beschouwt Google de sitemap uiteindelijk als onbetrouwbaar.
Sitemap voor afbeeldingen en video’s: een onderbenutte hefboom
De klassieke XML-sitemap lijst webpagina’s op. Maar Google accepteert ook sitemaps die specifiek zijn voor afbeeldingen en video’s. Deze specifieke bestanden maken het mogelijk om multimedia-inhoud aan te geven die anders moeilijk te ontdekken zou zijn voor een robot.
Een afbeeldingssitemap geeft de URL van elke afbeelding aan, wat hun verschijning in Google Afbeeldingen vergemakkelijkt. Voor een showcase- of portfolio-site kan dit aanvullende verkeer een aanzienlijk deel van de bezoeken vertegenwoordigen.
De videositemap werkt op hetzelfde principe: het biedt de titel, beschrijving en miniatuur van elke video die op uw site is gehost. Zonder deze verklaring kan Google moeite hebben om een video aan de pagina die deze host te koppelen, vooral als de videospeler via JavaScript wordt geladen.
Één bestand of meerdere bestanden
Er is niets dat u verplicht om alles in één sitemap te groeperen. De gebruikelijke praktijk is om een indexbestand (sitemap_index.xml) te maken dat naar verschillende gespecialiseerde sitemaps verwijst: één voor pagina’s, één voor artikelen, één voor afbeeldingen. Deze segmentatie maakt het diagnosticeren eenvoudiger wanneer een type inhoud een indexeringsprobleem veroorzaakt.
Veelvoorkomende fouten die het effect van de sitemap tenietdoen
Een sitemap genereren is niet genoeg. Verschillende veelvoorkomende fouten maken de effectiviteit ervan volledig teniet.
- URL’s met 404-fouten of 301-omleidingen in het bestand laten staan. De robot verspilt middelen en verliest het vertrouwen in de betrouwbaarheid van de sitemap.
- Nooit de lastmod-tag bijwerken, of erger nog, deze kunstmatig bijwerken zonder echte inhoudelijke wijzigingen. Google detecteert dit gedrag en negeert uiteindelijk deze informatie.
- URL’s opnemen die door het robots.txt-bestand zijn geblokkeerd. De robot kan deze pagina’s niet bereiken, wat een tegenstrijdigheid creëert tussen de sitemap en de verkenningsrichtlijnen.
- De grootte limiet overschrijden. Een XML-sitemapbestand mag niet groter zijn dan 50 MB ongecomprimeerd en mag niet meer dan 50.000 URL’s bevatten. Daarboven moet het worden gesegmenteerd.
Een sitemap die consistent is met de rest van de technische configuratie (robots.txt, noindex-tags, canonicals) versterkt de geloofwaardigheid van uw site bij zoekmachines. Omgekeerd vertragen tegenstrijdige signalen de indexering en kunnen ze pagina’s uitsluiten die u zichtbaar wilde maken.
De sitemap vervangt geen goede interne linkstructuur of kwaliteitsinhoud. Het fungeert als een technische veiligheidsnet dat garandeert dat elke gepubliceerde pagina een kans heeft om ontdekt te worden. Op actieve sites blijft het regelmatig controleren van de status in Search Console de beste manier om ervoor te zorgen dat er niets tussen de mazen door glipt.
