Ihre Website kann Dutzende oder sogar Hunderte von Seiten enthalten, und dennoch bleiben einige in den Suchergebnissen unsichtbar. Die Sitemap ist die Datei, die jede dieser Seiten den Suchmaschinen signalisiert. Ohne sie laufen aktuelle oder tief in der Struktur befindliche Inhalte Gefahr, von den Indexierungsrobotern niemals erkundet zu werden.
Was Google ohne explizite Angabe nicht crawlt
Die Google-Roboter durchsuchen eine Website nicht Seite für Seite wie ein menschlicher Besucher. Sie folgen internen Links, und wenn ein Inhalt mit keiner anderen Seite verlinkt ist (oder nur von einer selbst wenig besuchten Seite verlinkt ist), wird er aus Sicht der Suchmaschine zum Waisenkind.
Die XML-Sitemap löst dieses Problem, indem sie eine vollständige Liste der URLs bereitstellt, die Sie indexiert sehen möchten. Jeder Eintrag kann ein lastmod-Tag enthalten, das das Datum der letzten Änderung angibt. Dies ist übrigens das einzige Metadaten-Tag, das von Google noch berücksichtigt wird: Die Tags priority und changefreq werden seit mehreren Jahren ignoriert.
Konkret bedeutet das, wenn Sie heute einen Artikel veröffentlichen, signalisiert der Wert lastmod dem Roboter, dass diese Seite einen neuen Besuch verdient. Ohne diese Angabe wird der Roboter nach seinem eigenen Zeitplan zurückkehren, manchmal Wochen später. Ein gutes Beispiel für die praktische Umsetzung finden Sie auf der Sitemap-Seite von Boost 4 Business, die zeigt, wie man diese Datei für eine professionelle Website strukturiert.
Einreichung der XML-Sitemap: die zwei einzigen gültigen Methoden
Vielleicht haben Sie Tutorials gelesen, die empfehlen, Google einen “Ping” zu senden, um eine neue Sitemap zu signalisieren. Diese Methode ist veraltet. Google hat den Ping-Endpunkt im Juni 2023 deaktiviert: Der Aufruf der URL /ping?sitemap= löst nichts mehr aus.
Heute funktionieren zwei Methoden, um eine Sitemap an Google zu übermitteln:
- Die manuelle Einreichung über die Google Search Console, im Abschnitt “Sitemaps”, wo Sie die URL Ihrer XML-Datei einfügen und bestätigen.
- Die Angabe in der robots.txt-Datei mit der Direktive Sitemap: gefolgt von der vollständigen URL der Datei. Die Roboter lesen diese Datei bei jedem Besuch und erkennen automatisch die Sitemap.
Für Websites, die sehr häufig veröffentlichen und den Prozess automatisieren möchten, ersetzt die Search Console API (Sitemap-Ressource den alten Ping. Dieser Ansatz erfordert Entwicklerzugang, garantiert jedoch, dass jede Aktualisierung der Sitemap berücksichtigt wird.
Sitemap und Waisenkinderseiten: der echte Gewinn für große Websites
Auf einer kleinen Website mit fünf Seiten und einem klaren Navigationsmenü bringt die Sitemap nur einen marginalen Nutzen. Google findet Ihre Seiten, indem es den internen Links folgt. Der Gewinn wird in drei spezifischen Situationen signifikant.
Erstens, bei Websites mit hohem Inhaltsvolumen. Wenn ein Blog mehrere Hundert Artikel überschreitet, geraten alte Veröffentlichungen allmählich aus dem Blickfeld der Roboter. Die Sitemap hält diese Seiten im Erkundungsbereich, auch wenn kein aktueller interner Link auf sie verweist.
Zweitens, bei E-Commerce-Websites. Produktseiten werden oft dynamisch generiert und hängen von Kategoriefiltern ab. Ein Produkt, das nur über drei Filterebenen zugänglich ist, hat ohne Sitemap wenig Chancen, gecrawlt zu werden.
Schließlich, bei neuen Websites ohne Backlinks. Eine neue Website hat noch keine eingehenden Links, die die Roboter anziehen. Die über die Search Console eingereichte Sitemap beschleunigt die erste Welle der Indizierung, indem sie die zu erkundenden Seiten direkt signalisiert.
Seiten einfügen und Seiten ausschließen
Nicht alle URLs sollten in der Sitemap aufgeführt werden. Fügen Sie nur die Seiten hinzu, die Sie in den Suchergebnissen sehen möchten. Anmeldeseiten, paginierte Duplikate, interne Suchergebnisse oder Seiten im Noindex haben dort keinen Platz.
Eine saubere Sitemap erleichtert die Arbeit des Roboters und verhindert, dass das Crawl-Budget auf URLs ohne SEO-Wert verschwendet wird. Wenn Ihre Datei URLs enthält, die auf Fehler 404 oder Weiterleitungen verweisen, wird Google schließlich die Sitemap als unzuverlässig betrachten.
Sitemap für Bilder und Videos: ein ungenutztes Potenzial
Die klassische XML-Sitemap listet Webseiten auf. Aber Google akzeptiert auch Sitemaps, die speziell für Bilder und Videos gedacht sind. Diese speziellen Dateien ermöglichen es, Multimedia-Inhalte zu signalisieren, die sonst für einen Roboter schwer zu entdecken wären.
Eine Bild-Sitemap gibt die URL jedes visuellen Inhalts an, was deren Erscheinung in Google Bilder erleichtert. Für eine Schaufenster- oder Portfolio-Website kann dieser zusätzliche Verkehr einen nicht unerheblichen Teil der Besuche ausmachen.
Die Video-Sitemap funktioniert nach dem gleichen Prinzip: Sie liefert den Titel, die Beschreibung und das Thumbnail jedes Videos, das auf Ihrer Website gehostet wird. Ohne diese Angabe kann es für Google schwierig sein, ein Video mit der Seite zu verknüpfen, die es hostet, insbesondere wenn der Video-Player über JavaScript geladen wird.
Eine Datei oder mehrere Dateien
Es gibt keine Verpflichtung, alles in einer einzigen Sitemap zu bündeln. Die gängige Praxis besteht darin, eine Indexdatei (sitemap_index.xml) zu erstellen, die auf mehrere spezialisierte Sitemaps verweist: eine für Seiten, eine für Artikel, eine für Bilder. Diese Segmentierung erleichtert die Diagnose, wenn ein Inhaltstyp ein Indizierungsproblem aufwirft.
Häufige Fehler, die die Wirkung der Sitemap aufheben
Eine Sitemap zu generieren, reicht nicht aus. Mehrere häufige Fehler machen ihre Effektivität zunichte.
- URLs mit Fehler 404 oder Weiterleitungen 301 in der Datei belassen. Der Roboter verschwendet Ressourcen und verliert das Vertrauen in die Zuverlässigkeit der Sitemap.
- Das lastmod-Tag niemals aktualisieren oder schlimmer noch, es künstlich ohne tatsächliche Inhaltsänderung aktualisieren. Google erkennt dieses Verhalten und ignoriert schließlich diese Information.
- URLs einfügen, die durch die robots.txt-Datei blockiert sind. Der Roboter kann auf diese Seiten nicht zugreifen, was eine Widersprüchlichkeit zwischen der Sitemap und den Crawling-Richtlinien schafft.
- Die Größenbeschränkung überschreiten. Eine XML-Sitemap-Datei darf 50 MB unkomprimiert nicht überschreiten und nicht mehr als 50.000 URLs enthalten. Darüber hinaus muss sie segmentiert werden.
Eine Sitemap, die mit dem Rest der technischen Konfiguration übereinstimmt (robots.txt, noindex-Tags, Canonicals) stärkt die Glaubwürdigkeit Ihrer Website bei den Suchmaschinen. Im Gegensatz dazu verlangsamen widersprüchliche Signale die Indizierung und können Seiten ausschließen, die Sie sichtbar machen wollten.
Die Sitemap ersetzt weder eine gute interne Verlinkung noch qualitativ hochwertige Inhalte. Sie fungiert als technisches Sicherheitsnetz, das garantiert, dass jede veröffentlichte Seite die Chance hat, entdeckt zu werden. Bei aktiven Websites bleibt die regelmäßige Überprüfung ihres Status in der Search Console der beste Weg, um sicherzustellen, dass nichts durch die Maschen fällt.
