CMS
Suchmaschinenoptimierung
Meta Daten
robots.txt
Die robots.txt wird automatisch vom System generiert und ist über https://<site-url>/robots.txt erreichbar.
Sitemap: https://<site-url>/sitemap.xml
# ===============================================
# Folgende Seiten sollen nicht indexiert werden:
# ===============================================
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /backend/
# ===============================================
# Schließe folgende Spider komplett aus:
# ===============================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /
Good to know
Die robots.txt gibt in der ersten Zeile den Pfad zur Sitemap an.
sitemap.xml
Die Sitemap wird vom CMS automatisch erzeugt und ist über https://<site-url>/sitemap.xml erreichbar. Diese bildet alle Seiten und Gallerien automatisch ab.