CMS
Suchmaschinenoptimierung
Meta Daten
robots.txt
Die robots.txt
wird automatisch vom System generiert und ist über https://<site-url>/robots.txt
erreichbar.
Sitemap: https://<site-url>/sitemap.xml # =============================================== # Folgende Seiten sollen nicht indexiert werden: # =============================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /backend/ # =============================================== # Schließe folgende Spider komplett aus: # =============================================== User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea Disallow: /
Good to know
Die robots.txt gibt in der ersten Zeile den Pfad zur Sitemap an.
sitemap.xml
Die Sitemap wird vom CMS automatisch erzeugt und ist über https://<site-url>/sitemap.xml
erreichbar. Diese bildet alle Seiten und Gallerien automatisch ab.