Fertige "robots.txt" Datei zum anpassen

Kategorieübersicht Webhosting und Server CGI und PHP Programmierung Erweiterte Einstellungen Fragen zu den Tarifen Statistiken und Logfiles Webseiten auf Server übertragen MySQL Datenbanken Verwaltung eigener Server E-Mail und Verwaltung Anti-Spam: STR System Verwaltung (mail-connect.de) Domains und Verwaltung Internet Zugang Infos über all-connect Allgemeine Netzdienste

Ja. Die "robots.txt"-Datei wird von Suchmaschinen in Ihrem Web-Server Verzeichnis gesucht. In dieser Datei könnten z.B. Einschränkungen für die Suchmaschine stehen, welche Verzeichnisse oder Dateien nicht indiziert werden dürfen.

Beispiel 1[bearbeiten]

Jeder Robot darf alles durchsuchen, außer /cyberworld/map/, /tmp/ und die Datei foo.html direkt im Hauptverzeichnis Ihres Web-Servers.

User-agent: *
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html

Beispiel 2[bearbeiten]

Kein Robot darf /cyberworld/map/ durchsuchen - Nur der Robot "cybermapper" darf das. User-agent: *

Disallow: /cyberworld/map/
User-agent: cybermapper
Disallow:

Beispiel 3[bearbeiten]

Kein Robot darf Ihren Server durchsuchen.

User-agent: *
Disallow: /