Hm... Dann dürfte die Seite gar nicht auftauchen, vielleicht ignoriert Google diesen Tag aber auch mittlerweile.
Eine robots.txt ist leicht aufgebaut. Wie die Datei heißen muss, sagt der Name ja bereits. Diese wird dann im root-Verzeichnis (Also Hauptverzeichnis) abgelegt.
Als erstes sprichst du in der robots.txt die Bots an, welche diese Datei lesen sollen. Bekannt aus CSS und anderen Bereichen kennst man den Stern-Selektor, welcher für alle steht. Also sieht die erste Zeile wie folgt aus:
Danach machst du die Anweisungen, welche den Bots Folge leisten sollen. Dazu gibt es zwei wichtige Befehle, von denen du nur einen benötigst. Diese Befele sind
Allow und
Disallow. Allow heißt so viel wie "Erlaube", Disallow hingegen "Verbiete".
Danach notierst du nur noch, was verboten werden soll. Dabei ist zu beachten, dass immer ein / am Anfang sein muss, also zum Beispiel so:
Code:
Disallow: /impressum.php
Für das root-Verzeichnis – also die komplette Site – machst du einfach nur einen / was dann so aussieht:
Hier mal ein Beispiel von Wishu.de zum besseren Verständnis:
Code:
User-agent: *
Disallow: /kontakt.php
Disallow: /datenschutz.php
In dieser robots.txt spreche ich mit * alle Bots an. Ich verbiete ihnen das indexieren von kontakt.php und von datenschutz.php damit diese Daten nicht in den Suchmaschinen auftauchen.
Gerade die Kontaktseite ist sinnvoll, bzw. auch das Impressum. Denn hier steht die E-Mail-Adresse im Klartext. Wenn sie nicht in den Suchmaschinen auftaucht, dann reduziert sich der Spam dadurch sehr stark.
Ich hoffe ich konnte dir helfen.
Solche Fragen in Zukunft aber besser in einen eigenen Thread auslagern.
Gruß
Wishu