du meinst nen Robot?
bzw. Suchmaschinen wie Google oder auch MSN ???
welcher die Website nach inhalt durchsucht.

Wenn ja gibts ne einfache Hilfe für dich.
Auf www.google.de nach Robots suchen, dann müsstest genügend anleitungen finden wo dein problem lösen.
Oder du schreibst ne art Config Datei in das Root Verzeichniss deiner Page, wie folgt.

Name der Datei: robots.txt



User-agent gibt an welche art von Robot diese Config Datei gilt. * für alle is glaub klar.
Disallow gibt an in welches Verzeichniss der Bot keinen Zugriff hat. Das kann auch * sein für alle.

Klar gibt es auch mehr befehle die mir aber nicht einfallen im Moment.

PS: Allow geht glaublich nicht. Da man nur Verweigerungen setzen kann.


hotbytes