Internetlexikon

Die robots.txt Datei dient dazu, Suchmaschinen den Zugriff auf bestimmte Bereiche einer Website zu verbieten.
Ein Robot / Spider der eine Homepage besucht, beachtet i.d.R. die robots.txt Datei und die darin gemachten Angaben.

Beispiel:
Wenn man seine Produktseiten gerne indiziert sehen möchte, trifft dies für die Seiten auf denen die Mitarbeiter mit Bild vorgestellt werden eventuell nicht zu
dann würde man in der robots.txt Datei die Verzeichnisse mit den HTML Seiten der Mitarbeiter und deren Bildern von der Indexierung ausschliessen.

User-agent: *
Disallow: /mitarbeiter/
Disallow: /images/mitarbeiter/

verbieten (englisch: disallow)

Die robots.txt Datei ist kein Zugriffsschutz! auch wenn vernünftige und gute Suchmaschine die Anweisungen beachten.
Jeder kann sie lesen!