User-agent: *
Disallow: /
Diese robots.txt sollte eigentlich zusammen mit noindex, nofollow und nocache Befehl im HTML Code das Indexieren verhindern.