# Jeder Roboter soll alles auf diesem Server indexieren.
User-agent: *
Disallow:
# Roboter sollen 10 Sekunden warten bis sie wieder zugreifen, Standard ist oft 1 Sek.
Crawl-delay: 10