# Diese Crawler erlauben
User-agent: *

Allow: /anbieter
Allow: /bilder
Allow: /hilfe
Allow: /PDFBR
Allow: /recht
Allow: /regelwerk
Allow: /cgi-bin
Allow: /regelwerk/usercounter

# Diese Verzeichnisse von der Indizierung ausschliessen
Disallow: /nl/
Disallow: /newsletter/
Disallow: /termine/
Disallow: /awstats/
Disallow: /order/
Disallow: /toolbar/
Disallow: /anbieter/
Disallow: /hilfe/
Disallow: /local/
Disallow: /SVT/
Disallow: /filter/
Disallow: /regelwerk/gefahr.gut/see/imdg09/
Disallow: /recht/gefahr.gut/see/imdg09/

# Crawling Geschwindigkeit festlegen
Crawl-delay: 15

# !!! Die Robots.txt wird vom Suchmaschinen Protokoll benoetigt
# (Robots Exclusion Standard) z.b. Wget benutzt diesen generell !
# Also darf diese Datei nicht verboten werden, weil sonst die Suchmaschinen 
# die Seiten nicht indizieren !!! genaue Beschreibung unter 
# http://de.wikipedia.org/wiki/Robots.txt