#  t-off.khd-research.net/robots.txt              K.-H. Dittberner - 10.AUG.2004
#  V03.35      t-off:T-OFF_robots.txt             P 475/13         - 05.SEP.2010
# 
#  Anweisungen fuer WWW-Suchroboter von Suchmaschinen im Internet. 
#
# ==============================================================================
#
#                 
#                 
#                 
#                 
#                 
#                 
#                 
# ==============================================================================
#  1. Roboter, die ausgeschlossen (oder gebremst) werden: 
# ==============================================================================

#User-agent: *
#Disallow: / 
# --------------------------

#User-agent: *
#Disallow: / 

User-agent: Accoona-AI-Agent/1.1.1
Disallow: / 

User-agent: Mata Hari
Disallow: /

User-agent: Slurp China
Disallow: /

User-agent: Slurp
Disallow: /
#Crawl-delay: 5
# Werte von 1 -- 10 sind moeglich.

User-agent: Microsoft URL Control - 6.00.8862
Disallow: /

User-agent: IWAgent/ 1.0 - www.brandprotect.com
Disallow: /

User-agent: LinkWalker/2.0
Disallow: /

User-agent: libwww-perl
Disallow: /

User-agent: BPImageWalker/2.0 (www.bdbrandprotect.com)
Disallow: /

User-agent: Toplistbot
Disallow: /

User-agent: MSR-ISRCCrawler
Disallow: / 

User-agent: WebAlta Crawler/1.3.34
Disallow: / 

User-agent: WebAlta Crawler/1.3.34 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: WebAlta Crawler/2.0
Disallow: / 

User-agent: WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: msnbot
Disallow: / 

User-agent: Twiceler
Disallow: / 

User-agent: Yandex
Disallow: / 

User-agent: Purebot
Disallow: / 

User-agent: Speedy Spider
Disallow: / 

User-agent: Yeti
Disallow: / 

User-agent: Zscho.de Crawler
Disallow: / 

User-agent: Sosospider
Disallow: / 

User-agent: yacybot
Disallow: / 

User-agent: Yandex/1.01.001
Disallow: / 

User-agent: Online24-Bot
Disallow: / 

User-agent: Sogou web spider
Disallow: / 

User-agent: Baiduspider
Disallow: / 

User-agent: spbot
Disallow: / 

User-agent: DotBot
Disallow: / 

User-agent: MyEngines-Bot
Disallow: / 

User-agent: iCcrawler
Disallow: / 

User-agent: Zango
Disallow: / 

#  === Ab 22/3/2010 === 

User-agent: StackRambler
Disallow: / 

User-agent: Ruky-Roboter
Disallow: / 

User-agent: NaverBot
Disallow: / 

User-agent: psbot
Disallow: / 

User-agent: CCBot
Disallow: / 

User-agent: Linguee Bot
Disallow: / 




# ==============================================================================
#  2. Welche Roboter duerfen zugreifen? (alle anderen)
# ==============================================================================

User-agent: *

# ==============================================================================
#  2. Wo ist die Site-map? 
# ==============================================================================

Sitemap:    http://t-off.khd-research.net/t-off.html


# ==============================================================================
#  4. Gesperrte Zugriffe von Verzeichnissen:  (Ob's was nutzt?)
# ==============================================================================

Disallow:  /Icons/
Disallow:  /Hist/Icons/

Disallow:  /Images/
Disallow:  /Internet/Icons/

Disallow:  /Tarife/F/
Disallow:  /Tarife/Old/

#Disallow:  /Neues/
#Disallow:  /Spiegel/
#Disallow:  /Aus_Medien/
#Disallow:  /Aus__Medien/
#Disallow:  /Aus___Medien/
#Disallow:  /Aus____Medien/

Disallow:  /_Neues/
Disallow:  /_Spiegel/
Disallow:  /_Aus_Medien/
Disallow:  /_Aus__Medien/
Disallow:  /_Aus___Medien/
Disallow:  /_Aus____Medien/

# ==============================================================================
#  5. Gesperrte Zugriffe von Einzel-Dateien:
# ==============================================================================

Disallow:  /Dokus.html
Disallow:  /MHES0218.zip
Disallow:  /MHES0325.zip
Disallow:  /Offline0.html
Disallow:  /Recherche.html
Disallow:  /Suchen.html

#Disallow: /Archiv/_2006.html
Disallow:  /Archiv/_2007.html
Disallow:  /Docs/Bf_Freenet_01.pdf
Disallow:  /Docs/VZH_Stellungnahme_TKV18.pdf

# ==============================================================================