# --- Grundeinstellung KoDi ---
User-agent: *
Disallow: /typo3/
Disallow: /typo3_src/
Disallow: /*/Private/*
Disallow: /*/Configuration/*
Disallow: /typo3temp/*

Allow: /typo3temp/*.css$
Allow: /typo3temp/*.css.*.gzip$
Allow: /typo3temp/*.js$
Allow: /typo3temp/*.js.*.gzip$
Allow: /typo3temp/*.jpg$
Allow: /typo3temp/*.gif$
Allow: /typo3temp/*.png$

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: SemrushBot-BA
Disallow: /

User-agent: SemrushBot-CT
Disallow: /

User-agent: SemrushBot-BM
Disallow: /

User-agent: SemrushBot-SEOAB
Disallow: /

User-agent: MajesticSEO
Disallow: /

# ---- 14.01.2021 by Fre ----
# Abgesprochen im Nov. 2020 unter Einbeziehung von Loewenstark
# Als Aufgabe fuer Fre abgestimmt, im Teams Meeting am 13.01.2021

User-agent: PetalBot
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: SeznamBot
Disallow: /

# Beobachtetes Spammen groesser Mengen von Daten und Dokumenten
# zB. http://mj12bot.com/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Applebot
Disallow: /

User-agent: Barkrowler
Disallow: /

# werbebezogene Bots:
User-agent: Mediapartners-Google*
Disallow: /

User-agent: Orthogaffe
Disallow: /

# Crawler, die so freundlich sind, zu gehorchen, die wir aber lieber nicht haben moechten
# es sei denn, sie fuettern Suchmaschinen.
User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

# Einige Bots sind bekanntermassen problematisch, insbesondere solche, die zum Kopieren entwickelt wurden

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

# Fehlverhalten: Anfragen viel zu schnell:
User-agent: fast
Disallow: /

# Treffer mehrmals pro Sekunde, nicht akzeptabel
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
Disallow: /

# Ein Capture-Bot, der Unmengen von Seiten ohne oeffentlichen Nutzen herunterlaedt
# http://www.webreaper.net/
User-agent: WebReaper
Disallow: /