# robots.txt generado por YAGLE AGENCY
# FASE 2.0 (2024-05-22)

# Permitir a Googlebot acceso completo sin retraso de rastreo
User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

User-agent: Googlebot-mobile
Disallow:

# Aplicar retraso de rastreo para todos los demás bots
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Allow: /
Crawl-delay: 10

# Bloquear bots específicos
User-agent: DotBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SEOlyzer
Disallow: /

User-agent: ByteSpider
Disallow: /

User-agent: Bytedance
Disallow: /

# Ubicación de los sitemaps
Sitemap: https://www.civitfun.com/sitemap_es.xml 
Sitemap: https://www.civitfun.com/sitemap_en.xml