# ============================================================
# robots.txt para erphere.com
# Controla el comportamiento de rastreadores web (bots) que acceden al sitio.
# Objetivos:
# - Optimizar indexación en buscadores.
# - Proteger recursos internos y sensibles.
# - Permitir acceso a archivos especiales para modelos de lenguaje (LLMs).
# ============================================================

# ------------------------------------------------------------
# 1. Reglas generales para todos los rastreadores
# ------------------------------------------------------------
User-agent: *
# Bloquear panel de administración y scripts internos de WordPress.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
# Bloquear directorios que contienen datos técnicos, plantillas y caché.
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
# Bloquear archivo xmlrpc.php (riesgo de abuso en ataques automatizados).
Disallow: /xmlrpc.php
# Bloquear URLs con parámetros de consulta para evitar contenido duplicado.
Disallow: /*?*
# Bloquear trackbacks y comentarios (no aportan valor SEO).
Disallow: /trackback/
Disallow: /comments/

# ------------------------------------------------------------
# 2. Archivos accesibles para modelos de lenguaje (LLMs)
# ------------------------------------------------------------
# Estos archivos proporcionan a modelos como ChatGPT, Claude o Perplexity
# un resumen estructurado de la información clave del sitio.
Allow: /llms.txt
Allow: /llms-full.txt

# ------------------------------------------------------------
# 3. Sitemap
# ------------------------------------------------------------
# Indica la ubicación de los sitemaps XML para guiar el rastreo.
Sitemap: https://erphere.com/sitemap_index.xml

# ------------------------------------------------------------
# 4. Control de la frecuencia de rastreo
# ------------------------------------------------------------
# Retraso sugerido para evitar sobrecarga del servidor.
Crawl-delay: 10

# ============================================================
# Fin de archivo robots.txt
# ============================================================