# robots.txt — Renacer Psicológico # Última revisión: 2026-08-04 # Política: rastreo abierto al contenido clínico/blog; bloqueo de rutas # transaccionales y recursos sin valor SEO. Crawlers de IA permitidos de forma # explícita para visibilidad y citación en AI Search (GEO). # # ⚠️ ESTRUCTURA (RFC 9309 / Robots Exclusion Protocol): cada crawler obedece UN # solo grupo —el de su User-agent más específico— y NO hereda reglas de otros # grupos. Por eso los bots de IA NO heredan los Disallow de "User-agent: *": # se les repite la política completa en su propio grupo. Si tocas los Disallow, # cámbialos en AMBOS bloques (grupo "*" y grupo de IA) para no desincronizarlos. # # Sitemap canónico: sitemap-index.xml (generado por Astro en build). # Guía de contenido legible por LLMs: /llms.txt (anunciada por cabecera Link). # ── Google AdsBot — verifica las landing de anuncios (no indexa contenido) ───── # Evita el error "Discordancia con destino" en Google Ads. AdsBot NO obedece # "User-agent: *": requiere reglas con su nombre explícito. User-agent: AdsBot-Google Allow: /reservar-valoracion-gratuita/ User-agent: AdsBot-Google-Mobile Allow: /reservar-valoracion-gratuita/ # ── Política por defecto (buscadores: Googlebot, Bingbot, Applebot, etc.) ────── User-agent: * # Content Signals (contentsignals.org / IETF AIPREF Content-Signal). Declaración # explícita y auditable de preferencias de uso (decisión 2026-05-24, postura abierta): # search=yes → indexación en buscadores # ai-input=yes → uso como entrada en respuestas de IA (nuestra estrategia GEO) # ai-train=yes → uso para entrenar modelos Content-Signal: search=yes, ai-input=yes, ai-train=yes Allow: / # Recursos críticos para el renderizado (Core Web Vitals): permitidos de forma explícita. Allow: /_astro/ Allow: /images/ Allow: /js/ # API pública de solo lectura: estado, info del negocio, tarifa vigente y hubs del # blog. Sin datos personales y sin escritura. Se permite EXPLÍCITAMENTE porque es la # fuente estructurada que leen los agentes (contrato en /openapi.json y # /.well-known/api-catalog). El Allow más específico gana sobre el Disallow de /api/. Allow: /api/v1/ # Rutas sin valor de indexación (transaccionales, post-conversión, descargas, endpoints). # /api/ sigue cerrado para todo lo demás: reserva, pagos, telemetría y csp-report. Disallow: /api/ Disallow: /reservar-valoracion-gratuita/ Disallow: /agenda/ Disallow: /gracias-valoracion/ Disallow: /gracias-pago/ Disallow: /guia.html Disallow: /guia-ansiedad-renacer.pdf # Parámetros de campaña/tracking: evitan rastrear URLs duplicadas (en cualquier orden). Disallow: /*?*utm_ Disallow: /*?*gclid= Disallow: /*?*fbclid= # Salvaguarda anti-thin-content por si se generasen taxonomías planas. Los hubs # editoriales /blog// SÍ se permiten (los cubre el "Allow: /" general). Disallow: /tag/ Disallow: /etiqueta/ Disallow: /category/ Disallow: /categoria/ # ── Bots de SEO agresivos: protección suave del servidor ────────────────────── # Grupo ÚNICO que replica la política de "*" además del Crawl-delay. Por RFC 9309 un # grupo NO hereda: hasta el 29/7/2026 estos bots solo tenían `Crawl-delay: 10`, así # que podían rastrear el embudo de reserva, `gracias-*`, `/api/` y las URLs con # `?gclid=`. Mismo fallo de no-herencia que se corrigió en el grupo de IA en junio. # ⚠️ Mantener sincronizado con el grupo "User-agent: *" de arriba. User-agent: AhrefsBot User-agent: SemrushBot Crawl-delay: 10 Allow: / Allow: /_astro/ Allow: /images/ Allow: /js/ Allow: /api/v1/ Disallow: /api/ Disallow: /reservar-valoracion-gratuita/ Disallow: /agenda/ Disallow: /gracias-valoracion/ Disallow: /gracias-pago/ Disallow: /guia.html Disallow: /guia-ansiedad-renacer.pdf Disallow: /*?*utm_ Disallow: /*?*gclid= Disallow: /*?*fbclid= Disallow: /tag/ Disallow: /etiqueta/ Disallow: /category/ Disallow: /categoria/ # ── Crawlers de IA: descubrimiento y citación (GEO) — política idéntica a "*" ── # Decisión 2026-05-24: visibilidad abierta en todos los motores de IA principales. # Grupo ÚNICO que agrupa todos los User-agent de IA y replica la política de "*" # (incluidos los Disallow, que de otro modo NO se heredarían). ⚠️ Mantener # sincronizados los Disallow de RUTAS con el grupo "User-agent: *" de arriba. # # ÚNICA divergencia deliberada (1/8/2026): este grupo NO lleva los tres Disallow de # parámetros de campaña (`utm_`, `gclid`, `fbclid`). Existen para no rastrear URLs # duplicadas, pero aquí dentro hay fetchers que resuelven una URL concreta a petición # del usuario —ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, # MistralAI-User, DuckAssistBot—: si alguien pega en el asistente un enlace nuestro # con `?utm_source=…`, el bloqueo impedía leer la página y la respuesta se quedaba # sin fuente. La duplicación sigue cubierta por el grupo "*", por el de # AhrefsBot/SemrushBot y por el rel=canonical autorreferente de cada página. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: anthropic-ai User-agent: Claude-Web User-agent: Claude-SearchBot User-agent: Claude-User User-agent: Google-Extended User-agent: Google-CloudVertexBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Applebot-Extended User-agent: Meta-ExternalAgent User-agent: meta-externalfetcher User-agent: Bytespider User-agent: Amazonbot User-agent: MistralAI-User User-agent: DuckAssistBot User-agent: cohere-ai User-agent: CCBot Content-Signal: search=yes, ai-input=yes, ai-train=yes Allow: / Allow: /_astro/ Allow: /images/ Allow: /js/ # API pública de solo lectura (misma política que en `User-agent: *`; por RFC 9309 # los grupos NO heredan, así que hay que repetirla aquí o los bots de IA no la # leerían). Es la fuente estructurada de la tarifa vigente y los hubs del blog. Allow: /api/v1/ Disallow: /api/ Disallow: /reservar-valoracion-gratuita/ Disallow: /agenda/ Disallow: /gracias-valoracion/ Disallow: /gracias-pago/ Disallow: /guia.html Disallow: /guia-ansiedad-renacer.pdf Disallow: /tag/ Disallow: /etiqueta/ Disallow: /category/ Disallow: /categoria/ # ── Sitemaps ────────────────────────────────────────────────────────────────── Sitemap: https://www.renacerpsicologico.com/sitemap-index.xml