1. Requisitos previos
Acceso a cPanel (Administrador de archivos y WP Toolkit).
Copia de robots.txt, .htaccess y wp-config.php.
2. Instrucciones paso a paso
1. Detectar si los bots te consumen recursos
Revisa el ancho de banda mensual en cPanel. Si supera ~10 GB sin motivo, investiga.
En Webalizer, ordena por KB del mes: si los primeros son bots, ese es el problema.
2. robots.txt: bloquear bots de entrenamiento
Crea o edita robots.txt en la raíz de tu web. Base para WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?s=
Allow: /
2. Añade los bots de IA que quieras bloquear (los de entrenamiento). Ejemplo con los principales:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
💡 Consejo: No bloquees los bots de búsqueda (Googlebot, OAI-SearchBot, Claude-SearchBot) si quieres aparecer en buscadores y respuestas de IA.
3. .htaccess: bloquear bots que ignoran robots.txt
Añade al .htaccess una regla que devuelva 403 a esos agentes:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|Diffbot|meta-externalfetcher|Perplexity-User) [NC,OR]
RewriteCond %{QUERY_STRING} .{600,} [NC]
RewriteRule .* - [F,L]
</IfModule>
⚠️ Importante: Bloquear facebookexternalhit quita las vistas previas de enlaces en Facebook e Instagram. No bloquees peticiones sin user-agent: algunas pasarelas de pago las usan.
4. Sustituir wp-cron por un cron real
En WP Toolkit, haz clic en Take over wp-cron.php: desactiva wp-cron y crea el cron en cPanel automáticamente.
O hazlo a mano: añade a wp-config.php la línea siguiente y crea un cron job que ejecute wp-cron.php cada 30 minutos:
define('DISABLE_WP_CRON', true);3. Resultado esperado
Baja el ancho de banda y el consumo de CPU, y el panel de WordPress vuelve a responder rápido.
4. Solución de problemas
Si: ¿Qué es llms.txt?
Solución: Una propuesta (no un estándar) de archivo en Markdown con un resumen de tu web para que lo lean los modelos de IA. Hoy apenas lo leen los grandes bots; es útil sobre todo en webs de documentación técnica o APIs.
Si: ¿Por qué wp-cron da problemas con bots?
Solución: Se ejecuta en cada visita. Con bots que hacen miles de peticiones, multiplica los procesos PHP y puede provocar errores 503.
Si: Tengo PrestaShop.
Solución: La guía original incluye un robots.txt específico para PrestaShop.