La gran alianza de la IA respalda un estándar único para bloquear el scraping
El contexto: OpenAI, Google, Microsoft y Anthropic han acordado respaldar una directiva técnica compartida para que los editores bloqueen el entrenamiento generativo en robots.txt.
El borrador técnico introduce __usage_ai-training para gestionar preferencias de entrenamiento generativo de forma universal.
La directiva prohíbe el reentrenamiento de pesos sin penalizar la presencia orgánica en motores de búsqueda.
Anthropic ya procesa la señal, mientras Microsoft, OpenAI y Google demorarán su despliegue operativo hasta 2027.
«El token de política en robots.txt separa formalmente el permiso de entrenamiento de pesos de la visibilidad en los índices de búsqueda.»
Los archivos de configuración de rastreo en internet han colapsado bajo decenas de cadenas propietarias. Hasta esta semana, cualquier administrador de sistemas que pretendiese impedir la ingesta de sus artículos en grandes modelos fundacionales debía mantener listas kilométricas con nombres dispares: GPTBot, ClaudeBot, Google-Extended, CCBot o Bytespider. El 30 de octubre de 2026, esa fragmentación técnica ha comenzado a articular su repliegue.
OpenAI, Google, Microsoft y Anthropic han formalizado un frente común al anunciar su adhesión a un mecanismo unificado que permitirá a los propietarios de sitios web expresar su negativa al entrenamiento de inteligencia artificial mediante una sola línea directiva. El anuncio traslada por fin la batalla del scraping masivo al terreno formal de los estándares de infraestructura.
El borrador de la IETF que redefine el estándar RFC 9309
La propuesta descansa sobre un documento técnico presentado formalmente ante el Internet Engineering Task Force (IETF) por Kevin Kelley, responsable técnico de estándares en Anthropic. Bajo el título Machine-Readable Training Preference Signal y asignado al grupo de trabajo AIPREF, el borrador especifica un token de política denominado __usage_ai-training. Este identificador se ubica directamente en el campo User-Agent del fichero robots.txt, recurriendo a la gramática estricta de caminos y exclusiones de la RFC 9309 sin alterar la compatibilidad con analizadores antiguos.
Bajo esta arquitectura, declarar User-Agent: __usage_ai-training combinado con Disallow: / comunica a los motores de ingestión participantes la orden vinculante de no utilizar los activos de la ruta para ajustar pesos generativos. Quienes despliegan infraestructura pueden además abrir excepciones quirúrgicas, como permitir exclusivamente carpetas de prensa con Allow: /press-kit/. Las directivas comodín genéricas como el asterisco tradicional no se aplican sobre este token, y la ausencia de la línea equivale técnicamente a no haber expresado ninguna preferencia.
Evolución de las directivas de exclusión de datos para IA
Del caos de agentes propietarios a la convergencia en un token universal de la IETF
1. Fragmentación propietaria
Los administradores web debían declarar y mantener reglas separadas para GPTBot, ClaudeBot, Google-Extended y decenas de rastreadores.
2. Borrador de la IETF
Anthropic registra la especificación Machine-Readable Training Preference Signal para formalizar el token __usage_ai-training en robots.txt.
3. Adopción asíncrona
Anthropic ejecuta el soporte de inmediato, OpenAI proyecta los próximos meses y Microsoft junto a Google fijan 2027.
Arquitectura del token de política frente al rastreo de red
La precisión fundamental del borrador presentado por Kelley reside en que no interviene sobre la petición HTTP en sí misma. Como explicita el texto normativo de la IETF, «este token de política no constituye una directiva de comportamiento de rastreo de red». Un bot puede seguir descargando el recurso HTML si la instrucción habitual dirigida a su agente no lo prohíbe de forma explícita. Lo que regula de raíz esta especificación es el propósito con el que la organización consumidora almacena, tokeniza y procesa ese flujo textual en sus canalizaciones de cálculo.
Esta distinción técnica resuelve una de las mayores encrucijadas operativas que arrastraba la web desde 2023. Hasta la fecha, los medios de comunicación y portales corporativos se veían atrapados en una decisión binaria: permitir el rastreo para no perder tráfico orgánico en Google Search y Bing, o cerrar el acceso general y quedar borrados de la distribución en línea. El nuevo token permite mantener habilitados agentes como Googlebot o Bingbot mientras __usage_ai-training levanta una muralla lógica exclusiva para el ciclo de vida del entrenamiento.
Google ha confirmado a través de su portavoz técnico John Mueller que, cuando un sitio web incorpore este token para rechazar el entrenamiento sin hacer mención específica a Google-Extended, sus sistemas lo computarán exactamente como si se hubiese vetado de forma explícita dicho agente propietario. La compañía pretende integrar este procesamiento de forma nativa en su rastreador central.
Grounding en tiempo real frente a entrenamiento de parámetros
El estándar delimita el entrenamiento generativo como la modificación de los pesos o parámetros aprendidos de una red neuronal. Esta formulación excluye intencionadamente las tareas no generativas y abre un debate crítico respecto a la recuperación aumentada por generación (RAG) o búsqueda en vivo. Microsoft ha adelantado que respetará el token común, pero implementará en paralelo un selector independiente en sus consolas técnicas para discernir el entrenamiento estructural del proceso de grounding, el mecanismo que consulta fuentes web vivas para responder en interfaces conversacionales.
La discordancia en los calendarios de adopción técnica entre los cuatro patrocinadores añade fricción operativa para los equipos de ingeniería. Anthropic ha confirmado que su infraestructura ya procesa la directiva de forma activa. Por su parte, OpenAI ha indicado que incorporará la señal progresivamente a lo largo de los próximos meses. En contraste, Microsoft ha fijado su soporte en producción para el 1 de febrero de 2027, mientras que Google ha retrasado su compromiso operativo a una fecha indeterminada durante los primeros compases de 2027.
Para los directores de tecnología, esta asimetría temporal impide retirar de inmediato las listas de bots propietarios. Eliminar hoy bloques como GPTBot o Google-Extended para fiarlo todo a __usage_ai-training dejaría desprotegidos los servidores frente a los rastreadores que aún no han desplegado el analizador del nuevo borrador en sus clústeres de ingesta.
Segmentación técnica del tráfico web frente a la IA
Evaluación de especificaciones, rendimiento y gobernanza en 3 columnas.
Indexación Orgánica
Googlebot, Bingbot
User-Agent: Googlebot / Allow: /
Mantiene el tráfico orgánico y los enlaces de referencia.
Excluida si se configura el nuevo token.
Grounding en Vivo (RAG)
OAI-SearchBot, Bing Live
Controles en consolas y cabeceras
Aparición en resúmenes generativos en tiempo real.
Consulta puntual en memoria sin ajuste de gradientes.
Entrenamiento de Pesos
Token __usage_ai-training
User-Agent: __usage_ai-training / Disallow: /
Bloquea la ingesta de conocimiento sin penalizar SEO.
Prohíbe incorporar contenido en la fase de backpropagation.
Fricciones de gobernanza, scrapers clandestinos y vacíos retroactivos
La adopción del borrador de la IETF por parte del cuarteto hegemónico no erradica las limitaciones congénitas del protocolo. El archivo robots.txt opera desde su diseño como una convención basada en la confianza. Si bien gigantes regulados como OpenAI, Google, Microsoft o Anthropic están sometidos al escrutinio civil y legal para acatar la directiva, los actores de scraping clandestino que recopilan conjuntos de datos masivos para actores no declarados ignorarán sistemáticamente el token. Quien gestione la protección perimetral no podrá sustituir las reglas de desafío WAF basadas en análisis de huellas TLS o firmas JA4.
A esto se suma la imposibilidad material de retroactividad. El estándar no articula ningún mecanismo técnico ni criptográfico para purgar contenidos previamente absorbidos en las fases de preentrenamiento. Los billones de tokens absorbidos entre 2021 y mediados de 2026 ya están cristalizados en las matrices densas de modelos comerciales en producción. La directiva solo congela la ingesta futura de nuevas actualizaciones y publicaciones.
El impacto en el cumplimiento del AI Act y los costes de auditoría
En el plano regulatorio europeo, el artículo 53 del AI Act exige a los proveedores de modelos de propósito general implementar políticas rigurosas para respetar las reservas de derechos expresadas por los titulares mediante formatos legibles por máquina. Al participar grupos de trabajo con la presencia de Cloudflare, Cisco, la Electronic Frontier Foundation, Creative Commons y grandes conglomerados de prensa, la especificación de Kelley aspira a erigirse en el estándar técnico de referencia exigido por la Oficina de IA de la Comisión Europea.
Para las organizaciones con catálogos editoriales voluminosos, la verificación seguirá representando un cuello de botella. No existe ninguna API pública ni comprobante criptográfico para validar que un conjunto de datos descartó efectivamente una URL etiquetada con Disallow en el token de entrenamiento. Los equipos de ingeniería de datos deberán seguir cruzando registros de servidor internos con la tasa de peticiones de cada bot, asumiendo que el único aval continúa siendo la declaración de cumplimiento corporativa de los cuatro proveedores involucrados.
Viabilidad y límites del token __usage_ai-training en producción
Ventajas Técnicas
- Sustituye la maraña de agentes propietarios por una directiva universal unificada.
- Respeta la gramática de caminos y precedencias existente en el estándar RFC 9309.
- Desacopla la visibilidad en motores de búsqueda del consentimiento de entrenamiento.
- Alineación formal con los requerimientos de exclusión del AI Act de la Unión Europea.
Fricciones Operativas
- Incapacidad técnica para obligar a scrapers clandestinos o actores no regulados.
- Nula retroactividad sobre parámetros ya optimizados en modelos fundacionales previos.
- Desfase de calendarios de despliegue entre laboratorios que obliga a duplicar reglas.
- Ausencia de registros o auditorías criptográficas verificables por parte del editor.
El token estandariza la política contractual y legal ante los gigantes tecnológicos, pero el control perimetral real frente al scraping no autorizado sigue dependiendo de mecanismos de red activos.
Fuentes verificadas
Glosario Técnico
La IA está reescribiendo las reglas. Pensamiento crítico y análisis sin ruido ni titulares vacíos.
