Hasta ahora, una web que no quería que su contenido sirviera para entrenar modelos de IA tenía que bloquear uno por uno a los rastreadores de cada empresa. Eso podría cambiar pronto.
Google, Microsoft, OpenAI y Anthropic se han comprometido a respetar una única señal en el archivo robots.txt para que cualquier sitio pueda decir «no» al entrenamiento de IA con una sola regla.
La propuesta es un borrador técnico que Kevin Kelley, de Anthropic, presentó el 30 de octubre ante el IETF, el organismo que define muchos de los estándares de internet. Google, OpenAI y Microsoft anunciaron su apoyo ese mismo día, según The Next Web.
Cómo funciona la nueva señal
El archivo robots.txt es un pequeño fichero de texto que las webs usan desde hace décadas para indicar a los rastreadores qué páginas pueden visitar. Normalmente se escribe una sección para cada bot, identificado por su nombre.
La novedad es que, en lugar del nombre de un rastreador, se usa un identificador que describe un uso: __usage_ai-training, es decir, entrenamiento de IA. Debajo se indican, con las reglas de siempre, las rutas que no se quieren ceder. Este ejemplo, tomado del borrador, pide que no se use nada de la web para entrenar modelos salvo los materiales de prensa (/press-kit/):
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/El borrador no crea directivas nuevas: reutiliza la sintaxis de robots.txt y el vocabulario que prepara el grupo de trabajo del IETF sobre preferencias de uso para la IA, conocido como AIPREF.
Lo que la señal no hace
El texto deja claros varios límites:
- Si una web no la incluye, se entiende que no ha expresado ninguna preferencia.
- Las reglas genéricas para todos los bots,
User-Agent: *, no cuentan como una negativa al entrenamiento. - No impide el rastreo. Expresa una preferencia sobre el uso del contenido, pero no bloquea las visitas. Para eso hay que seguir bloqueando a cada rastreador por su nombre.
- Los acuerdos privados entre una web y una empresa de IA pueden imponerse a lo que diga el archivo.
Además, es un borrador individual: el IETF no lo ha respaldado y no tiene rango de estándar. Si no se revisa antes, caduca el 3 de mayo de 2027.
Qué hará cada empresa
Las cuatro compañías la aplicarán a su ritmo y con matices:
- Google prevé respetarla a principios de 2027. Si una web usa la señal sin mencionar Google-Extended, su control propio para el entrenamiento, lo tratará como un bloqueo de Google-Extended. Las webs que permitan Google-Extended pueden aparecer en las respuestas de la app de Gemini y recibir clics a través del grounding (el uso de un contenido para fundamentar las respuestas que genera la IA), según John Mueller, de Google.
- Microsoft empezará a respetar las nuevas preferencias el 1 de febrero de 2027. A partir del 1 de marzo dejará de interpretar las etiquetas NoArchive y NoCache como preferencias sobre entrenamiento o respuestas de IA.
- OpenAI quiere aplicarla «en los próximos meses». Sus controles actuales, como el bloqueo de su rastreador GPTBot, seguirán funcionando.
- Anthropic ya ha empezado a trabajar en ello. Según Kelley, la señal complementa sus controles actuales, pero «llevará algo de tiempo» aplicarla en todos sus servicios.
Microsoft añade además una preferencia propia, página a página, para el grounding. Se puede permitir, bloquear o elegir una opción intermedia, DisallowExtended, que solo lo admite en productos de Microsoft como Copilot o Microsoft 365 y lo excluye de los servicios de grounding que ofrece a terceros.
La compañía advierte de que limitar o bloquear el grounding «reducirá significativamente» la visibilidad del contenido en las respuestas de IA, aunque no afecta a que el contenido pueda aparecer en los resultados tradicionales de Bing. Y recuerda que ninguna opción garantiza tráfico ni pagos.
Por qué importa a los medios
Para los editores, la principal ventaja es práctica: una sola regla en lugar de una lista cada vez más larga de rastreadores. El borrador agradece sus aportaciones, entre otros, a profesionales del Financial Times, la BBC, el grupo Bertelsmann y el European Publishers Council.
Google también lo vincula con el Código de buenas prácticas de la UE para los modelos de IA de uso general, que reconoce el robots.txt como una de las vías principales para que los editores expresen sus preferencias de forma legible por máquinas.
Pero el acuerdo no resuelve la gran reclamación de muchos medios: cobrar. La señal no crea licencias ni pagos, y Microsoft lo dice expresamente.
Otras iniciativas, como la de Cloudflare para cobrar a los rastreadores de IA, van en esa dirección, mientras que el uso de contenidos protegidos sigue llegando a los tribunales, como en la sentencia contra OpenAI en Alemania por reproducir letras de canciones.
La ausencia de Meta
La gran ausente es Meta. Su responsable de comunicación, Andy Stone, apoyó en X, según The Verge, la idea de una señal común, pero no aclaró si la empresa la respetará.
Según WWWhat’s New, la ausencia llama la atención porque Meta se reserva en sus condiciones comerciales el derecho a rastrear las webs de las empresas que usan sus servicios.
Con todo, la eficacia de la señal dependerá de que las empresas cumplan su compromiso. Es voluntaria y, por ahora, no hay ninguna sanción para quien no la respete.
La fotografía de representación de este artículo es de Emilipothèse en Unsplash.
