Cloudflare, un proveedor de infraestructura en la nube que sirve al 20% de la Web, anunció el martes el lanzamiento de un nuevo mercado que reinventa la relación entre los propietarios de sitios web y las compañías de IA, lo que idealmente brinda a los editores un mayor control sobre su contenido.
Durante el último año, CloudFlare ha lanzado herramientas para que los editores aborden el aumento desenfrenado de los rastreadores de IA, incluida una solución con un solo clic para bloquear todos los bots AI, así como un tablero para ver cómo los rastreadores de IA están visitando su sitio. En una entrevista de 2024, el CEO de Cloudflare, Matthew Prince, dijo a TechCrunch, estos productos estaban sentando una base para un nuevo tipo de mercado en el que los editores podían distribuir su contenido a las compañías de IA y ser compensados por ello.
Ahora, Cloudflare está dando vida a ese mercado.
Se llama Pay por rastreo, y Cloudflare está lanzando el “Experimento” en beta privada el martes. Los propietarios de sitios web en el experimento pueden optar por dejar que los rastreadores de IA, de manera individual, raspe su sitio a una velocidad establecida, un micropapa para cada “rastreo”. Alternativamente, los propietarios de sitios web pueden optar por dejar que los rastreadores de IA raspe su sitio de forma gratuita o bloquearlos por completo. Cloudflare afirma que sus herramientas permitirán a los propietarios de sitios web ver si los rastreadores están raspando su sitio para los datos de capacitación de IA, para aparecer en las respuestas de búsqueda de IA o para otros fines.
A escala, el mercado de Cloudflare es una gran idea que podría ofrecer a los editores un modelo de negocio potencial para la era de la IA, y también coloca a Cloudflare en el centro de todo. El lanzamiento del mercado llega en un momento en que los editores de noticias enfrentan preguntas existenciales sobre cómo llegar a los lectores, a medida que el tráfico de búsqueda de Google se desvanece y los chatbots de IA aumentan en la popularidad.
No hay una respuesta clara sobre cómo los editores de noticias sobrevivirán en la era de la IA. Algunos, como el New York Times, han presentado demandas contra empresas tecnológicas para capacitar a sus modelos de IA en artículos de noticias sin permiso. Mientras tanto, otros editores han alcanzado ofertas de varios años para licenciar su contenido para la capacitación de modelos de IA y hacer que su contenido aparezca en las respuestas de AI Chatbot.
Aun así, solo los grandes editores han alcanzado acuerdos de licencia de IA, y todavía no está claro si proporcionan fuentes de ingresos significativas. Cloudflare tiene como objetivo crear un sistema más duradero donde los editores puedan establecer precios en sus propios términos.
La compañía también anunció el martes que los nuevos sitios web configurados con CloudFlare ahora bloquearán, por defecto, todos los rastreadores de IA. Los propietarios del sitio tendrán que otorgar un permiso de AI Crawlers para acceder a su sitio; un cambio, dice que Cloudflare le dará a cada nuevo dominio “el valor predeterminado de control”.
Varios grandes editores, incluido Conde Nast, Time, Associated Press, The Atlantic, Adweek y Fortune, se han registrado con CloudFlare para bloquear los rastreadores de IA por defecto en apoyo del objetivo más amplio de la compañía de un “enfoque basado en el permiso para el rastreo”.
El modelo de negocio en el que muchos de estos editores se basaron durante décadas se está volviendo poco confiable. Históricamente, los editores en línea han permitido a Google raspar sus sitios a cambio de referencias en Google Search, que se tradujo en el tráfico a sus sitios y, en última instancia, los ingresos publicitarios.
Sin embargo, los nuevos datos de Cloudflare sugieren que los editores pueden estar obteniendo un trato peor en la era de la IA que en la era de la búsqueda de Google. Si bien algunos sitios web citan ChatGPT como una fuente de tráfico importante, ese no parece ser el caso en general.
Este junio, Cloudflare dice que descubrió que el rastreador de Google raspó sus sitios web 14 veces por cada referencia que les dio. Mientras tanto, el Crawler de OpenAi raspó los sitios web 17,000 veces por cada referencia, mientras que Anthrope raspó sitios web 73,000 veces para cada referencia.
Mientras tanto, Openai y Google están creando agentes de IA diseñados para visitar sitios web en nombre de los usuarios, recopilar información y devolverlo a los usuarios directamente. Un futuro en el que estas herramientas son principales tienen enormes implicaciones para los editores que dependen de que los lectores visiten sus sitios.
Cloudflare señala que el “verdadero potencial” de pago por rastreo puede surgir en un futuro “agente”.
“¿Qué pasaría si un paywall de agente podría operar en Network Edge, de manera completamente programada? Imagine pedirle a su programa de investigación profunda favorita que lo ayude a sintetizar la última investigación del cáncer o un informe legal, o simplemente ayudarlo a encontrar el mejor restaurante en Soho, y luego darle a ese agente un presupuesto para gastar para adquirir el mejor y más relevante contenido”, dijo Cloudflare en una publicación de blog.
Para participar en el mercado experimental de Cloudflare, las compañías de IA y los editores deben estar configurados con cuentas de Cloudflare. En sus cuentas, ambas partes pueden establecer tarifas en las que les gustaría comprar y vender un “rastreo” del contenido del editor. Cloudflare actúa como el intermediario en estas transacciones, cobrando la compañía de IA y distribuyendo las ganancias al editor.
El portavoz de Cloudflare, Ripley Park, le dice a TechCrunch que no hay establo o criptomonedas involucradas en el pago por rastreo en este momento, a pesar de que muchos han sugerido que la moneda digital sería perfecta para algo como esto.
El mercado de Cloudflare se siente como una visión audaz para el futuro que requiere que muchos editores y compañías de IA se unan. Aún así, no hay garantía de que los editores obtengan un buen negocio, y convencer a las empresas de IA para que participen podría ser difícil, dado que actualmente están raspando contenido de forma gratuita.
Sin embargo, Cloudflare parece una de las pocas compañías en condiciones de que un mercado como este suceda.
