Cloudflare presenta una herramienta de auditoría de IA para impedir que los robots de IA que extraen datos accedan a sitios web

Cloudflare ha lanzado AI Audit, un nuevo conjunto de herramientas diseñadas para ofrecer a los propietarios de sitios web y blogueros más control sobre su contenido y cómo lo utilizan los sistemas automatizados. Esta herramienta de seguridad permitirá a los usuarios bloquear o permitir que los robots de inteligencia artificial (IA) que rastrean con frecuencia sitios web obtengan datos. La empresa ofrece esta herramienta a todos sus clientes sin coste adicional. Cloudflare también agregó una función que permite a los propietarios de sitios web ver un análisis detallado de qué bots están visitando la plataforma y sus patrones de comportamiento.

Con la creciente popularidad de las tecnologías de IA generativa, existe un impulso para entrenar grandes modelos de lenguaje (LLM) con datos generados por humanos. Esto es importante no sólo para crear un modelo fundamental sino también para avanzarlo y mejorarlo. Sin embargo, el principal problema aquí es el acceso a fuentes de datos disponibles públicamente. La mayoría de las empresas de IA ya han estudiado estos conjuntos de datos y ahora necesitan más datos para entrenar modelos de IA.

Los robots de IA están diseñados para ayudar a los desarrolladores a recopilar más información para entrenar modelos de IA. Pueden entenderse como programas sistemáticos que imitan a usuarios reales que pueden ingresar a sitios web y copiar datos de texto, imágenes y videos. Estos robots de IA pueden recopilar grandes cantidades de datos en poco tiempo y enviarlos al modelo de IA. En los últimos tiempos, varias grandes empresas de medios y sitios web han presentado demandas contra empresas de inteligencia artificial alegando plagio y uso ilegal de datos para alimentar a los LLM.

La herramienta de auditoría de inteligencia artificial de Cloudflare actúa como una capa protectora que puede impedir que dichos robots accedan a sitios web. La empresa se revela en un presione soltar que también ha realizado mejoras en la herramienta para brindar a los usuarios más control sobre qué bots restringir y qué bots permitir el acceso. Esto es útil si la plataforma ha llegado a un acuerdo con una empresa de inteligencia artificial y no le importa que sus bots recopilen datos. Alternativamente, los propietarios de sitios web pueden querer brindar acceso a ciertos modelos de IA que atribuyen fuentes de datos para obtener un mejor alcance.

Cloudflare destaca que también han creado un flujo de trabajo donde los propietarios de sitios web pueden establecer precios justos para su contenido. En cambio, los propietarios de robots de IA podrán realizar transacciones con este firewall y, una vez pagado el monto, se les dará derecho a escanear el contenido. La compañía destaca que sus herramientas similares a las de un mercado pueden ser útiles para los usuarios que no tienen el ancho de banda o los recursos para negociar y llegar a un acuerdo con cada empresa de inteligencia artificial que se acerca a su sitio web.