Cloudflare presenta una herramienta de auditoría de IA para impedir que los robots de IA que extraen datos accedan a sitios web

Cloudflare ha lanzado AI Audit, un nuevo conjunto de herramientas diseñadas para ofrecer a los propietarios de sitios web y blogueros más control sobre su contenido y cómo lo utilizan los sistemas automatizados. Esta herramienta de seguridad permitirá a los usuarios bloquear o permitir que los robots de inteligencia artificial (IA) que a menudo rastrean sitios web para recopilar datos. La empresa ofrece esta herramienta a todos sus clientes existentes sin coste adicional. Cloudflare también agregó una función que permite a los propietarios de sitios web ver un análisis detallado de qué bots están visitando la plataforma y sus patrones de comportamiento.

Con la creciente popularidad de la tecnología de IA generativa, ha habido un rápido aumento en el entrenamiento de modelos de lenguaje grandes (LLM) con datos generados por humanos. Esto es importante no sólo para crear modelos básicos sino también para mejorarlos y perfeccionarlos. Sin embargo, el principal problema aquí es el acceso a fuentes de datos disponibles públicamente. La mayoría de las empresas de IA ya han utilizado estos conjuntos de datos y ahora necesitan más datos para entrenar modelos de IA.

Los robots de IA están diseñados para ayudar a los desarrolladores a recopilar más información para entrenar modelos de IA. Los robots de IA pueden entenderse como programas sistemáticos que imitan a usuarios reales y pueden ingresar a sitios web y copiar datos de texto, imágenes y videos. Estos robots de IA pueden extraer grandes cantidades de datos en poco tiempo y enviarlos al modelo de IA. Últimamente, varias empresas de medios y sitios web importantes han presentado demandas contra empresas de inteligencia artificial alegando plagio y uso ilegal de datos para realizar un LLM.

La herramienta AI Audit de Cloudflare actúa como una capa protectora que puede impedir que dichos bots accedan a sitios web. La empresa reveló en un presione soltar que también ha realizado mejoras en la herramienta para brindar a los usuarios más control sobre qué bots restringir y qué bots permitir el acceso. Esto es útil en los casos en que la plataforma ha llegado a un acuerdo con una empresa de inteligencia artificial y no le importa que sus bots recopilen datos. O bien, el propietario de un sitio web puede querer brindar acceso a un modelo de IA específico que asocie fuentes de datos para obtener un mejor alcance.

Cloudflare destaca que también están creando un flujo de trabajo en el que los propietarios de sitios web pueden establecer precios justos para su contenido. Por otro lado, los propietarios de bots de IA podrán realizar transacciones con este firewall y una vez pagado el monto, se les dará derecho a escanear el contenido. La compañía destaca que estas herramientas similares a las de un mercado pueden ser útiles para los usuarios que no tienen el ancho de banda o los recursos para negociar y hacer tratos con todas las empresas de inteligencia artificial que se acercan a su sitio web.