Según el fundador de Dark Visits, Gavin King, la mayoría de los grandes defensores de la IA todavía siguen robots.txt. “Eso ha sido bastante consistente”, dice. “Pero no todos los propietarios de sitios web tienen el tiempo o el conocimiento para actualizar constantemente sus archivos robots.txt. Incluso si lo hacen, algunos bots evitarán los comandos de archivos: “Están tratando de ocultar el archivo. tráfico.”
Prince dice que el bloqueo de bots de Cloudflare no es una orden que este tipo de mal actor pueda ignorar. “Robots.txt es como poner un cartel de ‘no ofender'”, afirma. Esto es como proteger un muro real con guardias armados. A medida que detecta otros tipos de comportamiento web sospechoso, como los robots de raspado de precios utilizados para análisis de precios ilegales, la compañía ha desarrollado sistemas para detectar cuidadosamente incluso a personas ocultas mediante IA.
Cloudflare también está anunciando un próximo mercado para que los clientes interactúen con empresas de inteligencia artificial, ya sea pagando por usar contenido o intercambiando créditos para usar servicios de inteligencia artificial para intercambiar y destruir. “No nos importa cuáles sean las ventas, pero creemos que tiene que haber alguna manera de devolver valor a los creadores del contenido original”, dice Prince. “La compensación no tiene que ser en dólares. La compensación puede ser crédito”. o reconocimiento. Pueden ser muchas cosas diferentes”.
No hay una fecha establecida para el lanzamiento del mercado, pero incluso si se lanza este año, se unirá a un número creciente de proyectos de financiación colectiva destinados a facilitar acuerdos de licencia y otros acuerdos de licencia entre empresas, editores, plataformas y otros sitios web de IA.
¿Qué están haciendo las empresas de IA al respecto? “Hablamos con muchos de ellos y sus opiniones iban desde ‘esto tiene sentido y estamos abiertos’ hasta ‘vete al infierno'”, dice Prince. (Aunque no quiso dar nombres).
El plan era lograr un cambio rápido. Prince cita una conversación con el director ejecutivo de Atlantic (y editor en jefe de WIRED), Nick Thompson, como inspiración para el proyecto; Thompson había entrevistado a muchos editores diferentes que se habían topado con web scrapers inusuales. “Me encanta que lo esté haciendo”, dice Thompson. “Si incluso las organizaciones de medios de renombre estaban luchando para mantenerse al día con la afluencia de scrapers, razonó Prince, los bloggers independientes y los propietarios de redes tendrán más problemas.
Cloudflare ha sido una empresa líder en seguridad web durante años y ha proporcionado una gran parte de la infraestructura que aloja Internet. Se ha mantenido lo más neutral posible respecto del contenido de los sitios web que ofrece sus servicios; Si bien a veces hace excepciones a esa regla, Prince enfatizó que no quiere que Cloudflare sea un árbitro de lo que está permitido en Internet.
Aquí se ve a Cloudflare en una posición única. “El camino que estamos siguiendo no es sostenible”, afirma Prince. “Esperamos poder ser parte para garantizar que las personas reciban un pago por su trabajo”.
