La empresa matriz de TikTok, ByteDance, tiene herramientas que rastrean la web 25 veces más rápido que OpenAI

La empresa matriz de TikTok, ByteDance, recopila grandes cantidades de datos web mucho más rápido que otros rastreadores web importantes.

Es posible que ByteDance esté planeando lanzar su propio LLM y esté utilizando agresivamente su rastreador web, “Bytespider”, para recopilar datos para entrenar sus modelos. Propiedad informó.

Bytespider apareció en abril y, desde entonces, su tasa de consumo avergüenza a los web scrapers de OpenAI, Google, Meta y Anthropic.

Sam Crowther, director ejecutivo de Kasada, una empresa que se especializa en la gestión de bots, dijo al medio que la tasa de raspado de Bytespider es 25 veces mayor que la del GPTbot de OpenAI y 3000 veces la tasa de ClaudeBot, que es el rastreador web de Anthropic para su Claude LLM. Crowther también dijo que los datos de Kasada habían mostrado un “importante aumento en la actividad de scraping” de Bytespider en las últimas seis semanas.

Mientras Bytespider consume vorazmente la web, el gobierno de EE.UU. está intentando inhibir el posible acceso de los datos de los usuarios estadounidenses al gobierno chino. En abril, el presidente Biden firmó una ley que obliga a prohibir TikTok a menos que ByteDance lo venda dentro de un año. Dado el tictac de ByteDance para vender TikTok, la sensación de urgencia coincide con el enorme nivel de actividad de rastreo web, ya sea para LLM, mejores algoritmos o algo más, no lo sabemos.

Queda por ver qué planea hacer ByteDance con todos sus nuevos datos. Pero TikTok ha lanzado varias funciones impulsadas por IA para la plataforma. En mayo, anunciaron un conjunto de herramientas para que los anunciantes creen anuncios generados por IA y avatares generados por IA para marcas y creadores de contenido. Según se informa, TikTok también está trabajando en un motor de búsqueda interno, con resultados impulsados ​​por IA, posiblemente utilizando ChatGPT.