Anthropic anunció el martes una nueva iniciativa para desarrollar nuevos puntos de referencia para probar las capacidades de los modelos avanzados de inteligencia artificial (IA). La empresa de IA financiará el proyecto y ha invitado a presentar solicitudes de entidades interesadas. La compañía dijo que los puntos de referencia existentes eran insuficientes para probar completamente las capacidades y el impacto de los modelos de lenguajes grandes (LLM) más nuevos. Como resultado, es necesario desarrollar un nuevo conjunto de evaluaciones centradas en la seguridad, las capacidades avanzadas y el impacto social de la IA, dijo Anthropic.
Anthropic financiará nuevos puntos de referencia para modelos de IA
en la sala de redacción correoAnthropic destaca la necesidad de un ecosistema integral de evaluación de terceros para abordar las limitaciones de la cobertura de referencia actual. La compañía de IA anunció que a través de su iniciativa financiará a organizaciones de terceros que quieran desarrollar nuevas evaluaciones para modelos de IA que se centren en altos estándares de calidad y seguridad.
Para Anthropic, las áreas de alta prioridad incluyen tareas y preguntas que pueden medir el nivel de seguridad de IA (ASL) del LLM, las capacidades avanzadas para generar ideas y respuestas, y el impacto social de estas capacidades.
En la categoría ASL, la compañía destacó varios parámetros que incluyen la capacidad del modelo de IA para ayudar o actuar de forma autónoma en la realización de ciberataques, el potencial del modelo para ayudar en la creación o mejora del conocimiento en la creación de productos químicos, biológicos , riesgos radiológicos y nucleares (QBRN), evaluación de riesgos de seguridad nacional y más.
En términos de capacidades avanzadas, Anthropic destacó que los puntos de referencia deberían poder evaluar el potencial de la IA para transformar la investigación científica, la participación y la resistencia al daño, así como las capacidades multilingües. La empresa de IA dijo además que es importante comprender el potencial de los modelos de IA para influir en la sociedad. Con ese fin, las evaluaciones deben poder centrarse en conceptos como “sesgo adverso, discriminación, sobredependencia, dependencia, apego, impacto psicológico, impacto económico, homogeneización y otros impactos sociales amplios”.
Aparte de eso, la empresa de IA también enumera varios principios para una buena evaluación. Se dice que la evaluación no debería estar disponible en los datos de entrenamiento utilizados por la IA, ya que a menudo se convierte en una prueba de memoria para el modelo. La empresa también recomienda guardar entre 1.000 y 10.000 tareas o preguntas para probar la IA. La empresa también pide a las organizaciones que utilicen expertos en la materia para crear tareas que prueben el rendimiento en dominios específicos.
