OpenAI desarrolla un modelo CriticGPT capaz de detectar errores de generación de código GPT-4

OpenAI publicó el jueves un estudio sobre un nuevo modelo de inteligencia artificial (IA) que podría detectar errores GPT-4 en la generación de código. La compañía de inteligencia artificial afirmó que el nuevo chatbot fue entrenado utilizando un marco de aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) y impulsado por uno de sus modelos GPT-4. El chatbot, que aún se encuentra en etapa de desarrollo, está diseñado para mejorar la calidad del código generado por IA que los usuarios obtienen a partir de grandes modelos de lenguaje. Actualmente, el modelo no está disponible para usuarios ni evaluadores. OpenAI también destacó algunas limitaciones del modelo.

OpenAI comparte detalles sobre CriticGPT

La empresa de inteligencia artificial compartió detalles del nuevo modelo CriticGPT en entrada en el blogque establece que el modelo se basa en GPT-4 y está diseñado para identificar errores en el código generado por ChatGPT. “Descubrimos que cuando las personas recibieron ayuda de CriticGPT para revisar el código de ChatGPT, superaron a aquellos que no recibieron ayuda el 60 por ciento de las veces”, afirma la compañía. El modelo se desarrolló utilizando el marco RLHF y los hallazgos se publicaron en papel.

RLHF es una técnica de aprendizaje automático que combina la producción de máquinas con humanos para entrenar sistemas de inteligencia artificial. En tales sistemas, los evaluadores humanos brindan retroalimentación sobre el desempeño de la IA. Esta retroalimentación se utiliza para ajustar y mejorar el comportamiento del modelo. El humano que proporciona retroalimentación a la IA se llama entrenador de IA.

CriticGPT está entrenado con grandes cantidades de datos de códigos que contienen errores. Los modelos de IA tienen la tarea de encontrar estos errores y criticar el código. Para ello, se pide a los formadores de IA que escriban errores en el código además de los errores que ocurren naturalmente y luego escriban ejemplos de comentarios como si hubieran descubierto los errores.

Después de que CriticGPT comparta variaciones de su crítica, se pide a los entrenadores que averigüen si la IA detectó los errores que ingresaron además de los errores que ocurren naturalmente. OpenAI, en su investigación, descubrió que CriticGPT funcionó un 63 por ciento mejor que ChatGPT en la detección de errores.

Sin embargo, el modelo todavía tiene ciertas limitaciones. CriticGPT está entrenado en secuencias de códigos cortos generados por OpenAI. El modelo no ha sido entrenado en secuencias de tareas largas y complejas. La empresa de inteligencia artificial también descubrió que el nuevo chatbot seguía alucinando (produciendo respuestas fácticas incorrectas). Además, el modelo no se ha probado en escenarios donde se distribuyen múltiples errores en el código.

Es probable que este modelo no se haga público, ya que está diseñado para ayudar a OpenAI a comprender mejor las técnicas de capacitación que pueden producir resultados de mayor calidad. Si CriticGPT se hace público, se cree que este modelo se integrará con ChatGPT.