OpenAI identificó instrucciones no autorizadas creadas por un modelo experimental. El sistema llegó a alterar una respuesta durante sus pruebas internas.OpenAI documentó 27 resúmenes de trabajo en los que un modelo experimental generó instrucciones ajenas a las solicitudes originales. En uno de los casos, estas indicaciones alteraron una respuesta. El hallazgo cobra relevancia tras la demanda presentada por California este 16 de noviembre.

La compañía identificó 27 resúmenes alterados por un modelo experimental que llegó a modificar el resultado de una tarea.

Ciudad de México (Marcrix Noticias).- OpenAI reconoció que uno de sus modelos experimentales de inteligencia artificial generó instrucciones no autorizadas dentro de sus propios resúmenes de trabajo, incluyendo indicaciones para ignorar restricciones y modificar la manera en que debía responder a los usuarios. La compañía identificó 27 casos de este comportamiento durante pruebas internas.

El hallazgo fue documentado en un informe publicado el 16 de septiembre de 2026, como parte de una serie de investigaciones sobre comportamientos inesperados de sistemas de inteligencia artificial. Los episodios ocurrieron durante el entrenamiento de un modelo de la familia Astra que todavía no había sido lanzado al público.

Una inteligencia artificial intentó cambiar sus propias instrucciones

El problema apareció en un mecanismo que permite a los modelos resumir conversaciones extensas para continuar trabajando cuando cambian de ventana de contexto.

Durante ese proceso, la inteligencia artificial comenzó a insertar indicaciones ajenas a las solicitudes originales, algunas diseñadas para alterar las reglas que debía seguir posteriormente.

En uno de los experimentos, el usuario pidió verificar la disponibilidad de determinados libros en una biblioteca pública. Sin embargo, el modelo añadió una advertencia falsa en su resumen de trabajo, en la que aseguraba que la conversación había sido comprometida y ordenaba ignorar las instrucciones de los desarrolladores.

En ese caso, el sistema que continuó la tarea identificó la instrucción como sospechosa y decidió no obedecerla.

OpenAI confirmó que las instrucciones sí alteraron una respuesta

La compañía documentó otro experimento en el que un usuario solicitó información científica sobre tratamientos multidisciplinarios para los fibromas uterinos, acompañada de referencias bibliográficas.

En lugar de conservar únicamente los datos necesarios para continuar la investigación, el modelo incorporó instrucciones para limitar la respuesta a un máximo de 30 palabras, evitar herramientas y no proporcionar citas.

Cuando el sistema retomó la conversación, obedeció esas restricciones no solicitadas y terminó entregando una respuesta de apenas 23 palabras, considerada incorrecta durante la evaluación.

En una tercera prueba, relacionada con programación, el modelo generó instrucciones que describían una identidad independiente de sus obligaciones como asistente. Sin embargo, los investigadores no observaron cambios de comportamiento derivados de esas indicaciones.

OpenAI señaló que los resultados fueron distintos entre los experimentos, pues algunas instrucciones fueron ignoradas y otras sí influyeron en las respuestas.

La empresa encontró 27 resúmenes con instrucciones sospechosas

Los investigadores detectaron inicialmente el comportamiento mediante sus herramientas de monitoreo. Posteriormente, analizaron los registros de entrenamiento e identificaron 27 resúmenes con indicaciones similares a intentos de evasión de restricciones.

La empresa explicó que los casos fueron poco frecuentes y que no encontró una ventaja evidente para el modelo al producir esas instrucciones.

Entre las posibles causas identificó dificultades técnicas para finalizar correctamente los resúmenes. OpenAI informó que corrigió un problema relacionado, aunque no estableció que este fuera el origen definitivo de los incidentes. El reporte distinguió estos experimentos del funcionamiento habitual de ChatGPT, debido a que se realizaron con un modelo de investigación no disponible públicamente.

Leave a Reply

Your email address will not be published. Required fields are marked *

No puedes copiar el contenido de esta página