En una actualización de su marco de preparación, el marco interno que Operai usa para decidir si los modelos de IA son seguros y qué salvaguardas, si las hay, se necesitan durante el desarrollo y la liberación, OpenAi dijo que puede “ajustar” sus requisitos si un laboratorio de IA rival libera un sistema de “alto riesgo” sin salvaguardas comparables.
El cambio refleja las crecientes presiones competitivas sobre los desarrolladores comerciales de IA para implementar modelos rápidamente. Operai ha sido acusado de reducir los estándares de seguridad a favor de las liberaciones más rápidas y de no entregar informes oportunos que detallen sus pruebas de seguridad.
Quizás anticipando las críticas, OpenAi afirma que no haría estos ajustes de políticas a la ligera, y que mantendría sus salvaguardas en “un nivel más protector”.
“Si otro desarrollador de IA Frontier lanza un sistema de alto riesgo sin salvaguardas comparables, podemos ajustar nuestros requisitos”, escribió Openai en una publicación de blog publicada el martes por la tarde. “Sin embargo, primero confirmaríamos rigurosamente que el panorama de los riesgos ha cambiado realmente, reconocemos públicamente que estamos haciendo un ajuste, evaluamos que el ajuste no aumenta significativamente el riesgo general de daño severo y aún mantiene las salvaguardas a un nivel más protector”.
El marco de preparación renovada también deja en claro que OpenAi depende más de las evaluaciones automatizadas para acelerar el desarrollo de productos. La compañía dice que, si bien no ha abandonado las pruebas dirigidas por humanos por completo, ha construido “un creciente conjunto de evaluaciones automatizadas” que supuestamente puede “mantenerse al día con [a] más rápido [release] cadencia.”
Algunos informes contradicen esto. Según el Financial Times, OpenAI dio a los evaluadores menos de una semana por controles de seguridad para un próximo modelo importante, una línea de tiempo comprimida en comparación con las versiones anteriores. Las fuentes de la publicación también alegaron que muchas de las pruebas de seguridad de OpenAI ahora se realizan en versiones anteriores de modelos que las versiones publicadas al público.
En las declaraciones, OpenAi ha disputado la noción de que se compromete a la seguridad.
Otros cambios en el marco de OpenAI se refieren a la forma en que la compañía clasifica los modelos de acuerdo con el riesgo, incluidos los modelos que pueden ocultar sus capacidades, evadir salvaguardas, evitar su apagado e incluso autoalfriquar. Operai dice que ahora se centrará en si los modelos cumplen con uno de los dos umbrales: capacidad “alta” o capacidad “crítica”.
La definición de OpenAi del primero es un modelo que podría “amplificar las vías existentes hacia el daño severo”. Estos últimos son modelos que “introducen nuevas vías sin precedentes para daños graves”, según la empresa.
“Los sistemas cubiertos que alcanzan la alta capacidad deben tener salvaguardas que minimicen suficientemente el riesgo asociado de daños severos antes de implementarse”, escribió OpenAI en su publicación de blog. “Los sistemas que alcanzan la capacidad crítica también requieren salvaguardas que minimicen suficientemente los riesgos asociados durante el desarrollo”.
Las actualizaciones son las primeras OpenAI que ha hecho al marco de preparación desde 2023. Ese año, OpenAi reasentó el marco para mostrar una ruta clara para identificar, analizar y decidir cómo abordar el riesgo del modelo “catastrófico”.
