Cuando Operai presentó su modelo de IA de “razonamiento” O3 en diciembre, la compañía se asoció con los creadores de ARC-AGI, un punto de referencia diseñado para probar AI altamente capaz, para mostrar las capacidades de O3. Meses después, los resultados se han revisado, y ahora se ven un poco menos impresionantes que inicialmente.
La semana pasada, la Fundación del Premio ARC, que mantiene y administra ARC-AGI, actualizó sus costos de computación aproximados para O3. La organización estimó originalmente que la configuración de mejor rendimiento de O3 probó, O3 Alto, costó alrededor de $ 3,000 para resolver un solo problema ARC-AGI. Ahora, la Fundación del Premio ARC cree que el costo es mucho más alto, posiblemente alrededor de $ 30,000 por tarea.
La revisión es notable porque ilustra cuán caros los modelos de IA más sofisticados de hoy pueden terminar siendo para ciertas tareas, al menos desde el principio. Operai aún no tiene que fijar el precio de O3, o liberarlo, incluso. Pero la Fundación del Premio ARC cree que el precio del modelo O1-Pro de OpenAI es un proxy razonable.
Para el contexto, O1-Pro es el modelo más caro de OpenAI hasta la fecha.
“Creemos que O1-Pro es una comparación más cercana del verdadero costo de O3 […] Debido a la cantidad de cómputo de tiempo de prueba utilizado “, dijo Mike Knoop, uno de los cofundadores de la Fundación del Premio ARC, a TechCrunch:” Pero esto sigue siendo un proxy, y hemos mantenido a O3 etiquetado como una vista previa en nuestra clasificación para reflejar la incertidumbre hasta que se anuncien el precio oficial “.
Un alto precio para O3 High no estaría fuera de la cuestión, dada la cantidad de recursos informáticos, según los informes, el modelo utiliza. Según la Fundación del Premio ARC, O3 High utilizó 172x más de computación que O3 Low, la configuración más baja de O3, para abordar ARC-AGI.
Además, los rumores han volado durante bastante tiempo sobre los planes costosos que Operai está considerando presentar a los clientes empresariales. A principios de marzo, la información informó que la compañía puede estar planeando cobrar hasta $ 20,000 por mes por “agentes” especializados de IA, como un agente de desarrolladores de software.
Algunos podrían argumentar que incluso los modelos más caros de OpenAi costarán bien lo que un contratista o empleado humano típico ordenaría. Pero como el investigador de IA Toby Ord señaló en una publicación sobre X, los modelos pueden no ser tan eficientes. Por ejemplo, O3 High necesitaba 1.024 intentos en cada tarea en ARC-AGI para lograr su mejor puntaje.
