A medida que la competencia en el espacio de la IA generativa se vuelve más feroz, OpenAI está actualizando sus modelos de generación de texto y reduciendo los precios.
Hoy, OpenAI anunció el lanzamiento de nuevas versiones de GPT-3.5-turbo y GPT-4, siendo esta última su última IA de generación de texto, con una capacidad llamada función de llamada. Como explica OpenAI en una publicación de blog, la función de llamada permite a los desarrolladores describir funciones de programación para GPT-3.5-turbo y GPT-4 y hacer que los modelos creen código para ejecutar esas funciones.
Por ejemplo, las llamadas a funciones pueden ayudar a crear chatbots que respondan preguntas llamando a herramientas externas, conviertan el lenguaje natural en consultas de bases de datos y extraigan datos estructurados del texto. “Estos modelos se han ajustado para detectar cuándo se debe llamar a una función… y para responder con JSON que se adhiere a la firma de la función”, escribe OpenAI. “Las llamadas a funciones permiten a los desarrolladores obtener datos estructurados del modelo de manera más confiable”.
Más allá de las llamadas a funciones, OpenAI presenta una versión de GPT-3.5-turbo con una ventana de contexto muy ampliada. Ventana de contexto, medida en tokens o bits de texto sin procesar, se refiere al texto que el modelo considera antes de generar cualquier texto adicional. Los modelos con ventanas de contexto pequeñas tienden a “olvidar” el contenido incluso de conversaciones muy recientes, lo que los lleva a desviarse del tema, a menudo de manera problemática.
El nuevo GPT-3.5-turbo ofrece cuatro veces la longitud del contexto (16 000 tokens) del Vanilla GPT-3.5-turbo al doble del precio: $0,003 por 1000 tokens de entrada (es decir, tokens introducidos en el modelo) y $0,004 por 1000 tokens de salida ( tokens que genera el modelo). OpenAI dice que puede ingerir alrededor de 20 páginas de texto de una sola vez, por debajo de los cientos de páginas que el modelo insignia de la startup de IA, Anthropic, puede procesar, en particular. (OpenAI está probando una versión de GPT-4 con una ventana de contexto de 32 000 tokens, pero solo en una versión limitada).
En el lado positivo, OpenAI dice que está reduciendo el precio de GPT-3.5-turbo, el original, no la versión con la ventana de contexto ampliada, en un 25 %. Los desarrolladores ahora pueden usar el modelo por $0.0015 por cada 1000 tokens de entrada y $0.002 por cada 1000 tokens de salida, lo que equivale a aproximadamente 700 páginas por dólar.
El precio también se está reduciendo para text-embedding-ada-002, uno de los modelos de incrustación de texto más populares de OpenAI. Las incrustaciones de texto miden la relación de las cadenas de texto y se usan comúnmente para búsquedas (donde los resultados se clasifican por relevancia para una cadena de consulta) y recomendaciones (donde se recomiendan elementos con cadenas de texto relacionadas).
Text-embedding-ada-002 ahora cuesta $0.0001 por 1,000 tokens, una reducción del 75% del precio anterior. OpenAI dice que la reducción fue posible gracias a una mayor eficiencia en sus sistemas, un área clave de enfoque para la puesta en marcha, sin duda, ya que gasta cientos de millones de dólares en I+D e infraestructura.
OpenAI ha señalado que las actualizaciones incrementales de los modelos existentes, no los nuevos modelos masivos desde cero, son su modus operandi tras el lanzamiento de GPT-4 a principios de marzo. En una conferencia reciente organizada por Economic Times, el CEO Sam Altman reafirmó que OpenAI no ha comenzado a capacitar al sucesor de GPT-4, lo que indica que la empresa “tiene mucho trabajo por hacer” antes de comenzar con ese modelo.
