Pruna AI, una startup europea que ha estado trabajando en algoritmos de compresión para modelos de IA, está haciendo su código abierto marco de optimización el jueves.
Pruna AI ha estado creando un marco que aplica varios métodos de eficiencia, como almacenamiento en caché, poda, cuantificación y destilación, a un modelo de IA dado.
“También estandarizamos el ahorro y la carga de los modelos comprimidos, aplicando combinaciones de estos métodos de compresión, y también evaluando su modelo comprimido después de comprimirlo”, dijeron a TechCrunch de Pruna Ai, co-fondeador y CTO John Rachwan.
En particular, el marco de Pruna AI puede evaluar si hay una pérdida de calidad significativa después de comprimir un modelo y las ganancias de rendimiento que obtiene.
“Si tuviera que usar una metáfora, somos similares a cómo abrazando los transformadores y difusores estandarizados de cara: cómo llamarlos, cómo salvarlos, cargarlos, etc. Estamos haciendo lo mismo, pero para métodos de eficiencia”, agregó.
Los grandes laboratorios de IA ya han estado utilizando varios métodos de compresión. Por ejemplo, Operai ha confiado en la destilación para crear versiones más rápidas de sus modelos insignia.
Así es probable que Operai desarrolló GPT-4 Turbo, una versión más rápida de GPT-4. Del mismo modo, el modelo de generación de imágenes Flux.1-Schnell es una versión destilada del modelo Flux.1 de Black Forest Labs.
La destilación es una técnica utilizada para extraer conocimiento de un modelo de IA grande con un modelo de “maestro-estudiante”. Los desarrolladores envían solicitudes a un modelo de maestro y registran las salidas. Las respuestas a veces se comparan con un conjunto de datos para ver qué tan precisos son. Estas salidas se utilizan para capacitar al modelo de estudiante, que está capacitado para aproximar el comportamiento del maestro.
“Para las grandes empresas, lo que suelen hacer es que construyen estas cosas internas. “Pero no puede encontrar una herramienta que los agregue a todos, los haga a todos fáciles de usar y combinar juntos. Y este es el gran valor que Pruna está trayendo en este momento”.
Si bien Pruna AI admite cualquier tipo de modelos, desde modelos de idiomas grandes hasta modelos de difusión, modelos de voz a texto y modelos de visión por computadora, la compañía se está centrando más específicamente en los modelos de generación de imágenes y videos en este momento.
Algunos de los usuarios existentes de Pruna AI incluyen escenario y fotorroom. Además de la edición de código abierto, Pruna AI tiene una oferta empresarial con características de optimización avanzadas que incluyen un agente de optimización.
“La característica más emocionante que estamos lanzando pronto será un agente de compresión”, dijo Rachwan. “Básicamente, le das tu modelo, dices: ‘Quiero más velocidad pero no dejes caer mi precisión en más del 2%’. Y luego, el agente solo hará su magia.
Pruna AI cobra por hora por su versión profesional. “Es similar a cómo pensaría en una GPU cuando alquila una GPU en AWS o en cualquier servicio en la nube”, dijo Rachwan.
Y si su modelo es una parte crítica de su infraestructura de IA, terminará ahorrando mucho dinero en inferencia con el modelo optimizado. Por ejemplo, Pruna AI ha hecho un modelo de llama ocho veces más pequeño sin demasiada pérdida utilizando su marco de compresión. Pruna AI espera que sus clientes piensen en su marco de compresión como una inversión que se paga por sí misma.
Pruna AI recaudó una ronda de fondos semillas de $ 6.5 millones hace unos meses. Los inversores en la startup incluyen EQT Ventures, Daphni, Motier Ventures y Kima Ventures.
