Los flujos de trabajo del ingeniero de software se han transformado en los últimos años mediante una afluencia de herramientas de codificación de IA como Cursor y GitHub Copilot, que prometen mejorar la productividad escribiendo automáticamente líneas de código, arreglando errores y pruebas de cambios. Las herramientas están impulsadas por modelos de IA de OpenAI, Google Deepmind, Anthrope y XAI que han aumentado rápidamente su rendimiento en una variedad de pruebas de ingeniería de software en los últimos años.
Sin embargo, un nuevo estudio publicado el jueves por el grupo de investigación de IA sin fines de lucro METR cuestiona hasta qué punto las herramientas de codificación de IA de hoy mejoran la productividad para desarrolladores experimentados.
METR realizó un ensayo controlado aleatorio para este estudio al reclutar 16 desarrolladores de código abierto experimentados y hacer que completen 246 tareas reales en repositorios de código grandes a los que contribuyen regularmente. Los investigadores asignaron al azar aproximadamente la mitad de esas tareas como “permitidas por AI”, dando a los desarrolladores permiso para usar herramientas de codificación de IA de última generación como Cursor Pro, mientras que la otra mitad de las tareas prohibió el uso de herramientas de IA.
Antes de completar sus tareas asignadas, los desarrolladores pronosticaron que usar herramientas de codificación de IA reduciría su tiempo de finalización en un 24%. Ese no era el caso.
“Sorprendentemente, encontramos que permitir la IA en realidad aumenta el tiempo de finalización en un 19%: los desarrolladores son más lentos cuando utilizan herramientas de IA”, dijeron los investigadores.
En particular, solo el 56% de los desarrolladores en el estudio tenían experiencia en el uso de cursor, la principal herramienta de IA ofrecida en el estudio. Si bien casi todos los desarrolladores (94%) tenían experiencia en el uso de algunos LLM basados en la web en sus flujos de trabajo de codificación, este estudio fue la primera vez que algunos usaron el cursor específicamente. Los investigadores señalan que los desarrolladores fueron entrenados para usar el cursor en preparación para el estudio.
Sin embargo, los hallazgos de Metr plantean preguntas sobre las supuestas ganancias de productividad universal prometidas por las herramientas de codificación de IA en 2025. Según el estudio, los desarrolladores no deben suponer que las herramientas de codificación de IA, específicamente lo que se conoce como “codificadores de vibos”, acelerará inmediatamente sus flujos de trabajo.
Los investigadores de METR señalan algunas razones potenciales por las cuales la IA ralentizó a los desarrolladores en lugar de acelerarlos: los desarrolladores pasan mucho más tiempo provocando la IA y esperando que responda cuando use codificadores de VIBE en lugar de codificar realmente. La IA también tiende a luchar en bases de código grandes y complejas, que esta prueba utilizó.
Los autores del estudio tienen cuidado de no sacar conclusiones sólidas de estos hallazgos, señalando explícitamente que no creen que los sistemas de IA actualmente no aceleren a muchos o la mayoría de los desarrolladores de software. Otros estudios a gran escala han demostrado que las herramientas de codificación de IA aceleran los flujos de trabajo del ingeniero de software.
Los autores también señalan que el progreso de la IA ha sido sustancial en los últimos años y que no esperarían los mismos resultados incluso dentro de tres meses. METR también ha encontrado que las herramientas de codificación de IA han mejorado significativamente su capacidad para completar tareas complejas de oraciones largas en los últimos años.
Sin embargo, la investigación ofrece otra razón para ser escéptico sobre las ganancias prometidas de las herramientas de codificación de IA. Otros estudios han demostrado que las herramientas de codificación de IA de hoy pueden introducir errores y, en algunos casos, vulnerabilidades de seguridad.
