un nuevo papel de investigadores de la universidad suiza EPFL sugiere que entre el 33 % y el 46 % de los trabajadores colectivos distribuidos en el servicio Mechanical Turk de Amazon parecen haber “engañado” al realizar una tarea en particular que se les asignó, ya que utilizaron herramientas como ChatGPT para hacer algunas de las tareas. trabajar. Si esa práctica está muy extendida, puede convertirse en un problema bastante serio.
Mechanical Turk de Amazon ha sido durante mucho tiempo un refugio para los desarrolladores frustrados que quieren que los humanos hagan el trabajo. En pocas palabras, es una interfaz de programación de aplicaciones (API) que envía tareas a humanos, quienes las realizan y luego devuelven los resultados. Estas tareas suelen ser del tipo en las que desearía que las computadoras fueran mejores. Según Amazon, un ejemplo de tales tareas sería: “Dibujar cuadros delimitadores para crear conjuntos de datos de alta calidad para modelos de visión por computadora, donde la tarea puede ser demasiado ambigua para una solución puramente mecánica y demasiado amplia incluso para un gran equipo de expertos humanos. ”
Los científicos de datos tratan los conjuntos de datos de manera diferente según su origen, ya sea que los generen personas o un modelo de lenguaje grande (LLM). Sin embargo, el problema aquí con Mechanical Turk es peor de lo que parece: la IA ahora está disponible a un precio tan bajo que los gerentes de producto que eligen usar Mechanical Turk en lugar de una solución generada por una máquina confían en que los humanos son mejores en algo que los robots. Envenenar ese pozo de datos podría tener serias repercusiones.
“Distinguir los LLM del texto generado por humanos es difícil tanto para los modelos de aprendizaje automático como para los humanos”, dijeron los investigadores. Por lo tanto, los investigadores crearon una metodología para averiguar si el contenido basado en texto fue creado por un humano o una máquina.
La prueba consistió en pedirles a los trabajadores colaborativos que condensaran los resúmenes de investigación del New England Journal of Medicine en resúmenes de 100 palabras. Vale la pena señalar que esto es precisamente el tipo de tarea en la que son buenas las tecnologías de IA generativa como ChatGPT.
