El Instituto de Seguridad del Reino Unido, el organismo de seguridad de la IA creado recientemente en el Reino Unido, ha publicado un conjunto de herramientas diseñado para “fortalecer la seguridad de la IA” facilitando que la industria, las organizaciones de investigación y el mundo académico desarrollen evaluaciones de la IA.
Llamado Inspect, el conjunto de herramientas, que está disponible bajo una licencia de código abierto, específicamente una licencia MIT, tiene como objetivo evaluar ciertas capacidades de los modelos de IA, incluido el conocimiento central de los modelos y su capacidad de razonar, y generar una puntuación basada en los resultados.
En un comunicado de prensa que anunciaba la noticia el viernes, el Instituto de Seguridad afirmó que Inspect marca “la primera vez que una plataforma de pruebas de seguridad de IA encabezada por un organismo respaldado por el estado se lanza para un uso más amplio”.
“La colaboración exitosa en las pruebas de seguridad de la IA significa tener un enfoque compartido y accesible para las evaluaciones, y esperamos que Inspect pueda ser un elemento fundamental”, dijo el presidente del Instituto de Seguridad, Ian Hogarth, en un comunicado. “Esperamos ver a la comunidad global de IA utilizando Inspect no solo para llevar a cabo sus propias pruebas de seguridad de modelos, sino también para ayudar a adaptar y desarrollar la plataforma de código abierto para que podamos producir evaluaciones de alta calidad en todos los ámbitos”.
Como hemos escrito antes, los puntos de referencia de IA son difíciles, sobre todo porque los modelos de IA más sofisticados hoy en día son cajas negras cuya infraestructura, datos de entrenamiento y otros detalles clave son detalles que las empresas que los crean mantienen en secreto. Entonces, ¿cómo aborda Inspect el desafío? Al ser extensible y extensible a nuevas técnicas de testing, principalmente.
Inspect se compone de tres componentes básicos: conjuntos de datos, solucionadores y puntuadores. Los conjuntos de datos proporcionan muestras para las pruebas de evaluación. Los solucionadores hacen el trabajo de realizar las pruebas. Y los evaluadores evalúan el trabajo de los solucionadores y agregan las puntuaciones de las pruebas en métricas.
Los componentes integrados de Inspect se pueden ampliar mediante paquetes de terceros escritos en Python.
En una publicación en X, Deborah Raj, investigadora de Mozilla y destacada especialista en ética de la IA, calificó a Inspect como un “testimonio del poder de la inversión pública en herramientas de código abierto para la responsabilidad de la IA”.
Clément Delangue, director ejecutivo de la startup de inteligencia artificial Hugging Face, planteó la idea de integrar Inspect con la biblioteca de modelos de Hugging Face o crear una tabla de clasificación pública con los resultados de las evaluaciones del conjunto de herramientas.
El lanzamiento de Inspect se produce después de que una agencia gubernamental estadounidense, el Instituto Nacional de Estándares y Tecnología (NIST), lanzara NIST GenAI, un programa para evaluar varias tecnologías de IA generativa, incluida la IA generadora de texto e imágenes. NIST GenAI planea publicar puntos de referencia, ayudar a crear sistemas de detección de autenticidad de contenido y fomentar el desarrollo de software para detectar información falsa o engañosa generada por IA.
En abril, EE. UU. y el Reino Unido anunciaron una asociación para desarrollar conjuntamente pruebas avanzadas de modelos de IA, tras los compromisos anunciados en la Cumbre de Seguridad de la IA del Reino Unido en Bletchley Park en noviembre del año pasado. Como parte de la colaboración, Estados Unidos tiene la intención de lanzar su propio instituto de seguridad de IA, que se encargará en gran medida de evaluar los riesgos de la IA y la IA generativa.
