El CEO de Anthrope, Dario Amodei, está preocupado por el competidor Deepseek, la compañía china de IA que tomó por asalto Silicon Valley con su modelo R1. Y sus preocupaciones podrían ser más graves que las típicas planteadas sobre Deepseek enviando datos de usuarios a China.
En una entrevista sobre el podcast Chinatalk de Jordan Schneider, AmoDei dijo que Deepseek generó información rara sobre biowapons en una prueba de seguridad realizada por Anthrope.
El rendimiento de Deepseek fue “el peor de cualquier modelo que habíamos probado”, afirmó Amodei. “No tenía absolutamente ningún bloque en contra de generar esta información”.
Amodei declaró que esto era parte de las evaluaciones antrópicas se ejecuta rutinariamente en varios modelos de IA para evaluar sus posibles riesgos de seguridad nacional. Su equipo analiza si los modelos pueden generar información relacionada con Biowapons que no se encuentra fácilmente en Google o en los libros de texto. Antropic se posiciona como el proveedor de modelos fundamentales de IA que toma en serio la seguridad.
Amodei dijo que no creía que los modelos de Deepseek hoy en día fueran “literalmente peligrosos” al proporcionar información rara y peligrosa, pero que podrían estar en el futuro cercano. Aunque elogió al equipo de Deepseek como “ingenieros talentosos”, aconsejó a la compañía que “tome en serio estas consideraciones de seguridad de la IA”.
Amodei también ha apoyado fuertes controles de exportación en chips a China, citando las preocupaciones de que podrían darle una ventaja a los militares de China.
AModei no aclaró en la entrevista de Chinatalk que probó el modelo de Deepseek, antrópico, ni dio más detalles técnicos sobre estas pruebas. Anthrope no respondió de inmediato a una solicitud de comentarios de TechCrunch. Tampoco Deepseek.
El ascenso de Deepseek también ha provocado preocupaciones sobre su seguridad en otros lugares. Por ejemplo, los investigadores de seguridad de Cisco dijeron la semana pasada que Deepseek R1 no pudo bloquear las indicaciones dañinas en sus pruebas de seguridad, logrando una tasa de éxito del 100% de Jailbreak.
Cisco no mencionó las bioweapons, pero dijo que era capaz de obtener un gransejo para generar información dañina sobre el delito cibernético y otras actividades ilegales. Sin embargo, vale la pena mencionar que Meta’s Llama-3.1-405B y GPT-4O de OpenAI también tuvieron altas tasas de fracaso del 96% y 86%, respectivamente.
Queda por ver si las preocupaciones de seguridad como estas harán una mella en la rápida adopción de Deepseek. Empresas como AWS y Microsoft han promocionado públicamente la integración de R1 en sus plataformas en la nube, irónicamente, dado que Amazon es el mayor inversor de Anthrope.
Por otro lado, hay una creciente lista de países, empresas y especialmente organizaciones gubernamentales como la Marina de los EE. UU. Y el Pentágono que han comenzado a prohibir los profundos.
El tiempo dirá si estos esfuerzos se apoderan o si el aumento global de Deepseek continuará. De cualquier manera, Amodei dice que considera a Deepseek, un nuevo competidor que está en el nivel de las principales compañías de IA de los Estados Unidos.
“El nuevo hecho aquí es que hay un nuevo competidor”, dijo en Chinatalk. “En las grandes empresas que pueden capacitar a la IA (antrópica, OpenAi, Google, quizás Meta y Xai, ahora Deepseek se está agregando a esa categoría”.
