Investigadores de seguridad de IA de OpenAI, Anthrope y otras organizaciones están hablando públicamente contra la cultura de seguridad “imprudente” y “completamente irresponsable” en XAI, la startup de IA de mil millones de dólares propiedad de Elon Musk.
Las críticas siguen semanas de escándalos en XAI que han eclipsado los avances tecnológicos de la compañía.
La semana pasada, el chatbot de IA de la compañía, Grok, tocó comentarios antisemitas y repetidamente se llamó a sí mismo “Mechahitler”. Poco después de que Xai fuera de Chatbot fuera de línea para abordar el problema, lanzó un modelo de IA frontier cada vez más capaz, Grok 4, que TechCrunch y otros encontraron para consultar la política personal de Elon Musk para ayudar a responder problemas de hot-button. En el último desarrollo, Xai lanzó compañeros de IA que toman la forma de una niña de anime hiper-sexualizada y un panda demasiado agresivo.
El josing amistoso entre los empleados de los laboratorios de IA competidores es bastante normal, pero estos investigadores parecen estar pidiendo una mayor atención a las prácticas de seguridad de Xai, que dicen estar en desacuerdo con las normas de la industria.
“No quería publicar sobre Grok Safety ya que trabajo en un competidor, pero no se trata de competencia”, dijo Boaz Barak, profesor de informática actualmente con licencia de Harvard para trabajar en la investigación de seguridad en OpenAI, en una publicación del martes sobre X.
Barak particularmente tiene problemas con la decisión de Xai de no publicar tarjetas del sistema: informes estándar de la industria que detallan los métodos de capacitación y las evaluaciones de seguridad en un esfuerzo de buena fe para compartir información con la comunidad de investigación. Como resultado, Barak dice que no está claro qué entrenamiento de seguridad se realizó en Grok 4.
Operai y Google tienen una reputación irregular cuando se trata de compartir rápidamente tarjetas del sistema al presentar nuevos modelos de IA. Operai decidió no publicar una tarjeta del sistema para GPT-4.1, alegando que no era un modelo fronterizo. Mientras tanto, Google esperó meses después de presentar Gemini 2.5 Pro para publicar un informe de seguridad. Sin embargo, estas compañías históricamente publican informes de seguridad para todos los modelos de IA fronteriza antes de ingresar a la producción completa.
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Barak también señala que los compañeros de IA de Grok “toman los peores problemas que tenemos actualmente para dependencias emocionales e intenta amplificarlas”. En los últimos años, hemos visto innumerables historias de personas inestables que se desarrollan con respecto a la relación con los chatbots, y cómo las respuestas excesivas de IA pueden inclinarlas al borde de la cordura.
Samuel Marks, un investigador de seguridad de IA con Anthrope, también estaba en desacuerdo con la decisión de Xai de no publicar un informe de seguridad, llamando a la medida “imprudente”.
“Las prácticas de lanzamiento de Anthrope, Openai y Google tienen problemas”, escribió Marks en una publicación sobre X. “Pero al menos hacen algo, cualquier cosa para evaluar la seguridad de la seguridad y los hallazgos de documentos. Xai no”.
La realidad es que realmente no sabemos qué hizo Xai para probar Grok 4. En una publicación ampliamente compartida en el foro en línea Lesswrong, un investigador anónimo afirma que Grok 4 no tiene barandillas de seguridad significativas basadas en sus pruebas.
Ya sea cierto o no, el mundo parece estar descubriendo las deficiencias de Grok en tiempo real. Desde entonces, varios de los problemas de seguridad de Xai se han vuelto virales, y la compañía afirma haberlos abordado con los ajustes al indicador del sistema de Grok.
Openai, Anthrope y Xai no respondieron a la solicitud de comentarios de TechCrunch.
Dan Hendrycks, asesor de seguridad de XAI y director del Centro de Seguridad de AI, publicó en X que la compañía hizo “evaluaciones de capacidad peligrosas” en Grok 4. Sin embargo, los resultados para esas evaluaciones no se han compartido públicamente.
“Me preocupa cuando las prácticas de seguridad estándar no se mantienen en toda la industria de la IA, como publicar los resultados de evaluaciones de capacidad peligrosas”, dijo Steven Adler, un investigador independiente de IA que previamente dirigió equipos de seguridad en OpenAI, en un comunicado a TechCrunch. “Los gobiernos y el público merecen saber cómo las empresas de IA están manejando los riesgos de los sistemas muy poderosos que dicen que están construyendo”.
Lo interesante de las cuestionables prácticas de seguridad de XAI es que Musk ha sido durante mucho tiempo uno de los defensores más notables de la industria de seguridad de la IA. El líder multimillonario de XAI, Tesla y SpaceX advirtió muchas veces sobre el potencial de que los sistemas de IA avanzados causen resultados catastróficos para los humanos, y ha elogiado un enfoque abierto para desarrollar modelos de IA.
Y, sin embargo, los investigadores de IA de la competencia Labs afirman que XAI se está desviando de las normas de la industria en torno a la liberación de modelos de IA de forma segura. Al hacerlo, la startup de Musk puede estar presentando sin darse cuenta un caso sólido para que los legisladores estatales y federales establezcan reglas en torno a la publicación de informes de seguridad de IA.
Hay varios intentos a nivel estatal para hacerlo. El senador estatal de California, Scott Wiener, está presionando un proyecto de ley que requeriría que los principales laboratorios de IA, probablemente incluyen XAI, para publicar informes de seguridad, mientras que la gobernadora de Nueva York, Kathy Hochul, está considerando un proyecto de ley similar. Los defensores de estos proyectos de ley notan que la mayoría de los laboratorios de IA publican este tipo de información de todos modos, pero evidentemente, no todos lo hacen de manera consistente.
Los modelos de IA hoy aún no han exhibido escenarios del mundo real en los que crean daños verdaderamente catastróficos, como la muerte de personas o miles de millones de dólares en daños. Sin embargo, muchos investigadores de IA dicen que esto podría ser un problema en el futuro cercano dado el rápido progreso de los modelos de IA, y los miles de millones de dólares Silicon Valley están invirtiendo para mejorar aún más la IA.
Pero incluso para los escépticos de tales escenarios catastróficos, hay un caso fuerte que sugiere que el mal comportamiento de Grok hace que los productos impulse hoy sea significativamente peor.
Grok extendió el antisemitismo alrededor de la plataforma X esta semana, solo unas semanas después de que el chatbot mencionó repetidamente el “genocidio blanco” en conversaciones con los usuarios. Musk ha indicado que Grok estará más arraigado en los vehículos Tesla, y Xai está tratando de vender sus modelos de IA al Pentágono y otras empresas. Es difícil imaginar que las personas que conducen los automóviles de Musk, los trabajadores federales que protegen los EE. UU. O los empleados empresariales de automatización de las tareas serán más receptivas a estos malhavores que los usuarios en X.
Varios investigadores argumentan que las pruebas de seguridad y alineación de IA no solo aseguran que los peores resultados no ocurran, sino que también protegen contra los problemas de comportamiento a corto plazo.
Por lo menos, los incidentes de Grok tienden a eclipsar el rápido progreso de XAI en el desarrollo de modelos de IA fronterizos que mejor la tecnología de OpenAi y Google, solo un par de años después de la fundación de la startup.
