Una startup de ex empleados de Meta tiene como objetivo optimizar el proceso de moderación de contenido para las empresas que se enfrentan a algunos de los desafíos más complejos y peligrosos de Internet.
Cinder, a quien le gusta describirse a sí mismo como un “sistema operativo para la confianza y la seguridad”, cuenta con años de experiencia combinada en el trabajo de políticas de contenido y seguridad. Eso incluye al director ejecutivo y cofundador Glen Wise, ex ingeniero del equipo rojo en Meta, Philip Brennan y Declan Cummings, que trabajaron en inteligencia de amenazas en Meta, y Brian Fishman, ex director del equipo de organizaciones peligrosas y contraterrorismo de Facebook.
Cinder cuenta con el respaldo de la firma de riesgo Accel, que lideró una ronda semilla en mayo y una Serie A de $12,8 millones este mes, con la participación de Y Combinator. La empresa fue creada en enero de este año y ha recaudado un total de $14 millones hasta la fecha.
Hablando con TechCrunch, Wise comparó a Cinder con plataformas de software empresarial como Salesforce y Zendesk que pueden reunir conjuntos dispersos de datos en una sola interfaz de usuario. Pero con Cinder, en lugar de que los equipos de ventas o servicio al cliente rastreen y filtren datos, los moderadores de contenido y otros miembros de los equipos de confianza y seguridad de una empresa pueden centralizar un flujo de trabajo confidencial en una herramienta especialmente diseñada.
Wise dice que las empresas que no cuentan con flujos de trabajo sólidos para la confianza y la seguridad en este momento confían torpemente en sistemas que se crearon para diferentes casos de uso, como el seguimiento de errores.
“Empecé a hablar con muchos jefes de confianza y seguridad [and] muchas otras grandes empresas de Internet, sinceramente, muchas fuera de las redes sociales también, y estaban luchando con la forma operativa de resolver mucho de esto, dijo Wise a TechCrunch. “Contratarían a personas realmente inteligentes, pero estarían atrapados en hojas de cálculo, estarían atrapados en declaraciones SQL y estarían atrapados en este tipo de mundo del pasado, porque no tenían herramientas personalizadas para esto”.
Si un moderador de contenido que usa uno de esos sistemas quiere revisar una publicación en una red social, por ejemplo, tendría que abandonar ese entorno y seguir una URL para ver el contenido en cuestión antes de volver a la herramienta de seguimiento de errores para ver cualquier contenido relevante. contexto y brindar sus aportes.
“Luego, como una hora y media después, pueden tomar una decisión”, dijo Wise. “Y entonces queremos hacer todo eso fuera de la caja”. Wise dice que, hasta ahora, Cinder atrae principalmente a grandes empresas que han establecido operaciones de confianza y seguridad o que están en el proceso de averiguar cómo deberían ser esos flujos de trabajo.
Para las redes sociales y otras empresas que alojan contenido generado por los usuarios, las amenazas a las que se enfrentan los equipos de confianza y seguridad son tan complejas como variadas. Las empresas que generan confianza y seguridad deben unir la experiencia en todo, desde acoso dirigido y grupos de odio al material de abuso sexual infantil (MASI) y patrocinado por el estado operaciones de influencia.
Tomar decisiones de moderación en esas áreas puede ser tan simple como marcar una sola publicación de texto que usa un insulto racial, una decisión que puede tomar solo unos segundos, o tan matizada como vincular cientos de cuentas que operan una campaña de influencia encubierta patrocinada por el gobierno sobre el transcurso de muchos meses.
Si bien algunos contenidos son totalmente ilegales, con flujos de trabajo oficiales de detección e informes para reflejar eso, la mayoría de las decisiones de aplicación recaen en las empresas privadas para resolverlas. Y como hemos visto una y otra vez en los últimos años, las reglas que definen qué contenido está permitido en línea y qué contenido no son documentos vivos que responden, doble espalda y evolucionar en tiempo real.
Cinder tiene como objetivo centralizar esas políticas y el contexto necesario, lo que permite una toma de decisiones sencilla a escala y al mismo tiempo facilita las “investigaciones dinámicas”, el tipo de trabajo que podría requerir una campaña de desinformación o un esfuerzo coordinado para socavar una elección. La plataforma no realiza ninguna detección por sí misma y no establece las reglas, todo depende de las empresas que licencian su software. (Por ahora, Cinder no nombra a ninguno de sus clientes).
Wise también señala que debido a que Cinder fue diseñado para el proceso de revisión de contenido, la empresa ha podido acomodar el elemento humano de algunos de los trabajos más emocionalmente exigentes de la web, construyendo para esas necesidades “desde cero”. Eso incluye prácticas emergentes estándar de la industria como el desenfoque y escala de grises o invitar a los moderadores a tomar un descanso después de ver algo particularmente desafiante. Esas intervenciones y otras pueden mitigar lo que de otro modo podría ser un daño duradero para los revisores de contenido.
“Creo que mucha gente entiende lo difícil que es ser un moderador y ver mucho de este contenido”, dijo Wise a TechCrunch. “Lo que ha sido realmente gratificante de esto es que las empresas realmente están tratando de invertir en medidas de seguridad y están buscando a un tercero para ayudar a proporcionarlas”.
Más allá de las preocupaciones de seguridad del moderador, Wise dice que Cinder está diseñado teniendo en cuenta la seguridad y la privacidad en todos los niveles, lo que es algo natural para un equipo con un sólido pedigrí de seguridad. Él describe un sistema de permisos “robusto” dentro del software que hace posible ocultar fácilmente información de identificación confidencial u otros datos, lo que permite diferentes niveles de acceso a grupos predefinidos.
“Tenemos algunos clientes a bordo que usan el producto y están muy contentos con él”, dijo Wise. “La gente realmente nunca tuvo las herramientas creadas para esto… y la gente está muy emocionada de ver que, está bien, hay una compañía de personas que han hecho esto antes, que pueden ayudar a construir para el caso de uso exacto, lo cual ha sido realmente genial. ”
