Home Tecnología Tavus aprovecha la IA generativa para impulsar videos personalizados con clonación de voz y rostro

Tavus aprovecha la IA generativa para impulsar videos personalizados con clonación de voz y rostro

by internauta
0 comment


La IA generativa ya se ve como la principal tendencia tecnológica de 2023. La capacidad de generar contenido nuevo a través de algoritmos ha sido impulsada en la conciencia pública por personas como ChatGPT, una tecnología de estilo chatbot entrenada en modelos de lenguaje grande (LLM) capaz de producir ensayos, poemas, letras, artículos periodísticos e incluso programas informáticos. Y luego está DALL-E, del mismo OpenAI respaldado por Microsoft que generó ChatGPT, que tiene un propósito similar pero para creaciones visuales.

Si bien algunos han argumentado que ChatGPT señala la llegada de la IA a la corriente principal, la verdad es que estamos apenas al comienzo de una nueva era de aplicaciones impulsadas por IA que transformarán casi todas las facetas de la industria, desde la búsqueda del consumidor y el inventario. fotografía, inmobiliaria y marketing de contenidos.

Y es en ese contexto que una nueva empresa llamada Tavus busca dejar su huella al permitir que las empresas creen videos “únicos” adaptados a un individuo específico, pero basados ​​completamente en una sola grabación inicial.

La idea es que un equipo de ventas y marketing, por ejemplo, pueda emitir un flujo interminable de lanzamientos de video a clientes potenciales, tal vez basándose en datos textuales que el cliente potencial envió a través de un formulario en línea. O tal vez un cazatalentos use la plataforma para enviar múltiples videos personalizados a candidatos potenciales utilizando datos recopilados de sus perfiles de LinkedIn.

Fundado en San Francisco en 2020 por el CEO Hassaan Raza y Quinn Favret, el alumno de Y Combinator (YC), Tavus, anunció hoy que ha recaudado $ 6.1 millones en una ronda inicial de financiamiento liderada por el inversionista de Silicon Valley, Sequoia, con la participación de una gran cantidad de altos – patrocinadores de perfil que incluyen Accel Partners, Index Ventures, Lightspeed Ventures y YC Continuity.

Cómo funciona

Cualquier empresa que busque crear múltiples videos personalizados sabrá que es un proceso repetitivo que consume mucho tiempo: grabar el mismo mensaje, con sustancialmente el mismo contenido, pero modificado para diferentes clientes o candidatos. Y eso es lo que Tavus busca abordar, permitiendo a los usuarios crear sus propias plantillas de video de IA en minutos y luego generar una cantidad ilimitada de versiones de un video a partir de esa fuente original.

El proceso de incorporación inicial requiere que el usuario, por ejemplo, un reclutador o un ejecutivo de ventas, grabe un video de 15 minutos basado en un guión proporcionado por Tavus, que se usa para entrenar la IA. Luego, el usuario registra una plantilla para cada campaña que desea crear.

Tavus: Lectura de un guión para crear una plantilla base Créditos de imagen: Tavus

Usando un editor basado en la web, los usuarios pueden seleccionar qué elementos del video desean personalizar, especificando cada variable (por ejemplo, empresa, nombre del ejecutivo o ubicación), agregando llamadas a la acción, etc.

Tavus: personalización de secuencias de comandos con variables Créditos de imagen: Tavus

Tavus también admite variables de formato más largo a través de fragmentos potenciados por ChatGPT para presentaciones más personalizadas, algo que, según Favret, ha sido muy solicitado por sus usuarios. Por ejemplo, el guión base en el que se crea un video se puede configurar para incluir una introducción de una oración generada a partir del perfil de LinkedIn de una persona específica.

Tavus: Generando contenido personalizado Créditos de imagen: Tavus

En esencia, Tavus se esfuerza por replicar lo que el software de marketing masivo ha estado haciendo en el ámbito del correo electrónico durante años, llevándolo al mundo de los videos, más atractivo visualmente. En verdad, esto podría generar algunas señales de alerta para algunos: ¿serán las personas tan receptivas a un argumento de venta personalizado cuando descubran que el remitente no ha en realidad hecho el esfuerzo de hacer un video solo para ellos? Pero más que eso, quizás haya algo un poco espeluznante en un video generado por IA que usa información personal recopilada de una base de datos, lo que significa que algo diseñado para ser personal en última instancia, podría parecer increíblemente impersonal cuando el usuario se entera de cómo se hizo.

Las preguntas planteadas por tales escenarios continuarán a medida que la IA se arraigue más en nuestra vida cotidiana. y Favret se apresura a enfatizar que, si bien las ventas y el marketing son casos de uso obvios para su tecnología, no lo es puramente sobre esas verticales: está viendo la aceptación de “un grupo ecléctico de usuarios”, incluidos reclutadores, decanos universitarios y ejecutivos de nivel C.

“Hay una idea errónea común de que Tavus solo trabaja con equipos de ventas y marketing”, dijo Favret. “Si bien este es nuestro enfoque, tenemos usuarios que aplican Tavus de formas innovadoras y poderosas a lo largo de todo el recorrido del cliente. Muchos de nuestros usuarios avanzados aplican Tavus ampliamente en sus organizaciones, incluso para el éxito del cliente, el producto, el reclutamiento y otras funciones relacionadas con la comercialización”.

Y OMS exactamente, se está proponiendo para la clonación?

“Por lo general, el usuario se clona a sí mismo, sin embargo, también es común que las empresas tengan una figura central, como un ejecutivo o un vocero, que grabe los videos para tener una imagen coherente de la empresa”, agregó Favret. “Tavus está diseñado para que todos los tipos de usuarios puedan clonarse fácilmente en minutos”.

Debajo del capó, Tavus dice que utiliza el aprendizaje automático para entrenar a un modelo en los gestos faciales y los movimientos de los labios, creando un sistema que imita de manera realista estos movimientos en sincronización con el audio sintetizado.

En cuanto a la implementación, las empresas pueden acceder a Tavus de dos formas principales. La mitad de sus usuarios lo hacen a través de su panel web, mientras que los demás integran Tavus en sus propios sistemas a través de API o lo integran de forma nativa.

“Vemos con frecuencia que los equipos de ventas usan e implementan Tavus directamente a través de la plataforma, ya que pueden generar eficientemente grandes lotes de videos para las campañas que han planificado”, dijo Favret. “Otros equipos usarán Tavus de una manera más programática, integrándolo directamente dentro de sus sistemas. Esto permite a los usuarios crear flujos de trabajo ‘impulsados ​​por eventos’ en los que se puede generar y enviar un video de Tavus después de un disparador”.

A modo de ejemplo ‘basado en eventos’, si un prospecto de ventas enviara un formulario en el sitio web de una empresa, la empresa podría generar y enviar automáticamente un video de Tavus personalizado a ese prospecto utilizando los datos que el prospecto ingresa.

“Esto permite a las empresas capitalizar el momento oportuno para obtener el máximo de conversiones, sin tener que esperar a que un miembro del equipo grabe el video”, continuó Favret.

Mal uso

En el extremo superior del espectro de IA generativa, estamos viendo a empresas como Microsoft y Google luchar para ver quién puede poner su inteligencia respectiva en manos de empresas y consumidores más rápido, una batalla que Microsoft parece estar ganando. presente. Al mismo tiempo, estamos viendo una gran cantidad de nuevas empresas de inteligencia artificial generativa que se destacan, como GlossAi, que usa inteligencia artificial para ayudar a las empresas a crear fácilmente parodias de marketing que se pueden compartir, mientras que Typeface está haciendo algo similar para la copia de marketing y la generación de imágenes. en la empresa

Específicamente para Tavus, ha habido compañías comparables durante algunos años, como Windsor, que hace algo similar, aunque con un fuerte enfoque en el comercio electrónico. Y luego está Synthesia, con sede en Londres, respaldada por una gran cantidad de inversionistas de alto perfil, que se trata más de crear avatares digitales a partir de texto para usar en capacitación y videos instructivos.

Entonces, está claro que incluso antes de todo el bombo publicitario de la IA generativa de los últimos meses, hubo un movimiento creciente en esa dirección desde el mundo de las empresas emergentes, algo que Tavus ahora busca capitalizar. De hecho, en su corta vida hasta el momento, Tavus ya ha ganado algunos clientes bastante grandes, como la empresa de datos inmobiliarios CoStar y la escala tecnológica francesa AB Tasty.

Sin embargo, vale la pena considerar el posible mal uso de este tipo de tecnología. Por ejemplo, ¿hay algo que impida que alguien suba un video de otra persona hablando y luego cree nuevos videos a partir de esa plantilla? Ciertamente, no hay escasez de ejemplos de trampas falsas de todo el espectro de video y voz. Y algunas empresas, como la startup Deep Voodoo de los creadores de South Park, ya están recaudando dinero de capital de riesgo para sus proyectos de deepfake. A medida que este tipo de tecnología se vuelve más arraigado y normalizado dentro de la sociedad, más preguntas habrá sobre las implicaciones éticas de todo esto, incluso si las intenciones subyacentes son bien intencionadas.

Según Favret, Tavus tiene una función integrada que hace que sea más difícil engañar al sistema, lo que requiere que los usuarios realicen una verificación de voz y graben en vivo en la plataforma Tavus.

“Esto significa que los usuarios no pueden subir videos de otros hablando”, dijo Favret. “Además, los usuarios tienen todos los derechos sobre sus datos y semejanzas, lo que les permite borrar o eliminar sus videos en cualquier momento. También somos muy intencionales con la forma en que se usa Tavus: examinamos cada caso de uso antes de que un usuario comience con Tavus y nos aseguramos de que el caso de uso cumpla con las pautas de nuestra comunidad y sea ético. La seguridad y la ética son increíblemente importantes para nosotros, especialmente dada la juventud de esta tecnología en la sociedad”.

Muéstrame el dinero

En términos de modelo comercial, Tavus ofrece un plan de introducción básico dirigido a empresas más pequeñas, que cuesta $ 275 por mes con restricciones como la cantidad de videos que pueden crear. El plan de “negocios” personalizado elimina estas restricciones, aunque no hay un precio fijo anunciado; básicamente, adapta el precio de acuerdo con la forma en que la empresa pretende usarlo.

“Los planes de Tavus se personalizan según el caso de uso y las necesidades específicas de una empresa, pero en un alto nivel operamos en un modelo basado en el uso en el que se cobra a los usuarios en función de una combinación de la cantidad de asientos que tienen, así como la cantidad de videos que generan”, dijo Favret.

Antes de esta última ronda inicial, Tavus había recaudado una pequeña cantidad de fondos como parte de su participación en el programa YC en 2021. Su lista completa de inversores de la ronda inicial incluye: Sequoia, Accel Partners, Index Ventures, Lightspeed Ventures, YC Continuity, SV Angel, Hack VC, Remus Capital, Mantis Capital, Liquid2 Ventures, Zillionize, Soma Capital, GTMfund, Terra Nova y varios inversores ángeles no revelados.

You may also like

Exploramos la red para colectar la información más importante que pueda ser compartida para los intereses de los internautas.

El Blog del Internauta 2022

-
00:00
00:00
Update Required Flash plugin
-
00:00
00:00