Tavus nutzt generative KI, um personalisierte Videos mit Stimmen- und Gesichtsklonen zu unterstützen

Generative KI sieht bereits wie der große Technologietrend des Jahres 2023 aus. Die Fähigkeit, neue Inhalte über Algorithmen zu generieren, wurde durch ChatGPT, eine Technologie im Chatbot-Stil, die auf großen Sprachmodellen (LLMs) trainiert wurde, ins öffentliche Bewusstsein gerückt und produziert Essays, Gedichte, Liedtexte, Nachrichtenartikel und sogar Computerprogramme. Dann gibt es DALL-E von derselben von Microsoft unterstützten OpenAI, die ChatGPT hervorgebracht hat, das einem ähnlichen Zweck dient, aber stattdessen für visuelle Kreationen dient.

Während einige argumentiert haben, dass ChatGPT-Signale Die Ankunft von KI im Mainstreamdie Wahrheit ist, dass wir gerade erst am Beginn einer neuen Ära von KI-gestützten Anwendungen stehen, die nahezu alle Facetten der Branche verändern werden, von der Verbrauchersuche und Stock-Fotografie bis hin zu Immobilien- und Content-Marketing.

Vor diesem Hintergrund rief ein junges Startup an Tavus möchte sich einen Namen machen, indem es Unternehmen ermöglicht, „einzigartige“ Videos zu erstellen, die auf eine bestimmte Person zugeschnitten sind, jedoch vollständig auf einer einzigen Erstaufnahme basieren.

Die Idee ist, dass beispielsweise ein Vertriebs- und Marketingteam einen endlosen Strom von Video-Pitches an potenzielle Kunden senden kann, möglicherweise basierend auf Textdaten, die der potenzielle Kunde über ein Online-Formular übermittelt hat. Oder vielleicht nutzt ein Headhunter die Plattform, um mehrere personalisierte Videos an potenzielle Kandidaten zu senden, wobei er Daten aus seinen LinkedIn-Profilen verwendet.

2020 von CEO Hassaan Raza und Quinn Favret, Y Combinator (YC) in San Francisco gegründet Alaun Tavus gab heute bekannt, dass es in einer Seed-Runde unter Führung des Silicon Valley-Investors Sequoia 6,1 Millionen US-Dollar aufgebracht hat, an der eine Reihe hochkarätiger Unterstützer beteiligt waren, darunter Accel Partners, Index Ventures, Lightspeed Ventures und YC Continuity.

Wie es funktioniert

Jedes Unternehmen, das mehrere personalisierte Videos erstellen möchte, wird wissen, dass dies ein unglaublich zeitaufwändiger, sich wiederholender Prozess ist: die Aufzeichnung derselben Botschaft mit im Wesentlichen demselben Inhalt, aber optimiert für verschiedene Kunden oder Kandidaten. Das ist es, was Tavus ansprechen möchte: Benutzern zu ermöglichen, ihre eigenen KI-Videovorlagen in wenigen Minuten zu erstellen und dann eine unbegrenzte Anzahl von Versionen eines Videos aus dieser Originalquelle zu generieren.

Der anfängliche Onboarding-Prozess erfordert, dass der Benutzer – beispielsweise ein Personalvermittler oder Vertriebsleiter – ein 15-minütiges Video auf der Grundlage eines von Tavus bereitgestellten Skripts aufzeichnet, das zum Trainieren der KI verwendet wird. Dann zeichnet der Benutzer eine Vorlage für jede Kampagne auf, die er erstellen möchte.

Mithilfe eines webbasierten Editors können Benutzer dann auswählen, welche Elemente des Videos sie personalisieren möchten, indem sie jede Variable angeben (z. B. Firma, Name der Führungskraft oder Standort), Handlungsaufforderungen hinzufügen und so weiter.

Tavus unterstützt auch längere Variablen über ChatGPT-basierte Snippets für personalisiertere Einführungen, was laut Favret von seinen Benutzern stark nachgefragt wurde. Beispielsweise kann das Basisskript, mit dem ein Video erstellt wird, so konfiguriert werden, dass es eine Einführung in einem Satz enthält, die aus dem LinkedIn-Profil einer bestimmten Person generiert wird.

Im Wesentlichen ist Tavus bestrebt, das zu replizieren, was Massenmarketing-Software seit Jahren im E-Mail-Bereich leistet, und es in die visuell ansprechendere Welt der Videos zu bringen. In Wahrheit könnte dies für einige ein paar rote Fahnen auslösen: Werden die Leute für ein personalisiertes Verkaufsgespräch empfänglich sein, wenn sie feststellen, dass der Absender dies nicht getan hat? Wirklich Hast du dir die Mühe gemacht, ein Video nur für sie zu machen?

Aber darüber hinaus hat ein KI-generiertes Video vielleicht etwas Gruseliges, das persönliche Informationen aus einer Datenbank verwendet – etwas, das so konzipiert ist persönlich könnte am Ende unglaublich rüberkommen unpersönlich wenn der Benutzer erfährt, wie es hergestellt wurde.

Fragen, die durch solche Szenarien aufgeworfen werden, werden sich weiterhin stellen, wenn KI immer mehr in unseren Alltag eindringt. Favret betont schnell, dass Vertrieb und Marketing zwar offensichtliche Anwendungsfälle für seine Technologie sind, dies aber nicht der Fall ist rein In Bezug auf diese Branchen – es wird von „einer vielseitigen Gruppe von Benutzern“ angenommen, darunter Personalvermittler, Universitätsdekane und C-Level-Führungskräfte.

„Es gibt ein weit verbreitetes Missverständnis, dass Tavus nur mit Vertriebs- und Marketingteams zusammenarbeitet“, sagte Favret. „Obwohl dies ein Schwerpunkt von uns ist, haben wir Benutzer, die Tavus auf innovative und leistungsstarke Weise über die gesamte Customer Journey hinweg anwenden. Viele unserer Power-User wenden Tavus in ihrem gesamten Unternehmen an, einschließlich für Kundenerfolg, Produkt, Rekrutierung und andere Go-to-Market-bezogene Funktionen.“

Und WHO genau sich zum Klonen vorschlägt?

„Normalerweise klont sich der Benutzer selbst, aber es ist auch üblich, dass Unternehmen eine zentrale Person, wie etwa eine Führungskraft oder einen Sprecher, die Videos aufzeichnen lassen, um ein konsistentes Gesicht des Unternehmens zu haben“, sagte Favret. „Tavus wurde für alle Arten von Benutzern entwickelt, um sich in wenigen Minuten selbst klonen zu können.“

Unter der Haube sagt Tavus, dass es maschinelles Lernen verwendet, um ein Modell auf Gesichtsgesten und Lippenbewegungen zu trainieren und ein System zu schaffen, das diese Bewegungen synchron mit synthetisiertem Audio realistisch nachahmt.

Was die Bereitstellung betrifft, können Unternehmen auf zwei Arten auf Tavus zugreifen: Die Hälfte der Benutzer verwendet es über das Web-Dashboard, während die anderen es über APIs oder nativ in ihre eigenen Systeme integrieren.

„Wir sehen häufig, dass Vertriebsteams Tavus direkt über die Plattform nutzen und bereitstellen, da sie in der Lage sind, große Stapel von Videos für Kampagnen effizient zu generieren“, sagte Favret. „Andere Teams werden Tavus programmatischer nutzen und es direkt in ihre Systeme integrieren. Dadurch können Benutzer „ereignisgesteuerte“ Workflows erstellen, bei denen ein Tavus-Video generiert und nach einem Trigger gesendet werden kann.“

Ein „ereignisgesteuertes“ Beispiel: Wenn ein potenzieller Kunde ein Formular auf der Website eines Unternehmens ausfüllen würde, könnte das Unternehmen automatisch ein benutzerdefiniertes Tavus-Video erstellen und an diesen Lead senden, indem es die Daten verwendet, die der Kunde übermittelt hat.

„Dies versetzt Unternehmen in die Lage, das optimale Timing für maximale Conversions zu nutzen, ohne darauf warten zu müssen, dass ein Teammitglied das Video aufzeichnet“, sagte Favret.

Missbrauch

Am oberen Ende des generativen KI-Spektrums sehen wir Unternehmen wie Microsoft und Google, die sich darum kümmern, wer seine jeweiligen Smarts am schnellsten in die Hände von Unternehmen und Verbrauchern bringen kann, ein Kampf, bei dem Microsoft zu gewinnen scheint gegenwärtig. Gleichzeitig sehen wir, wie eine ganze Reihe generativer KI-Startups in den Vordergrund rücken, wie GlossAi, das KI verwendet, um Unternehmen dabei zu helfen, auf einfache Weise gemeinsam nutzbare Marketing-Sketche zu erstellen, während Typeface etwas Ähnliches für die Erstellung von Marketingtexten und Bildern tut das Unternehmen.

Speziell für Tavus gibt es bereits seit einigen Jahren vergleichbare Unternehmen, wie z Windsor, das etwas Ähnliches tut, wenn auch mit starkem Fokus auf E-Commerce. Wir haben auch in London ansässig Synthesieunterstützt von einer Reihe hochkarätiger Investoren, bei denen es mehr darum geht, digitale Avatare aus Texten für die Verwendung in Schulungen und Anleitungsvideos zu erstellen.

Es ist also klar, dass es schon vor dem ganzen generativen KI-Hype der letzten Monate eine wachsende Bewegung in der Startup-Welt in diese Richtung gab, von der Tavus jetzt profitieren will. In der Tat hat Tavus in seinem bisherigen kurzen Leben einige ziemlich große Kunden gewonnen, wie z. B. ein Immobiliendatenunternehmen CoStar und das französische Tech-Scaleup AB Tasty.

Es lohnt sich jedoch, über einen möglichen Missbrauch dieser Art von Technologie nachzudenken. Gibt es zum Beispiel irgendetwas, das jemanden daran hindert, ein Video hochzuladen, in dem jemand anderes spricht, und dann anhand dieser Vorlage neue Videos zu erstellen? Sicherlich mangelt es nicht an Beispielen für Deepfake-Schikanen aus dem gesamten Video- und Sprachspektrum. Einige Unternehmen, wie das Startup der Gründer von South Park Tiefer Voodoo, sammeln bereits VC-Cash für ihre Deepfake-Bemühungen. Je mehr sich diese Art von Technologie in der Gesellschaft verwurzelt und normalisiert, desto mehr Fragen zu den ethischen Auswirkungen all dessen werden auftauchen, selbst wenn die zugrunde liegenden Absichten gut gemeint sind.

Laut Favret verfügt Tavus über eine integrierte Funktion, die es schwieriger macht, das System zu täuschen, da Benutzer eine Sprachüberprüfung durchführen und live auf der Plattform aufnehmen müssen.

„Das bedeutet, dass Benutzer keine Videos hochladen können, in denen andere sprechen“, sagte Favret. „Darüber hinaus haben die Nutzer alle Rechte an ihren Daten und ihrem Bild, sodass sie ihre Videos jederzeit löschen oder entfernen können. Wir achten auch sehr darauf, wie Tavus verwendet wird: Wir überprüfen jeden Anwendungsfall, bevor ein Benutzer mit Tavus beginnt, stellen sicher, dass der Anwendungsfall unseren Community-Richtlinien entspricht und ethisch vertretbar ist. Sicherheit und Ethik sind uns unglaublich wichtig, insbesondere angesichts der Jugend dieser Technologie in der Gesellschaft.“

Zeig mir das Geld

In Bezug auf das Geschäftsmodell ist Tavus bietet an Ein einfacher Einführungsplan für kleinere Unternehmen, der 275 US-Dollar pro Monat kostet und Einschränkungen wie die Anzahl der Videos hat, die sie erstellen können. Der benutzerdefinierte „Business“-Plan hebt diese Einschränkungen auf, obwohl es keinen beworbenen Preis gibt – er passt den Preis im Grunde daran an, wie ein Unternehmen ihn verwenden möchte.

„Tavus-Pläne werden an den spezifischen Anwendungsfall und die Bedürfnisse eines Unternehmens angepasst, aber auf hohem Niveau arbeiten wir mit einem nutzungsbasierten Modell, bei dem Benutzer auf der Grundlage einer Kombination aus der Anzahl der Arbeitsplätze, die sie haben, und der Anzahl abgerechnet werden von Videos, die sie erstellen“, sagte Favret.

Vor dieser Seed-Runde hatte Tavus im Rahmen seiner Teilnahme am YC-Programm bereits im Jahr 2021 einen kleinen Betrag aufgebracht. Zur vollständigen Liste der Investoren der Seed-Runde gehören: Sequoia, Accel Partners, Index Ventures, Lightspeed Ventures, YC Continuity, SV Angel, Hack VC, Remus Capital, Mantis Capital, Liquid2 Ventures, Zillionize, Soma Capital, GTMfund, Terra Nova und mehrere unbekannte Angel-Investoren.