Letzte Woche erhielten einige Wähler in New Hampshire einen von einer KI generierten Robocall, der sich als Präsident Biden ausgab und ihnen mitteilte, bei den Vorwahlen im Bundesstaat nicht zu wählen. Es ist nicht klar, wer für den Anruf verantwortlich war, aber zwei verschiedene Teams von Audioexperten teilen WIRED mit, dass der Anruf wahrscheinlich mit der Technologie des Voice-Cloning-Startups ElevenLabs erstellt wurde.
ElevenLabs vermarktet seine KI-Tools für Anwendungen wie Hörbücher und Videospiele; Das Unternehmen erlangte kürzlich den „Einhorn“-Status, indem es in einer neuen Finanzierungsrunde unter der gemeinsamen Leitung des Risikokapitalunternehmens Andreessen Horowitz 80 Millionen US-Dollar bei einem Wert von 1,1 Milliarden US-Dollar einsammelte. Jeder kann sich für den kostenpflichtigen Dienst des Unternehmens anmelden und eine Stimme aus einer Audioprobe klonen. Der Sicherheitspolitik des Unternehmens sagt, dass es am besten ist, die Erlaubnis einer Person einzuholen, bevor man ihre Stimme klont, aber dass erlaubnisloses Klonen für eine Vielzahl nichtkommerzieller Zwecke in Ordnung sein kann, einschließlich „politischer Reden, die zu öffentlichen Debatten beitragen“. ElevenLabs antwortete nicht auf mehrere Anfragen nach Kommentaren.
Pindrop, ein Sicherheitsunternehmen, das Tools zur Identifizierung synthetischer Audiodaten entwickelt, behauptete in a Blogeintrag gab am Donnerstag bekannt, dass die Audioanalyse des Anrufs auf die Technologie von ElevenLabs oder ein „System mit ähnlichen Komponenten“ hinwies. Das Pindrop-Forschungsteam überprüfte Muster im Audioclip mit mehr als 120 verschiedenen Sprachsynthese-Engines auf der Suche nach einer Übereinstimmung, erwartete jedoch nicht, eine zu finden, da es schwierig sein kann, die Herkunft von KI-generiertem Audio zu ermitteln. Die Ergebnisse waren überraschend eindeutig, sagt Vijay Balasubramaniyan, CEO von Pindrop. „Es stellte sich deutlich über 99 Prozent heraus, dass es sich um ElevenLabs handelte“, sagt er.
Das Pindrop-Team arbeitete an einem 39-sekündigen Clip, den das Unternehmen von einem der KI-generierten Robocalls erhalten hatte. Um die Ergebnisse zu verifizieren, analysierte das Unternehmen außerdem Audiobeispiele, von denen bekannt ist, dass sie mit der Technologie von ElevenLabs erstellt wurden, sowie ein anderes Sprachsynthesetool, um die Methodik zu überprüfen.
ElevenLabs bietet sein eigenes an KI-Sprachdetektor Auf seiner Website heißt es, er könne erkennen, ob ein Audioclip mit der Technologie des Unternehmens erstellt wurde. Als Pindrop seine Stichprobe des verdächtigen Robocalls durch dieses System laufen ließ, kam es zu einer Wahrscheinlichkeit von 84 Prozent, dass er mit ElevenLabs-Tools generiert wurde. WIRED erzielte unabhängig voneinander das gleiche Ergebnis, als es Pindrops Audiobeispiel mit dem ElevenLabs-Detektor überprüfte.
Hany Farid, ein Spezialist für digitale Forensik an der UC Berkeley School of Information, war zunächst skeptisch gegenüber Behauptungen, der Biden-Robocall stamme von ElevenLabs. „Wenn man den Ton einer geklonten Stimme von ElevenLabs hört, ist das wirklich gut“, sagt er. „Die Version des Biden-Anrufs, die ich gehört habe, war nicht besonders gut, aber der Rhythmus war wirklich abgefahren.“ Es klang einfach nicht von der Qualität, die ich von ElevenLabs erwartet hätte.“
Doch als Farid sein Team in Berkeley eine eigene, unabhängige Analyse der von Pindrop erhaltenen Audioprobe durchführen ließ, kam es ebenfalls zu demselben Schluss. „Unser Modell sagt mit hoher Sicherheit, dass es KI-generiert ist und wahrscheinlich ElevenLabs ist“, behauptet er.
Dies ist nicht das erste Mal, dass Forscher vermuten, dass ElevenLabs-Tools für politische Propaganda verwendet wurden. Letzten September hat NewsGuard, ein Unternehmen, das Online-Fehlinformationen aufspürt, behauptet dass TikTok-Konten, die Verschwörungstheorien mit KI-generierten Stimmen teilen, darunter ein Klon der Stimme von Barack Obama, die Technologie von ElevenLabs nutzten. „Über 99 Prozent der Nutzer unserer Plattform erstellen interessante, innovative und nützliche Inhalte“, sagte ElevenLabs eine E-Mail-Erklärung Zu Die New York Times „Aber wir sind uns bewusst, dass es Fälle von Missbrauch gibt, und wir haben kontinuierlich Schutzmaßnahmen entwickelt und veröffentlicht, um diese einzudämmen.“