Inmitten der generativen-künstlichen-Intelligenz In der Raserei der letzten Monate haben Sicherheitsforscher die Sorge wieder aufgegriffen, dass KI-generierte Stimmen oder Stimm-Deepfakes überzeugend genug und leicht genug zu produzieren sind, dass Betrüger anfangen werden, sie massenhaft zu verwenden.
In den letzten Jahren gab es einige hochkarätige Vorfälle, bei denen Cyberkriminelle aufgetreten sind angeblich verwendet Stimmen-Deepfakes von Firmen-CEOs bei Versuchen, große Geldbeträge zu stehlen – ganz zu schweigen davon, dass Dokumentarfilmer posthum Stimm-Deepfakes von Anthony Bourdain erstellten. Aber sind Kriminelle an einem Wendepunkt, an dem jeder Spam-Anruf die geklonte Stimme Ihres Geschwisters enthalten könnte? verzweifelt auf der Suche nach “Kaution Geld?” Nein, sagen Forscher – zumindest noch nicht.
Die Technologie zur Erstellung überzeugender, robuster Sprach-Deepfakes ist leistungsfähig und verbreitet sich zunehmend in kontrollierten Umgebungen oder Situationen, in denen umfangreiche Aufnahmen der Stimme einer Person stehen zur Verfügung. Ende Februar berichtete Motherboard-Reporter Joseph Cox veröffentlichte Erkenntnisse dass er fünf Minuten von sich selbst aufgezeichnet und dann einen öffentlich verfügbaren generativen KI-Dienst, ElevenLabs, verwendet hatte, um Stimm-Deepfakes zu erstellen, die das Sprachauthentifizierungssystem einer Bank besiegten. Aber wie die Mängel der generativen KI in anderen Medien, einschließlich der Einschränkungen von Chatbots zur Textgenerierung, können Sprach-Deepfake-Dienste immer noch nicht durchgehend perfekte Ergebnisse liefern.
„Je nach Angriffsszenario müssen Echtzeitfähigkeiten und die Qualität der gestohlenen Sprachprobe berücksichtigt werden“, sagt Lea Schönherr, Security and Adversarial Machine Learning Researcher am CISPA Helmholtz Center for Information Security in Deutschland. „Obwohl oft gesagt wird, dass nur wenige Sekunden der gestohlenen Stimme benötigt werden, haben die Qualität und die Länge einen großen Einfluss auf das Ergebnis des Audio-Deepfakes.“
Digitale Betrügereien und Social-Engineering-Angriffe wie Phishing sind eine scheinbar ständig wachsende Bedrohung, aber Forscher stellen fest, dass es seit Jahrzehnten Betrügereien gibt, bei denen Angreifer ein Opfer anrufen und versuchen, sich als jemand auszugeben, den das Ziel kennt – keine KI erforderlich. Die bloße Tatsache ihrer Langlebigkeit bedeutet, dass diese Hektik zumindest einigermaßen effektiv darin ist, Menschen dazu zu bringen, Angreifern Geld zu schicken.
„Diese Betrügereien gibt es schon immer. Meistens funktioniert es nicht, aber manchmal bekommen sie ein Opfer, das darauf vorbereitet ist, zu glauben, was sie sagen, aus welchen Gründen auch immer“, sagt Crane Hassold, langjähriger Social-Engineering-Forscher und ehemaliger digitaler Verhaltensanalytiker für das FBI. „Oft schwören diese Opfer, dass die Person, mit der sie gesprochen haben, die imitierte Person war, obwohl es in Wirklichkeit nur ihr Gehirn ist, das Lücken füllt.“
Hassold sagt, dass seine Großmutter Mitte der 2000er Jahre Opfer eines Identitätsbetrugs wurde, als Angreifer anriefen und sich für ihn ausgaben und sie überredeten, ihnen 1.500 Dollar zu schicken.
„Bei meiner Großmutter sagte der Betrüger zunächst nicht, wer anrief, sie fingen einfach an, darüber zu sprechen, wie sie festgenommen worden waren, als sie ein Musikfestival in Kanada besuchten, und sie brauchten, um Geld für eine Kaution zu schicken. Ihre Antwort war ‘Crane, bist du das?’ und dann hatten sie genau das, was sie brauchten“, sagt er. „Betrüger bereiten ihre Opfer im Wesentlichen darauf vor, das zu glauben, was sie glauben machen wollen.“
Wie bei vielen Social-Engineering-Betrügereien funktionieren Sprachimitationen am besten, wenn das Ziel in einem Gefühl der Dringlichkeit gefangen ist und nur versucht, jemandem zu helfen oder eine Aufgabe zu erledigen, von der es glaubt, dass sie dafür verantwortlich ist.
„Meine Großmutter hat mir auf der Fahrt zur Arbeit eine Voicemail hinterlassen, in der sie etwas sagte wie ‚Ich hoffe, es geht dir gut. Keine Sorge, ich habe das Geld geschickt und werde es niemandem sagen’“, sagt Hassold.
Justin Hutchens, Direktor für Forschung und Entwicklung bei der Cybersicherheitsfirma Set Solutions, sagt, er sehe Deepfake-Sprachbetrug als zunehmende Sorge an, aber er mache sich auch Sorgen über eine Zukunft, in der KI-gestützte Betrügereien noch automatisierter werden.
„Ich gehe davon aus, dass wir in naher Zukunft Bedrohungsakteure sehen werden, die Deepfake-Sprachtechnologie mit den von großen Sprachmodellen unterstützten Konversationsinteraktionen kombinieren“, sagt Hutchens über Plattformen wie ChatGPT von Open AI.
Vorerst warnt Hassold jedoch davor, zu schnell anzunehmen, dass Betrug mit Stimmimitation durch Deepfakes vorangetrieben wird. Schließlich ist die analoge Version des Betrugs immer noch da draußen und immer noch überzeugend für das richtige Ziel zur richtigen Zeit.