Realitätsverteidigereines von mehreren Startups, die Tools zur Erkennung von Deepfakes und anderen KI-generierten Inhalten entwickeln, gab heute bekannt, dass es in einer von DCVC angeführten Finanzierungsrunde der Serie A unter Beteiligung von Comcast, Ex/ante, Parameter Ventures und Nat Friedman’s AI 15 Millionen US-Dollar gesammelt hat Gewähren.
Laut Mitbegründer und CEO Ben Colman werden die Einnahmen in die Verdoppelung des 23-köpfigen Teams von Reality Defender im nächsten Jahr und in die Verbesserung seiner KI-Inhaltserkennungsmodelle fließen.
„Es werden ständig neue Methoden des Deepfaking und der Inhaltsgenerierung auftauchen, die die Welt sowohl durch das Spektakel als auch durch das Ausmaß des Schadens, den sie anrichten können, überraschen“, sagte Colman gegenüber TechCrunch in einem E-Mail-Interview. „Durch die Übernahme einer forschungsorientierten Denkweise kann Reality Defender diesen Methoden und Modellen der neuen Generation mehrere Schritte voraus sein, bevor sie öffentlich erscheinen, und proaktiv bei der Erkennung vorgehen, anstatt auf das zu reagieren, was gerade erst heute erscheint.“
Colman, ein ehemaliger Vizepräsident von Goldman Sachs, gründete Reality Defender im Jahr 2021 zusammen mit Ali Shahriyari und Gaurav Bharaj. Shahriyari arbeitete zuvor bei Originate, einem Beratungsunternehmen für digitale Transformationstechnologie, und der AI Foundation, einem Startup, das KI-gestützte animierte Chatbots entwickelt. Bharaj war ein Kollege von Shahriyari bei der AI Foundation, wo er die Forschung und Entwicklung leitete.
Reality Defender begann als gemeinnützige Organisation. Laut Colman wandte sich das Team jedoch der externen Finanzierung zu, als es das Ausmaß des Deepfakes-Problems erkannte – und die wachsende kommerzielle Nachfrage nach Technologien zur Deepfake-Erkennung.
Colman übertreibt nicht mit dem Umfang. DeepMedia, ein Reality-Defender-Konkurrent, der an Tools zur Erkennung synthetischer Medien arbeitet, Schätzungen dass in diesem Jahr im Vergleich zum gleichen Zeitraum im Jahr 2022 dreimal so viele Video-Deepfakes und achtmal so viele Sprach-Deepfakes online gepostet wurden.
Der Anstieg des Deepfakes-Volumens ist zu einem großen Teil auf die Kommerzialisierung generativer KI-Tools zurückzuführen.
Das Klonen einer Stimme oder das Erstellen eines Deepfake-Bildes oder -Videos – also eines Bildes oder Videos, das digital manipuliert wurde, um das Abbild einer Person überzeugend zu ersetzen – kostete früher Hunderte bis Tausende von Dollar und erforderte datenwissenschaftliches Know-how. Aber in den letzten Jahren haben Plattformen wie das sprachsynthetisierende ElevenLabs und Open-Source-Modelle wie Stable Diffusion, das Bilder generiert, es böswilligen Akteuren ermöglicht, Deepfake-Kampagnen zu geringen oder gar keinen Kosten zu starten.
Gerade diesen Monat, Benutzer Auf dem berüchtigten Chat-Forum nutzte 4chan eine Reihe generativer KI-Tools, darunter Stable Diffusion, um online eine Flut rassistischer Bilder auszulösen. Inzwischen haben Trolle gebraucht ElevenLabs imitiert die Stimmen von Prominenten und generiert Audioinhalte, deren Inhalt von Memes und Erotik bis hin zu bösartiger Hassrede reicht. Und staatliche Akteure, die mit der Kommunistischen Partei Chinas verbündet sind, haben dies getan generiert lebensechte KI-Avatare, die Nachrichtensprecher darstellen und sich zu Themen wie Waffengewalt in den USA äußern
Einige generative KI-Plattformen haben Filter und andere Einschränkungen implementiert, um Missbrauch zu bekämpfen. Aber wie bei der Cybersicherheit ist es ein Katz-und-Maus-Spiel.
„Einige der größten Risiken durch KI-generierte Medien gehen von der Nutzung und dem Missbrauch von Fake-Materialien in sozialen Medien aus“, sagte Colman. „Diese Plattformen haben keinen Anreiz, Deepfakes zu scannen, weil es keine Gesetzgebung gibt, die sie dazu verpflichtet, im Gegensatz zu der Gesetzgebung, die sie dazu zwingt, Material über sexuellen Missbrauch von Kindern und andere illegale Materialien zu entfernen.“
Reality Defender soll eine Reihe von Deepfakes und KI-generierten Medien erkennen und bietet eine API und eine Web-App, die Videos, Audio, Text und Bilder auf Anzeichen von KI-gesteuerten Modifikationen analysiert. Mithilfe „proprietärer Modelle“, die auf internen Datensätzen trainiert wurden, „die für den Einsatz in der realen Welt und nicht im Labor erstellt wurden“, behauptet Colman, dass Reality Defender in der Lage sei, eine höhere Deepfake-Genauigkeitsrate als seine Konkurrenten zu erreichen.
„Wir trainieren ein Ensemble von Deep-Learning-Erkennungsmodellen, von denen sich jedes auf seine eigene Methodik konzentriert“, sagte Colman. „Wir haben vor langer Zeit gelernt, dass nicht nur der monomodale Ansatz mit einem einzelnen Modell nicht funktioniert, sondern auch die Prüfung der Genauigkeit im Labor im Vergleich zur Genauigkeit in der Praxis nicht funktioniert.“
Aber kann jedes Tool Deepfakes zuverlässig erkennen? Das ist eine offene Frage.
OpenAI, das KI-Startup hinter dem viralen KI-gestützten Chatbot ChatGPT, kürzlich gezogen sein Tool zur Erkennung von KI-generiertem Text und verwies auf dessen „geringe Genauigkeit“. Und mindestens eine Studie zeigt Hinweise darauf, dass Deepfake-Videodetektoren getäuscht werden können, wenn die in sie eingespeisten Deepfakes auf eine bestimmte Weise bearbeitet werden.
Es besteht auch das Risiko, dass Deepfake-Erkennungsmodelle Vorurteile verstärken.
Ein 2021 Papier Forscher der University of Southern California fanden heraus, dass einige der Datensätze, die zum Trainieren von Deepfake-Erkennungssystemen verwendet werden, möglicherweise Menschen eines bestimmten Geschlechts oder mit bestimmten Hautfarben unterrepräsentieren. Diese Tendenz könne bei Deepfake-Detektoren verstärkt werden, sagten die Mitautoren, wobei einige Detektoren je nach Rassengruppe einen Unterschied in der Fehlerrate von bis zu 10,7 % aufwiesen.
Colman steht hinter der Genauigkeit von Reality Defender. Und er behauptet, dass das Unternehmen aktiv daran arbeitet, Vorurteile in seinen Algorithmen zu mildern, indem es „eine Vielzahl von Akzenten, Hautfarben und anderen unterschiedlichen Daten“ in seine Detektor-Trainingsdatensätze einbezieht.
„Wir trainieren, trainieren und verbessern unsere Detektormodelle ständig, damit sie zu neuen Szenarien und Anwendungsfällen passen und gleichzeitig die reale Welt genau abbilden und nicht nur eine kleine Teilmenge von Daten oder Einzelpersonen“, sagte Colman.
Nennen Sie mich zynisch, aber ich bin mir nicht sicher, ob ich diese Behauptungen ohne eine Prüfung durch Dritte abkaufe, um sie zu untermauern. Meine Skepsis hat jedoch keine Auswirkungen auf das Geschäft von Reality Defender, das laut Colman recht robust ist. Der Kundenstamm von Reality Defender umfasst Regierungen „auf mehreren Kontinenten“ sowie „erstklassige“ Finanzinstitute, Medienunternehmen und multinationale Konzerne.
Und das trotz der Konkurrenz durch Startups wie Truepic, Sentinel und Effectiv sowie Deepfake-Erkennungstools von etablierten Unternehmen wie Microsoft.
Um seine Position auf dem Markt für Deepfake-Erkennungssoftware zu behaupten, der im Jahr 2020 einen Wert von 3,86 Milliarden US-Dollar hatte, nach Laut HSRC plant Reality Defender die Einführung eines „erklärbaren KI“-Tools, mit dem Kunden ein Dokument scannen können, um farbcodierte Absätze von KI-generiertem Text anzuzeigen. Ebenfalls in Planung ist die Sprach-Deepfake-Erkennung in Echtzeit für Callcenter, gefolgt von einem Echtzeit-Videoerkennungstool.
„Kurz gesagt, Reality Defender wird das Geschäftsergebnis und den Ruf eines Unternehmens schützen“, sagte Colman. „Reality Defender nutzt KI zur Bekämpfung von KI und hilft den größten Unternehmen, Plattformen und Regierungen dabei, festzustellen, ob ein Medium wahrscheinlich echt oder wahrscheinlich manipuliert ist. Dies hilft, Betrug in der Finanzwelt zu bekämpfen, die Verbreitung von Desinformation in Medienorganisationen zu verhindern und die Verbreitung irreversibler und schädlicher Materialien auf Regierungsebene zu verhindern, um nur drei von Hunderten von Anwendungsfällen zu nennen.“