Für die meisten Leute, Die Idee, Werkzeuge der künstlichen Intelligenz im täglichen Leben einzusetzen – oder einfach nur damit herumzuspielen – ist erst in den letzten Monaten zum Mainstream geworden, mit neuen Veröffentlichungen generativer KI-Tools von einer Reihe großer Technologieunternehmen und Start-ups, wie ChatGPT von OpenAI und Bard von Google . Doch hinter den Kulissen breitet sich die Technologie seit Jahren aus und es stellt sich die Frage, wie diese neuen KI-Systeme am besten bewertet und gesichert werden können. Am Montag enthüllt Microsoft Einzelheiten über das Team innerhalb des Unternehmens, das seit 2018 damit beauftragt ist, herauszufinden, wie KI-Plattformen angegriffen werden können, um deren Schwachstellen aufzudecken.
In den fünf Jahren seit seiner Gründung hat sich das KI-Red-Team von Microsoft von einem im Wesentlichen experimentellen Team zu einem vollständigen interdisziplinären Team aus Experten für maschinelles Lernen, Cybersicherheitsforschern und sogar Social Engineers entwickelt. Die Gruppe arbeitet daran, ihre Ergebnisse innerhalb von Microsoft und in der gesamten Technologiebranche zu kommunizieren, indem sie die traditionelle Sprache der digitalen Sicherheit nutzt, damit die Ideen zugänglich sind und kein spezielles KI-Wissen erforderlich ist, über das viele Menschen und Organisationen noch nicht verfügen. Tatsächlich ist das Team jedoch zu dem Schluss gekommen, dass die KI-Sicherheit wichtige konzeptionelle Unterschiede zur herkömmlichen digitalen Verteidigung aufweist, die Unterschiede in der Herangehensweise des KI-Red-Teams an seine Arbeit erfordern.
„Als wir anfingen, war die Frage: ‚Was werden Sie grundsätzlich anders machen?‘ Warum brauchen wir ein rotes KI-Team?‘“, sagt Ram Shankar Siva Kumar, der Gründer des roten KI-Teams von Microsoft. „Aber wenn man KI-Red-Teaming nur als traditionelles Red-Teaming betrachtet und nur die Sicherheitsmentalität berücksichtigt, reicht das möglicherweise nicht aus. Wir müssen jetzt den verantwortungsvollen KI-Aspekt erkennen, nämlich die Verantwortung für KI-Systemfehler – also die Generierung anstößiger Inhalte und die Generierung unbegründeter Inhalte. Das ist der heilige Gral des KI-Red-Teamings. Dabei geht es nicht nur um Sicherheitsmängel, sondern auch um verantwortliche KI-Mängel.“
Shankar Siva Kumar sagt, es habe einige Zeit gedauert, diese Unterscheidung hervorzuheben und darzulegen, dass die Mission des KI-Roten Teams wirklich diesen doppelten Schwerpunkt haben würde. Viele der frühen Arbeiten betrafen die Veröffentlichung traditionellerer Sicherheitstools wie der 2020 Adversarial Machine Learning Threat Matrix, a Zusammenarbeit zwischen Microsoft, der gemeinnützigen Forschungs- und Entwicklungsgruppe MITRE und anderen Forschern. In diesem Jahr veröffentlichte die Gruppe auch Open-Source-Automatisierungstools für KI-Sicherheitstests, bekannt als Microsoft Counterfit. Und im Jahr 2021 das rote Team veröffentlicht ein zusätzliches Framework zur Bewertung des KI-Sicherheitsrisikos.
Im Laufe der Zeit konnte sich das KI-Red-Team jedoch weiterentwickeln und erweitern, da die Dringlichkeit der Behebung von Mängeln und Ausfällen beim maschinellen Lernen immer offensichtlicher wurde.
In einer frühen Operation bewertete das rote Team einen Cloud-Bereitstellungsdienst von Microsoft, der über eine Komponente für maschinelles Lernen verfügte. Das Team entwickelte eine Möglichkeit, einen Denial-of-Service-Angriff auf andere Benutzer des Cloud-Dienstes zu starten, indem es eine Schwachstelle ausnutzte, die es ihnen ermöglichte, böswillige Anfragen zu erstellen, um die Komponenten des maschinellen Lernens zu missbrauchen und strategisch virtuelle Maschinen zu erstellen, die emulierten Computersysteme, die in der Cloud verwendet werden . Durch die sorgfältige Platzierung virtueller Maschinen an Schlüsselpositionen könnte das rote Team „Noisy Neighbor“-Angriffe auf andere Cloud-Benutzer starten, bei denen sich die Aktivität eines Kunden negativ auf die Leistung eines anderen Kunden auswirkt.