In seinem kontinuierlichen Bemühen, seine KI-Systeme robuster zu machen, hat OpenAI heute gestartet das OpenAI Red Teaming Network, eine beauftragte Expertengruppe, die bei der Risikobewertung und Risikominderungsstrategien des Unternehmens für KI-Modelle helfen soll.
Red Teaming wird zu einem immer wichtigeren Schritt im Entwicklungsprozess von KI-Modellen, da KI-Technologien, insbesondere generative Technologien, Einzug in den Mainstream halten. Red Teaming kann Vorurteile in Modellen wie OpenAIs DALL-E 2 erkennen (wenn auch nicht unbedingt beheben). gefunden um Stereotypen in Bezug auf Rasse und Geschlecht sowie Aufforderungen zu verstärken, die dazu führen können, dass textgenerierende Modelle, einschließlich Modelle wie ChatGPT und GPT-4, Sicherheitsfilter ignorieren.
OpenAI weist darauf hin, dass es zuvor mit externen Experten zusammengearbeitet hat, um seine Modelle zu vergleichen und zu testen, darunter auch mit Personen, die an seinem Bug-Bounty-Programm und dem Forscherzugangsprogramm teilnehmen. Das Red Teaming Network formalisiert diese Bemühungen jedoch mit dem Ziel, die Arbeit von OpenAI mit Wissenschaftlern, Forschungseinrichtungen und Organisationen der Zivilgesellschaft zu „vertiefen“ und zu „erweitern“, so das Unternehmen in einem Blogbeitrag.
„Wir sehen diese Arbeit als Ergänzung zu extern festgelegten Governance-Praktiken, wie etwa Prüfungen durch Dritte“, schreibt OpenAI. „Mitglieder des Netzwerks werden aufgrund ihres Fachwissens aufgefordert, das Red Team in verschiedenen Phasen des Modell- und Produktentwicklungslebenszyklus zu unterstützen.“
Außerhalb der von OpenAI in Auftrag gegebenen Red-Teaming-Kampagnen werden die Mitglieder des Red-Teaming-Netzwerks laut OpenAI die Möglichkeit haben, sich untereinander über allgemeine Red-Teaming-Praktiken und Erkenntnisse auszutauschen. Nicht jedes Mitglied wird an jedem neuen OpenAI-Modell oder -Produkt beteiligt sein, und die Zeitbeiträge – die nur 5 bis 10 Jahre pro Jahr betragen können – werden mit den Mitgliedern individuell festgelegt, sagt OpenAI.
OpenAI ruft ein breites Spektrum von Fachexperten zur Teilnahme auf, darunter auch solche mit Hintergrund in den Bereichen Linguistik, Biometrie, Finanzen und Gesundheitswesen. Für die Teilnahme sind keine Vorkenntnisse mit KI-Systemen oder Sprachmodellen erforderlich. Das Unternehmen warnt jedoch davor, dass Möglichkeiten des Red Teaming Network möglicherweise Geheimhaltungs- und Vertraulichkeitsvereinbarungen unterliegen, die sich auf andere Forschungsarbeiten auswirken könnten.
„Was wir am meisten schätzen, ist Ihre Bereitschaft, sich zu engagieren und Ihre Sichtweise in die Bewertung der Auswirkungen von KI-Systemen einzubringen“, schreibt OpenAI. „Wir laden Experten aus der ganzen Welt zur Bewerbung ein und legen in unserem Auswahlprozess sowohl auf die geografische als auch auf die Domänenvielfalt Wert.“
Die Frage ist: Ist Red Teaming genug? Einige argumentieren, dass dies nicht der Fall ist.
In einem aktuellen StückDer Wired-Mitarbeiter Aviv Ovadya, ein Mitglied des Berkman Klein Center in Harvard und des Center for the Governance of AI, plädiert für „violettes Teaming“: Identifizieren, wie ein System (z. B. GPT-4) einer Institution oder einem öffentlichen Gut schaden könnte, und dann Unterstützung der Entwicklung von Instrumenten, die dasselbe System zur Verteidigung der Institution und des öffentlichen Wohls nutzen. Ich bin geneigt, zuzustimmen, dass es eine kluge Idee ist. Aber wie Ovadya in seiner Kolumne betont, gibt es kaum Anreize für Violet Teaming, geschweige denn, die KI-Releases so weit zu verlangsamen, dass genügend Zeit bleibt, damit es funktioniert.
Red-Teaming-Netzwerke wie OpenAI scheinen die besten zu sein, die wir bekommen werden – zumindest im Moment.