Jede Bewertung ist ein Fenster in ein KI-Modell, sagt Solaiman, nicht eine perfekte Anzeige dessen, wie es immer funktionieren wird. Aber sie hofft, dass es möglich werden kann, Schäden zu erkennen und zu stoppen, die KI verursachen kann, da bereits alarmierende Fälle aufgetreten sind, darunter Spieler des Spiels AI Dungeon, die GPT-3 verwenden, um Text zu generieren, der Sexszenen mit Kindern beschreibt. „Das ist ein extremer Fall dessen, was wir uns nicht leisten können“, sagt Solaiman.
Solaimans neueste Forschung bei Hugging Face stellte fest, dass große Technologieunternehmen einen zunehmend geschlossenen Ansatz gegenüber den generativen Modellen verfolgten, die sie von 2018 bis 2022 veröffentlichten. Dieser Trend beschleunigte sich mit den KI-Teams von Alphabet bei Google und DeepMind und allgemeiner bei Unternehmen, die nach der schrittweisen Veröffentlichung von an KI arbeiten GPT-2. Unternehmen, die ihre Durchbrüche als Geschäftsgeheimnisse hüten, können die Spitze der KI auch für marginalisierte Forscher mit wenigen Ressourcen weniger zugänglich machen, sagt Solaiman.
Da immer mehr Geld in große Sprachmodelle geschaufelt wird, kehren geschlossene Veröffentlichungen den Trend um, der in der Geschichte des Bereichs der Verarbeitung natürlicher Sprache zu beobachten war. Forscher haben traditionell Details über Trainingsdatensätze, Parametergewichte und Code ausgetauscht, um die Reproduzierbarkeit der Ergebnisse zu fördern.
„Wir haben immer weniger Wissen darüber, auf welchen Datenbanksystemen trainiert oder wie sie bewertet wurden, insbesondere bei den leistungsstärksten Systemen, die als Produkte veröffentlicht werden“, sagt Alex Tamkin, ein Doktorand der Stanford University, dessen Arbeit sich auf große Sprachmodelle konzentriert.
Er schreibt Menschen auf dem Gebiet der KI-Ethik zu, dass sie das öffentliche Bewusstsein dafür geschärft haben, warum es gefährlich ist, sich schnell zu bewegen und Dinge zu beschädigen, wenn Technologie Milliarden von Menschen bereitgestellt wird. Ohne diese Arbeit in den letzten Jahren könnten die Dinge viel schlimmer sein.
Im Herbst 2020 Tamkin ein Symposium mit geleitet mit Miles Brundage, Policy Director von OpenAI, über die gesellschaftlichen Auswirkungen großer Sprachmodelle. Die interdisziplinäre Gruppe betonte die Notwendigkeit für Branchenführer, ethische Standards festzulegen und Maßnahmen wie die Durchführung von Bias-Bewertungen vor der Bereitstellung und die Vermeidung bestimmter Anwendungsfälle zu ergreifen.
Tamkin ist der Ansicht, dass externe KI-Prüfungsdienste neben den Unternehmen wachsen müssen, die auf KI aufbauen, da interne Bewertungen in der Regel zu kurz kommen. Er glaubt, dass partizipative Evaluierungsmethoden, die Community-Mitglieder und andere Interessengruppen einbeziehen, ein großes Potenzial haben, die demokratische Beteiligung an der Erstellung von KI-Modellen zu erhöhen.
Merve Hickok, Forschungsdirektorin an einem Ethik- und Politikzentrum für KI an der University of Michigan, sagt, es sei nicht genug zu versuchen, Unternehmen dazu zu bringen, den KI-Hype beiseite zu legen oder zu durchbrechen, sich selbst zu regulieren und ethische Prinzipien zu übernehmen. Der Schutz der Menschenrechte bedeutet, Gespräche darüber, was ethisch vertretbar ist, in Gespräche darüber zu führen, was legal ist, sagt sie.
Hickok und Hanna von DAIR beobachten beide, wie die Europäische Union in diesem Jahr ihr KI-Gesetz fertigstellt, um zu sehen, wie sie Modelle behandelt, die Text und Bilder generieren. Hickok sagte, sie sei besonders daran interessiert zu sehen, wie der europäische Gesetzgeber mit der Haftung für Schäden umgeht, die von Unternehmen wie Google, Microsoft und OpenAI erstellt wurden.
„Einige Dinge müssen vorgeschrieben werden, weil wir immer wieder gesehen haben, dass diese Unternehmen, wenn sie nicht vorgeschrieben sind, weiterhin Dinge kaputt machen und weiterhin auf Profit statt auf Rechte und auf Profit statt auf Gemeinschaften drängen“, sagt Hickok.
Während die Politik in Brüssel verhandelt wird, bleibt der Einsatz hoch. Einen Tag nach dem Bard-Demo-Fehler führte ein Rückgang des Aktienkurses von Alphabet zu einem Rückgang der Marktkapitalisierung um etwa 100 Milliarden US-Dollar. „Es ist das erste Mal, dass ich diese Vermögensvernichtung aufgrund eines großen Sprachmodellfehlers in diesem Ausmaß sehe“, sagt Hanna. Sie ist jedoch nicht optimistisch, dass dies das Unternehmen davon überzeugen wird, seinen Ansturm auf die Markteinführung zu verlangsamen. „Meine Vermutung ist, dass es nicht wirklich eine warnende Geschichte sein wird.“
Aktualisiert am 16.02.2023, 12:15 Uhr EST: In einer früheren Version dieses Artikels wurde der Name von Merve Hickok falsch geschrieben.