Die atemberaubenden Fähigkeiten von ChatGPT, dem Chatbot des Startups OpenAI, hat eine Welle neuen Interesses und neuer Investitionen in künstliche Intelligenz ausgelöst. Aber Ende letzter Woche warnte der CEO von OpenAI, dass die Forschungsstrategie, die den Bot hervorbrachte, ausgespielt wird. Es ist unklar, wo genau zukünftige Fortschritte herkommen werden.
OpenAI hat in den letzten Jahren eine Reihe beeindruckender Fortschritte in der KI erzielt, die mit Sprache arbeitet, indem es bestehende maschinelle Lernalgorithmen nimmt und sie auf eine zuvor ungeahnte Größe skaliert. GPT-4, das neueste dieser Projekte, wurde wahrscheinlich mit Billionen von Textwörtern und vielen Tausend leistungsstarken Computerchips trainiert. Der Prozess kostete über 100 Millionen Dollar.
Der CEO des Unternehmens, Sam Altman, sagt jedoch, dass weitere Fortschritte nicht durch die Vergrößerung der Modelle erzielt werden. „Ich denke, wir sind am Ende der Ära angelangt, in der es diese riesigen, riesigen Modelle geben wird“, sagte er einem Publikum bei einer Veranstaltung, die Ende letzter Woche am MIT stattfand. „Wir werden sie auf andere Weise besser machen.“
Altmans Erklärung deutet auf eine unerwartete Wendung im Rennen um die Entwicklung und den Einsatz neuer KI-Algorithmen hin. Seit OpenAI ChatGPT im November gestartet hat, hat Microsoft die zugrunde liegende Technologie genutzt, um seiner Bing-Suchmaschine einen Chatbot hinzuzufügen, und Google hat einen konkurrierenden Chatbot namens Bard gestartet. Viele Menschen haben sich beeilt, mit der Verwendung der neuen Art von Chatbot zu experimentieren, um bei der Arbeit oder bei persönlichen Aufgaben zu helfen.
Inzwischen sind zahlreiche gut finanzierte Startups, darunter Anthropisch, AI21, ZusammenhängenUnd Charakter.AI, investieren enorme Ressourcen in die Entwicklung immer größerer Algorithmen, um mit der OpenAI-Technologie Schritt zu halten. Die ursprüngliche Version von ChatGPT basierte auf einer leicht aktualisierten Version von GPT-3, aber Benutzer können jetzt auch auf eine Version zugreifen, die auf dem leistungsfähigeren GPT-4 basiert.
Altmans Aussage legt nahe, dass GPT-4 der letzte große Fortschritt sein könnte, der aus der Strategie von OpenAI hervorgeht, die Modelle größer zu machen und sie mit mehr Daten zu füttern. Er sagte nicht, welche Art von Forschungsstrategien oder -techniken an seine Stelle treten könnten. Im Papier, das GPT-4 beschreibt, sagt OpenAI, dass seine Schätzungen auf abnehmende Renditen bei der Skalierung der Modellgröße hindeuten. Altman sagte, dass es auch physische Grenzen dafür gibt, wie viele Rechenzentren das Unternehmen bauen kann und wie schnell es sie bauen kann.
Nick Frosst, Mitbegründer von Cohere, der zuvor bei Google an KI gearbeitet hat, sagt, dass Altmans Gefühl, dass es nicht ewig funktionieren wird, größer zu werden, wahr ist. Auch er glaubt, dass der Fortschritt bei Transformern, der Art des maschinellen Lernmodells im Herzen von GPT-4 und seinen Konkurrenten, jenseits der Skalierung liegt. „Es gibt viele Möglichkeiten, Transformatoren viel, viel besser und nützlicher zu machen, und viele von ihnen beinhalten nicht das Hinzufügen von Parametern zum Modell“, sagt er. Frosst sagt, dass neue KI-Modelldesigns oder -architekturen und eine weitere Abstimmung auf der Grundlage von menschlichem Feedback vielversprechende Richtungen sind, die viele Forscher bereits erforschen.
Jede Version der einflussreichen Familie von Sprachalgorithmen von OpenAI besteht aus einem künstlichen neuronalen Netzwerk, einer Software, die lose von der Art und Weise inspiriert ist, wie Neuronen zusammenarbeiten, die darauf trainiert ist, die Wörter vorherzusagen, die einer bestimmten Textfolge folgen sollten.