Dies ist keine Anlageberatung. Der Autor hält keine Position in einer der genannten Aktien. Wccftech.com verfügt über eine Offenlegungs- und Ethikrichtlinie.
Obwohl GPT-4 derzeit an der Spitze der immer komplexer werdenden Welt der generativen künstlichen Intelligenz steht, werden seine Konkurrenten, darunter Claude von Anthropic und das Open-Source-Llama von Meta, immer besser, was eine weitere Iteration von OpenAIs Flaggschiff Large Language Model (LLM) erforderlich macht. Während viele erwarten Obwohl Sam Altmans gemeinnützige Organisation GPT-5 im Jahr 2024 veröffentlichen will, behaupten einige Analysten nun, dass diese Erwartungen weiterhin weit hergeholt bleiben, insbesondere angesichts des Umfangs der erforderlichen Ressourcen.
GPT-5 würde etwa das 100-fache der Rechenressourcen von GPT-4 benötigen, oder 3 Monate mit etwa 1 Million H100s
Es ist unwahrscheinlich, dass GPT-5 dieses Jahr veröffentlicht wird.
Seit GPT-1 beträgt der Unterschied zwischen GPT-n und GPT-n+0,5 bei der Berechnung etwa das Zehnfache.
Das würde bedeuten, dass GPT-5 etwa das 100-fache der Rechenleistung von GPT-4 oder 3 Monate von etwa 1 Million H100s hätte.
Ich bezweifle, dass OpenAI über einen 1-Millionen-GPU-Server verfügt. https://t.co/asJWNLkO23– Dan Hendrycks (@DanHendrycks) 22. April 2024
Laut Dan Hendrycks, dem Direktor des Center for AI Safety, erforderte jede inkrementelle Iteration des GPT LLM von OpenAI eine zehnfache Steigerung der Rechenressourcen. Wenn OpenAI also GPT-4.5 überspringen und direkt zu GPT-5 wechseln würde, würde dies zu einem etwa 100-fachen Anstieg der Rechenanforderungen im Vergleich zu GPT-4 führen, was etwa 1 Million H100-Chips entspricht, die drei Monate lang in Folge laufen.
Sam sagte, dass sie dieses Jahr ein fantastisches Modell herausbringen würden, aber er weiß nicht, wie es heißen wird. Dario sagte, dass diejenigen, die derzeit trainieren, 1-Milliarden-Dollar-Läufe sind. Das würde in etwa damit übereinstimmen, dass GPT-4.5 zehnmal mehr Rechenleistung bietet als GPT-4.https://t.co/Nyvv3j2uri
— MachDiamonds (@andromeda74356) 22. April 2024
Diese These wird durch die Kommentare von Dario Amodei, CEO von Anthropic, gestützt, der kürzlich feststellte, dass die Ausbildung eines hochmodernen LLM derzeit etwa 1 Milliarde US-Dollar kostet, wobei diese Kosten voraussichtlich auf 5 bis 10 Milliarden US-Dollar ansteigen werden 2025/26. Entscheidend ist, dass die Schulungskosten in Höhe von 1 Milliarde US-Dollar mit dem 10-fachen Anstieg der Rechenressourcen einhergehen, der vernünftigerweise für GPT-4.5 abgeleitet werden kann.
Wir haben kürzlich festgestellt, dass die in diesem Jahr eingesetzten H100-Einheiten von NVIDIA voraussichtlich jährlich etwa 13.000 GWh Strom verbrauchen werden, was dem jährlichen Stromverbrauch von Ländern wie Litauen und Guatemala entspricht. Bis 2027 wird der weltweite Stromverbrauch von Rechenzentren voraussichtlich auf 85 bis 134 TWh (Terawattstunden) ansteigen!
Llama3-70B hat sich auf #5 niedergelassen. Da 405B noch als nächstes kommt …
Ich erinnere mich, dass es bei der Veröffentlichung von GPT-4 im März 2023 so aussah, als wäre es nahezu unmöglich, die gleiche Leistung zu erreichen.
Seitdem habe ich gesehen @Ahmad_Al_Dahle und der Rest der GenAI-Organisation in einem chaotischen Aufstieg, um sich zu konzentrieren,… https://t.co/xUMHhW8sIX
— Soumith Chintala (@soumithchintala) 22. April 2024
Natürlich holt die Konkurrenz von GPT-4 schnell auf. Suchen Sie nicht weiter als nach Metas Llama 3 LLM (70 Milliarden Parameter), das jetzt den fünften Platz in der Arena-Führungsliste belegt. Entscheidend ist, dass Llama 3 jetzt alle anderen Open-Source-LLMs übertrifft, und das ohne das kommende 405-Milliarden-Parametermodell.
Ich vermute, dass GPT-5 stärker verzögert wird als der Mangel an GPU-Ressourcen. Es ist die Erkenntnis nach der Veröffentlichung von GPT-4, dass der ursprüngliche Lehrplan geändert werden muss. Die Aufnahme schlecht kuratierter menschlicher Gespräche und ein naiver Schulungslehrplan waren keine Erfolgsfaktoren. Die meisten anderen… https://t.co/7QO7Zykk2e
– Carlos E. Perez (@IntuitMachine) 22. April 2024
Darüber hinaus glauben einige Experten mittlerweile, dass OpenAI für GPT-5 den „ursprünglichen Lehrplan“ ändern muss, der derzeit die Nutzung „schlecht kuratierter menschlicher Gespräche“ und einen insgesamt „naiven“ Trainingsprozess beinhaltet. Dies hängt mit unserer ursprünglichen These zusammen, dass OpenAI dieses Jahr wahrscheinlich ein iteratives GPT-4.5-Modell veröffentlichen wird, anstatt mit GPT-5 den Einsatz völlig auf den Kopf zu stellen.