Ist Googles Gemini wirklich intelligenter als OpenAIs GPT-4? Community-Detektive finden es heraus

0

Google hat am 6. Dezember sein neuestes Modell für künstliche Intelligenz (KI), Gemini, auf den Markt gebracht und es als das fortschrittlichste derzeit auf dem Markt verfügbare KI-Modell angekündigt, das OpenAIs GPT-4 übertrifft.

Gemini ist multimodal, das heißt, es wurde entwickelt, um verschiedene Arten von Informationen zu verstehen und zu kombinieren. Es ist in drei Versionen (Ultra, Pro, Nano) erhältlich, um unterschiedliche Anwendungsfälle abzudecken, und ein Bereich, in dem es GPT-4 zu übertreffen scheint, ist seine Fähigkeit, fortgeschrittene Mathematik und spezielle Codierung durchzuführen.

Bei seinem Debüt veröffentlichte Google mehrere Benchmark-Tests, die Gemini mit GPT-4 verglichen. Die Gemini Ultra-Version erzielte in 30 von 32 akademischen Benchmarks, die bei der Entwicklung großer Sprachmodelle (LLM) verwendet wurden, „Leistung auf dem neuesten Stand“.

Leistungsvergleich zwischen Gemini und ChatGPT. Quelle: Google

Allerdings haben Kritiker im gesamten Internet Gemini angegriffen und die im Benchmark-Test verwendeten Methoden in Frage gestellt, die auf die Überlegenheit von Gemini schließen lassen, sowie die Vermarktung des Produkts durch Google.

„Irreführende“ Zwillingswerbung

Ein Benutzer der Social-Media-Plattform

Er wies darauf hin, dass Google Gemini möglicherweise hochjubelt oder Beispiele für seine Überlegenheit herauspickt. Dennoch, so schlussfolgerte er, „meine Wette ist, dass Gemini sehr konkurrenzfähig ist und GPT-4 Konkurrenz machen wird“ und dass die Konkurrenz in diesem Bereich gut sei.

Kurz darauf verfasste er jedoch einen zweiten Beitrag, in dem er sagte, dass Google sich für die „irreführende“ Werbung für das Produkt in einem Werbevideo, das es für die Veröffentlichung von Gemini erstellt hatte, „schämen“ sollte.

Als Reaktion auf seinen Tweet äußerten andere X-Nutzer, dass sie sich durch Googles Darstellung von Gemini getäuscht fühlten. Ein Benutzer sagte Behauptungen, dass Gemini die Ära von GPT-4 beenden würde, werden „annulliert“.

Ein anderer Nutzer, ein Informatiker, stimmte zu und bezeichnete Googles Darstellung der Überlegenheit der Zwillinge als „unaufrichtig“.

Verpatzte Benchmarks

Nutzer wiesen darauf hin, dass Google Benchmarks einbezogen hatte, die eine veraltete Version von GPT-4 anstelle seiner aktuellen Kapazität verwendeten, und dass die Vergleiche daher überflüssig waren.

Ein weiterer Bereich, der Social-Media-Experten Anlass zur Sorge gab, waren die Parameter, die Google zum Vergleich seines Gemini-Modells mit GPT-4 verwendete. Darüber hinaus waren die Eingabeaufforderungen beider Modelle nicht identisch, was erhebliche Auswirkungen auf die Ergebnisse haben könnte.

Der Benutzer wies auch darauf hin, dass die Ergebnisse durch Tests erzielt wurden, die an einem Modell durchgeführt wurden, das derzeit „nicht öffentlich verfügbar“ ist. Ein anderer Benutzer spitz heraus, dass die Ergebnisse anders ausfallen könnten, wenn das erweiterte Modell von Gemini mit der erweiterten Version von GPT-4, bekannt als „Turbo“, getestet würde.

Verwandt: Elon Musks xAI reicht bei der SEC einen Privatverkauf von nicht registrierten Wertpapieren im Wert von 1 Milliarde US-Dollar ein

Zum Test

Andere Social-Media-Nutzer haben sich entschieden, die von Google veröffentlichten Benchmarks abzulehnen und stattdessen ihre eigenen Erfahrungen mit Gemini im Vergleich zu GPT-4 zu beschreiben.

Anne Moss, die in Web-Publishing-Diensten arbeitet und behauptet, eine regelmäßige Nutzerin von KI, insbesondere GPT-4, zu sein, sagte, sie habe Gemini über das Bard-Tool von Google verwendet und sei „von der Erfahrung nicht begeistert“.

Sie kam zu dem Schluss, dass sie vorerst bei GPT-4 bleiben würde, und erklärte, dass zu den von ihr festgestellten Unterschieden gehörte, dass Zwillinge/Bard sich weigerten, politische Fragen zu beantworten, und dass sie „lügten“, wenn es darum ging, persönliche Informationen zu kennen.

Ein anderer Benutzer, der in der App-Entwicklung arbeitet, veröffentlichte Screenshots, in denen er beide Modelle über dieselbe Eingabeaufforderung aufforderte, einen Code basierend auf einem Foto zu generieren. Er wies auf die enttäuschende Reaktion von Gemini/Bard im Vergleich zu GPT-4 hin.

Laut Google ist geplant, Gemini Anfang 2024 breiter der Öffentlichkeit zugänglich zu machen. Das Modell wird auch in Googles Angebot an Apps und Diensten integriert.

Zeitschrift: Echte KI-Anwendungsfälle in Krypto: Kryptobasierte KI-Märkte und KI-Finanzanalyse