Dies ist keine Anlageberatung. Der Autor besitzt keine der erwähnten Aktien. Wccftech.com hat eine Offenlegungs- und Ethikrichtlinie.
Inmitten des anhaltenden Wettlaufs im Silicon Valley um die Entwicklung künstlicher Intelligenzmodelle mit menschenähnlichen Reaktionen hat Google die neuesten Daten für sein Modell Gemini 1.5 Pro veröffentlicht. Wie ChatGPT verwendet auch Gemini künstliche Intelligenz zur Problemlösung, und dieses Mal wirbt Google mit den mathematischen Fähigkeiten seines Produkts. KI-Modelle waren in den Nachrichten wegen ihrer Fähigkeit, Aufgaben auf College-Niveau als Maß für ihre „Intelligenz“ zu lösen, und Googles Forschungsbericht zeigt, dass das Modell seine Mathematiknote verbessert und erfolgreich Probleme löst, die Teil der internationalen Mathematik-Olympiade sind.
Googles spezialisiertes Gemini-Modell für mathematische Probleme löst komplexe Probleme im Handumdrehen
Die Details zu Geminis neuesten Mathe-Ergebnissen wurden in der neuesten technischen Ausgabe des Modells veröffentlicht Bericht letzte Woche. Dieses ziemlich umfangreiche Dokument zeigt, dass Google beabsichtigte, die Ausbildung nachzuahmen, die Mathematiker zur Lösung komplexer Probleme erhalten, und um dies zu erreichen, trainierte das Unternehmen eine spezialisierte Variante seines Gemini-KI-Modells.
Die Mathe-Variante von Gemini 1.5 Pro scheint mit mehreren Benchmarks getestet worden zu sein. Laut seinem Dokument stützte sich Google auf verschiedene Benchmarks, um die Ergebnisse seines neuesten KI-Mathematikmodells zu bewerten. Dazu gehören die MATH-Benchmarks, die American Invitational Mathematics Examination (AIME) und die hauseigenen HiddenMath-Benchmarks von Google, die auch neue Probleme mit sich bringen, auf die das Modell während seines Trainings nicht gestoßen ist.
Laut Google ist die Leistung des mathematischen Gemini 1.5 Pro bei den MATH-Benchmarks „ist einer menschlichen Expertenleistung ebenbürtigwobei das Modell im Vergleich zum standardmäßigen, nicht mathematischen Gemini 1.5 Pro deutlich mehr Probleme bei den AIME-Benchmarks löste und die Ergebnisse bei den anderen verbesserte.
Google hat auch einige Beispiele für die Probleme geteilt, die Gemini 1.5 Pro gelöst hat. Dem Papier zufolge sind dies jene Probleme, die „Gemini 1.5 Pro, GPT-4 Turbo und alle vorherigen Gemini-Modelle Antwort[ed] falsch“, was letztendlich die Leistungslatte für das Google-Produkt höher legt.
Von den drei geteilten Beispielen wurden zwei mit dem mathematikspezifischen Gemini 1.5 Pro gelöst, während eines mit der Standardvariante von Gemini 1.5 Pro falsch gelöst wurde. Bei den Problemen muss sich der Löser in der Regel grundlegende mathematische Formulierungen in der Algebra merken und sich auf ihre Unterstation sowie andere mathematische Regeln verlassen, um die richtigen Antworten abzuleiten.
Abgesehen von dem Problem teilt Google auch wichtige Details zu den Benchmarks von Gemini 1.5 Pro mit. Diese platzieren die mathematikspezifische Variante in allen fünf mitgeteilten Benchmark-Ergebnissen vor GPT-4 Turbo und Amazons Claude.
Laut Google ist seine auf Mathematik spezialisierte Variante in der Lage, „eine Genauigkeit von 80,6 % beim MATH-Benchmark aus einer einzelnen Stichprobe und eine Genauigkeit von 91,1 % beim Ausprobieren von 256 Lösungen und Auswählen einer Kandidatenantwort (rm@256),“ eine Leistung, die es auf eine Stufe mit einem menschlichen Experten stellt. Tatsächlich ist das Ergebnis von 91,1 % im mathematischen Modell deutlich höher als das „SOTA“-Ergebnis (State of the Art) von lediglich 6,9 % vor nur drei Jahren, so Jeff Dean, Chefwissenschaftler bei Google Deep Mind.