Anthropic, ein Unternehmen für künstliche Intelligenz (KI) und „gemeinnützig“, startete am 11. Juli Claude 2 und markierte damit einen weiteren Meilenstein in einem Jahr voller scheinbar ununterbrochener Fortschritte im aufstrebenden Sektor der generativen KI.
Wir stellen vor: Claude 2! Unser neuestes Modell hat die Leistung in den Bereichen Codierung, Mathematik und Argumentation verbessert. Es kann zu längeren Antworten führen und ist auf einer neuen, öffentlich zugänglichen Beta-Website unter verfügbar https://t.co/uLbS2JNczH in den USA und Großbritannien. pic.twitter.com/jSkvbXnqLd
– Anthropisch (@AnthropicAI) 11. Juli 2023
Laut einem Unternehmensblogbeitrag hat Claude 2 zeigt an Verbesserungen in nahezu jeder messbaren Kategorie. Der vielleicht bemerkenswerteste Unterschied zum Vorgänger ist die Art und Weise, wie die Forscher ihre Arbeit diskutieren.
In dem Blogbeitrag, der Claude 2 ankündigt, werden traditionelle Benchmarking-Methoden für maschinelles Lernen oder rechnerische Ergebnisse mit ähnlichen Modellen nicht erwähnt. Stattdessen testete Anthropic sowohl Claude als auch Claude 2 direkt in zahlreichen Tests, die reales Wissen, Fähigkeiten usw. abbilden sollten Problemlösungstests.
Claude 2 hat seinen Vorgänger bei Wissens-, Programmier- und anderen Prüfungen auf ganzer Linie geschlagen und schneidet laut Anthropic sogar im Vergleich zum menschlichen Durchschnitt gut ab:
„Im Vergleich zu College-Studenten, die sich für eine Graduiertenschule bewerben, erreicht Claude 2 bei den GRE-Prüfungen zum Lesen und Schreiben über dem 90. Perzentil und ist beim quantitativen Denken ähnlich wie der Durchschnittsbewerber.“
Es ist erwähnenswert, dass es viele Experten gibt glauben Vergleiche zwischen menschlichen und KI-Testteilnehmern sind aufgrund der Natur des menschlichen kognitiven Denkens und der Wahrscheinlichkeit, dass der Trainingsdatensatz eines großen Sprachmodells Testinformationen enthält, unwirksam. Im Wesentlichen „testen“ Tests, die für Menschen entwickelt wurden, möglicherweise nicht wirklich die Denkfähigkeit einer KI oder liefern einen angemessenen Nachweis tatsächlicher Kenntnisse oder Fähigkeiten.
Zusammen mit der Veröffentlichung von Claude 2, Anthropic debütierte eine Beta-Version einer webbasierten „Talk to Claude“-Schnittstelle, die Benutzern in den USA und Großbritannien allgemeinen Zugriff auf den Chatbot bietet.
Verwandt: So bekommen Sie einen gut bezahlten Job als KI-Prompt-Ingenieur
Cointelegraph hat die neue Version kurz getestet und die Verbesserungen sind Berichten zufolge sofort spürbar. Claude 2 reagierte nahezu umgehend mit klaren, prägnanten Antworten auf unsere Aufforderungen.
Laut Anthropic liegt das Prompt-Limit des neuen Modells bei 100.000 Token, was etwa 75.000 Wörtern entspricht. Auf der Benutzeroberfläche der Website wird angegeben, dass Benutzer PDF-, TXT-, CSV- und ähnliche Dokumente zum Parsen hochladen können. Diese Funktion funktionierte jedoch in unseren eingeschränkten Tests vor der Veröffentlichung dieses Artikels nicht.