Groq, ein KI-Chip-Unternehmen, möchte, dass jeder Elon Musks vergessen kann bissiger Chatbot mit fast demselben Namen, Grok. Blitzschnelle Demos von Groq gingen dieses Wochenende viral und machten aktuelle Versionen von ChatGPT, Zwillinge und sogar Grok sehen träge aus. Groq behauptet, „die schnellsten großen Sprachmodelle der Welt“ bereitzustellen, und Tests von Drittanbietern deuten darauf hin, dass dieser Anspruch Bestand haben könnte.
Im Bruchteil einer Sekunde produziert Groq Hunderte von Wörtern in einer sachlichen Antwort und zitiert dabei Quellen. laut einer auf X veröffentlichten Demo. In einer anderen Demo ließ Gründer und CEO Jonathon Ross a CNN-Moderatoren führen in Echtzeit im Live-Fernsehen ein mündliches Gespräch mit einem KI-Chatbot am anderen Ende der Welt. Während ChatGPT, Gemini und andere Chatbots beeindruckend sind, könnte Groq sie blitzschnell machen. Schnell genug, um praktische Anwendungsfälle in der realen Welt zu haben.
Groq entwickelt KI-Chips namens Language Processing Units (LPUs), die angeblich schneller sind als die Graphics Processing Units (GPUs) von Nvidia. Die GPUs von Nvidia gelten allgemein als Industriestandard für die Ausführung von KI-Modellen, aber erste Ergebnisse zeigen, dass LPUs sie übertreffen könnten.
Groq ist eine „Inferenzmaschine“ und kein Chatbot wie ChatGPT, Gemini oder Grok. Es trägt dazu bei, dass diese Chatbots unglaublich schnell laufen, ersetzt sie aber nicht vollständig. Auf der Website von Groq Sie können verschiedene Chatbots testen und sehen Sie, wie schnell sie mit den LPUs von Groq laufen.
Laut a produziert Groq 247 Token/Sekunde im Vergleich zu Microsofts 18 Token/Sekunde Drittanbietertest von Artificial Analysis letzte Woche veröffentlicht. Das bedeutet, dass ChatGPT mehr als 13-mal so schnell laufen könnte, wenn es auf den Chips von Groq laufen würde.
KI-Chatbots wie ChatGPT, Gemini und Grok könnten deutlich nützlicher sein, wenn sie schneller wären. Eine aktuelle Einschränkung besteht darin, dass diese Modelle nicht mit der menschlichen Sprache in Echtzeit mithalten können; Bei manchen Verzögerungen wirken Gespräche roboterhaft. Google hat kürzlich seine Gemini-Demo gefälscht um es so aussehen zu lassen, als ob Zwillinge ein multimodales Gespräch in Echtzeit führen könnten, obwohl dies nicht möglich ist. Aber mit der höheren Geschwindigkeit von Grok könnte dieses Video Wirklichkeit werden.
Vor Groq war Ross Mitbegründer der KI-Chip-Abteilung von Google, die hochmoderne Chips zum Trainieren von KI-Modellen herstellte. Mit LPUs umgeht Groq laut Ross zwei LLM-Engpässe, an denen GPUs und CPUs hängen bleiben: Rechendichte und Speicherbandbreite.
Der Name Grok kommt von Fremder in einem fremden Land, ein Science-Fiction-Buch von Robert Heinlein aus dem Jahr 1961. Das Wort bedeutet „tiefgreifend und intuitiv verstehen“. Aus diesem Grund verwenden so viele KI-Unternehmen es zur Beschreibung ihrer KI-Produkte.
Es gibt nicht nur Ross‘ Groq und Elon Musks Grok, sondern auch einen KI-fähiges IT-Unternehmen namens Grok. Grimes hat auch eine KI-betriebenes Spielzeug, Grok, angeblich nach der Art benannt, wie sie und Musks Kinder „Grocket“ sagen. Ross behauptet jedoch, sein Groq sei der erste im Jahr 2016 gewesen.
„Willkommen in Groq’s Galaxy, Elon“, sagte ein November Blogeintrag von Ross, drei Tage nachdem Elon Musk xAIs Version von Grok veröffentlicht hatte. „Sehen Sie, ich bin der Gründer und CEO des Unternehmens namens Groq™“, sagte Ross und stellte sicher, dass Groq ein Markenname ist.
Obwohl Groq viel Aufsehen erregt, bleibt abzuwarten, ob seine KI-Chips die gleiche Skalierbarkeit aufweisen wie die GPUs von Nvidia oder die TPUs von Google. KI-Chips stehen heutzutage im Fokus von OpenAI-CEO Sam Altman, der sogar darüber nachdenkt, sie selbst zu bauen. Die erhöhten Chipgeschwindigkeiten von Groq könnten die KI-Welt ankurbeln und neue Möglichkeiten für die Echtzeitkommunikation mit KI-Chatbots schaffen.