Am 29. Juni startete Inflection AI mit Sitz in Palo Alto angekündigt der Abschluss einer von Microsoft, Reid Hoffman, Bill Gates, Eric Schmidt und Nvidia angeführten Kapitalerhöhung in Höhe von 1,3 Milliarden US-Dollar. Das neue Kapital wird teilweise für den Aufbau eines Nvidia H100 Tensor-GPU-Clusters mit 22.000 Einheiten verwendet, der nach Angaben des Unternehmens der größte der Welt ist. Die GPUs werden zur Entwicklung groß angelegter Modelle der künstlichen Intelligenz verwendet. Entwickler haben geschrieben:
„Wir gehen davon aus, dass wir in letzter Zeit in unseren Cluster eingetreten sind TOP500 In der Liste der Supercomputer wäre es der zweite und nahe an der Spitze stehende Eintrag, obwohl es eher für KI- als für wissenschaftliche Anwendungen optimiert ist.
Inflection AI entwickelt außerdem sein eigenes persönliches unterstützendes KI-System mit dem Namen „Pi“. Das Unternehmen erklärte, dass Pi „ein Lehrer, Coach, Vertrauter, kreativer Partner und Resonanzboden“ sei, auf den direkt über soziale Medien oder WhatsApp zugegriffen werden könne. Das Unternehmen Der Gesamtfinanzierungsbetrag hat seit seiner Einführung Anfang 2022 1,525 Milliarden US-Dollar erreicht.
Trotz der wachsenden Investitionen in große KI-Modelle warnen Experten, dass ihre tatsächliche Trainingseffizienz durch aktuelle technologische Einschränkungen stark eingeschränkt werden kann. In einem Beispiel erzogen Forscher schrieben vom singapurischen Risikofonds Foresight und führten das Beispiel eines großen KI-Modells mit 175 Milliarden Parametern an, das 700 GB Daten speichert:
„Angenommen, wir haben 100 Rechenknoten und jeder Knoten muss bei jedem Schritt alle Parameter aktualisieren, würde jeder Schritt die Übertragung von etwa 70 TB Daten (700 GB*100) erfordern. Wenn wir optimistisch davon ausgehen, dass jeder Schritt 1 Sekunde dauert, müssten 70 TB Daten pro Sekunde übertragen werden. Dieser Bandbreitenbedarf übersteigt die Kapazität der meisten Netzwerke bei weitem.“
In Anlehnung an das obige Beispiel warnte Foresight auch davor, dass „die Datenübertragungszeit aufgrund von Kommunikationslatenz und Netzwerküberlastung weit über einer Sekunde liegen könnte“, was bedeutet, dass Rechenknoten die meiste Zeit damit verbringen könnten, auf die Datenübertragung zu warten, anstatt tatsächliche Berechnungen durchzuführen. Foresight-Analysten kam angesichts der aktuellen Beschränkungen zu dem Schluss, dass die Lösung in kleinen KI-Modellen liegt, die „einfacher bereitzustellen und zu verwalten“ sind.
„In vielen Anwendungsszenarien benötigen Benutzer oder Unternehmen nicht die universellere Argumentationsfähigkeit großer Sprachmodelle, sondern konzentrieren sich nur auf ein sehr verfeinertes Vorhersageziel.“
Magazin: AI Eye: AI-Reisebuchung unglaublich schlecht, 3 seltsame Verwendungsmöglichkeiten für ChatGPT, Krypto-Plugins