KI liegt voll im Trend – insbesondere textgenerierende KI, auch bekannt als große Sprachmodelle (denken Sie an Modelle nach dem Vorbild von ChatGPT). In einem kürzlich Umfrage Von ca. 1.000 Unternehmensorganisationen geben 67,2 % an, dass sie die Einführung großer Sprachmodelle (LLMs) bis Anfang 2024 als oberste Priorität betrachten.
Doch Hindernisse stehen im Weg. Der gleichen Umfrage zufolge hinderten ein Mangel an Anpassung und Flexibilität sowie die Unfähigkeit, Unternehmenswissen und geistiges Eigentum zu schützen, viele Unternehmen daran, LLMs in der Produktion einzusetzen.
Das brachte Varun Vummadi und Esha Manideep Dinne zum Nachdenken: Wie könnte eine Lösung für die Herausforderung der LLM-Einführung in Unternehmen aussehen? Auf der Suche nach einem gründeten sie Giga MLein Startup, das eine Plattform aufbaut, die es Unternehmen ermöglicht, LLMs vor Ort bereitzustellen – angeblich um Kosten zu senken und dabei die Privatsphäre zu schützen.
„Datenschutz und die Anpassung von LLMs gehören zu den größten Herausforderungen für Unternehmen, wenn sie LLMs zur Lösung von Problemen einführen“, sagte Vummadi gegenüber TechCrunch in einem E-Mail-Interview. „Giga ML begegnet diesen beiden Herausforderungen.“
Giga ML bietet einen eigenen Satz von LLMs, die „X1-Serie“, für Aufgaben wie die Generierung von Code und die Beantwortung häufiger Kundenfragen (z. B. „Wann kann ich mit dem Eintreffen meiner Bestellung rechnen?“). Das Startup behauptet, dass die Modelle, die auf Metas Llama 2 basieren, bei bestimmten Benchmarks, insbesondere dem, beliebte LLMs übertreffen MT-Bank Testset für Dialoge. Aber es ist schwer zu sagen, wie X1 qualitativ abschneidet; Dieser Reporter hat Giga MLs ausprobiert Online-Demo aber es gab technische Probleme. (Die App ist abgelaufen, unabhängig davon, welche Eingabeaufforderung ich eingegeben habe.)
Auch wenn es sich um Giga ML-Modelle handelt Sind Obwohl sie in einigen Aspekten überlegen sind, können sie im Ozean der Open-Source-Offline-LLMs wirklich für Furore sorgen?
Als ich mit Vummadi sprach, bekam ich das Gefühl, dass es bei Giga ML nicht so sehr darum geht, die leistungsstärksten LLMs auf dem Markt zu entwickeln, sondern dass es vielmehr darum geht, Tools zu entwickeln, die es Unternehmen ermöglichen, LLMs lokal zu optimieren, ohne auf Ressourcen Dritter angewiesen zu sein Plattformen.
„Die Mission von Giga ML besteht darin, Unternehmen dabei zu helfen, LLMs sicher und effizient in ihrer eigenen Infrastruktur vor Ort oder in ihrer virtuellen privaten Cloud bereitzustellen“, sagte Vummadi. „Giga ML vereinfacht den Prozess des Trainings, der Feinabstimmung und der Ausführung von LLMs, indem es ihn über eine benutzerfreundliche API verwaltet und so jeglichen damit verbundenen Aufwand eliminiert.“
Vummadi betonte die Vorteile für den Datenschutz, wenn Models offline laufen – Vorteile, die für einige Unternehmen wahrscheinlich überzeugend sein dürften.
Predibase, die Low-Code-KI-Entwicklungsplattform, hat herausgefunden, dass weniger als ein Viertel der Unternehmen mit der Nutzung kommerzieller LLMs zufrieden sind, weil sie Bedenken haben, sensible oder proprietäre Daten mit Anbietern zu teilen. Fast 77 % der Befragten der Umfrage gaben an, dass sie entweder keine kommerziellen LLMs über Prototypen hinaus in der Produktion verwenden oder dies nicht planen – und führten dabei Probleme im Zusammenhang mit Datenschutz, Kosten und mangelnder Individualisierung an.
„IT-Manager auf C-Suite-Ebene finden die Angebote von Giga ML aufgrund der sicheren Bereitstellung von LLMs vor Ort, anpassbaren, auf ihren spezifischen Anwendungsfall zugeschnittenen Modellen und schnellen Rückschlüssen wertvoll, was Datenkonformität und maximale Effizienz gewährleistet.“ Sagte Vummadi.
Giga ML, das bisher etwa 3,74 Millionen US-Dollar an VC-Finanzierung von Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx und mehreren anderen eingeworben hat, plant in naher Zukunft, sein zweiköpfiges Team zu vergrößern und die Produktforschung und -entwicklung voranzutreiben. Ein Teil des Kapitals fließt auch in die Unterstützung des Kundenstamms von Giga ML. sagte Vummadi, zu dem derzeit nicht genannte „Unternehmens“-Unternehmen aus den Bereichen Finanzen und Gesundheitswesen gehören.