Im Gegensatz zu dem, was Sie vielleicht gehört habendie Ära der großen Seed-Runden ist noch nicht vorbei – zumindest im KI-Sektor.
CentMLein Startup, das Tools entwickelt, um die Kosten – und die Leistung – der Bereitstellung von Modellen für maschinelles Lernen zu senken, gab heute Morgen bekannt, dass es in einer erweiterten Seed-Runde unter Beteiligung von Gradient Ventures, TR Ventures, Nvidia und Microsoft Azure AI VP Misha 27 Millionen US-Dollar eingesammelt hat Bilenko.
CentML schloss seine Seed-Runde zunächst im Jahr 2022 ab, verlängerte die Runde jedoch in den letzten Monaten, da das Interesse an seinem Produkt zunahm – so dass sich die Gesamteinnahme auf 30,5 Millionen US-Dollar erhöhte.
Laut CentML-Mitbegründer und CEO Gennady Pekhimenko wird das frische Kapital dazu verwendet, die Produktentwicklungs- und Forschungsbemühungen von CentML zu stärken und außerdem das Engineering-Team des Startups und die breitere Belegschaft von 30 Mitarbeitern in den USA und Kanada zu erweitern.
Pekhimenko, außerordentlicher Professor an der University of Toronto, war letztes Jahr zusammen mit Akbar Nurlybayev und den Doktoranden Shang Wang und Anand Jayarajan Mitbegründer von CentML. Pekhimenko sagt, dass sie die Vision teilten, Technologien zu entwickeln, die den Zugang zu Computern angesichts des sich verschlimmernden Problems bei der Versorgung mit KI-Chips verbessern könnten.
„Kosten für maschinelles Lernen, Talent- und Chipmangel … jedes Unternehmen für KI und maschinelles Lernen steht vor mindestens einer dieser Herausforderungen, und die meisten stehen vor mehreren auf einmal“, sagte Pekhimenko gegenüber TechCrunch in einem E-Mail-Interview. „Die hochwertigsten Chips sind aufgrund der großen Nachfrage von Unternehmen und Start-ups häufig nicht verfügbar. Dies führt dazu, dass Unternehmen Abstriche bei der Größe des Modells machen, das sie bereitstellen können, oder dass es zu höheren Inferenzlatenzen für ihre bereitgestellten Modelle kommt.“
Die meisten Trainingsmodelle von Unternehmen, insbesondere generative KI-Modelle wie ChatGPT und Stable Diffusion, basieren stark auf GPU-basierter Hardware. Aufgrund der Fähigkeit von GPUs, viele Berechnungen parallel durchzuführen, eignen sie sich gut für das Training der leistungsstärksten KI von heute.
Aber es gibt nicht genug Chips für alle.
Microsoft sei mit einem so schwerwiegenden Mangel an Serverhardware konfrontiert, die für die Ausführung von KI erforderlich sei, dass es zu Dienstunterbrechungen kommen könne, so das Unternehmen gewarnt in einem Sommerergebnisbericht. Und Nvidias leistungsstärkste KI-Karten sind es angeblich bis 2024 ausverkauft.
Das hat einige Unternehmen veranlasst, darunter OpenAI, Google, AWS, Meta und Microsoft, um ihre eigenen benutzerdefinierten Chips für das Modelltraining zu bauen oder auszuprobieren. Aber auch das hat sich nicht als Allheilmittel erwiesen. Die Bemühungen von Meta waren mit Problemen behaftet, was dazu führte, dass das Unternehmen einen Teil seiner experimentellen Hardware verschrottete. Und Google hat es nicht geschafft, mit der Nachfrage nach seinem in der Cloud gehosteten, selbst entwickelten GPU-Äquivalent, der Tensor Processing Unit (TPU), Wired, Schritt zu halten gemeldet kürzlich.
Da die Ausgaben für KI-fokussierte Chips in diesem Jahr voraussichtlich 53 Milliarden US-Dollar erreichen und sich in den nächsten vier Jahren mehr als verdoppeln werden, nach Laut Gartner war Pekhimenko der Ansicht, dass es an der Zeit sei, Software auf den Markt zu bringen, mit der Modelle auf vorhandener Hardware effizienter ausgeführt werden könnten.
„Das Training von KI- und maschinellen Lernmodellen wird immer teurer“, sagte Pekhimenko. „Mit der Optimierungstechnologie von CentML können wir die Kosten um bis zu 80 % senken, ohne Kompromisse bei Geschwindigkeit oder Genauigkeit einzugehen.“
Das ist eine ziemliche Behauptung. Aber auf hohem Niveau ist die Software von CentML relativ einfach zu verstehen.
Die Plattform versucht, Engpässe während des Modelltrainings zu identifizieren und die Gesamtzeit und -kosten für die Bereitstellung eines Modells vorherzusagen. Darüber hinaus bietet CentML Zugriff auf einen Compiler – eine Komponente, die den Quellcode einer Programmiersprache in Maschinencode übersetzt, den Hardware wie eine GPU verstehen kann – um Modelltrainings-Workloads automatisch zu optimieren, um auf der Zielhardware die beste Leistung zu erzielen.
Pekhimenko behauptet, dass die Software von CentML die Modelle nicht beeinträchtigt und für die Ingenieure „wenig bis gar keinen Aufwand“ erfordert.
„Für einen unserer Kunden haben wir sein Llama 2-Modell so optimiert, dass es durch den Einsatz von Nvidia A10-GPU-Karten dreimal schneller arbeitet“, fügte sie hinzu.
CentML ist nicht der erste, der einen softwarebasierten Ansatz zur Modelloptimierung verfolgt. Es gibt Konkurrenten in MosaicML, das Databricks im Juni für 1,3 Milliarden US-Dollar übernommen hat, und OctoML, das im November 2021 eine Finanzspritze in Höhe von 85 Millionen US-Dollar für seine Plattform zur Beschleunigung des maschinellen Lernens erhalten hat.
Pekhimenko behauptet jedoch, dass die Techniken von CentML nicht zu einem Verlust der Modellgenauigkeit führen, wie dies bei MosaikML manchmal der Fall sein kann, und dass der Compiler von CentML eine „neuere Generation“ und leistungsfähiger als der Compiler von OctoML sei.
In naher Zukunft plant CentML, sein Augenmerk nicht nur auf die Optimierung des Modelltrainings, sondern auch auf die Inferenz zu richten – also die Ausführung von Modellen, nachdem sie trainiert wurden. GPUs werden heute auch stark in der Inferenz eingesetzt, und Pekhimenko sieht darin eine potenzielle Wachstumsmöglichkeit für das Unternehmen.
„Auf der CentML-Plattform kann jedes Modell ausgeführt werden“, sagte Pekhimenko. „CentML erzeugt optimierten Code für eine Vielzahl von GPUs und reduziert den für die Bereitstellung von Modellen benötigten Speicher und ermöglicht so Teams die Bereitstellung auf kleineren und günstigeren GPUs.“