Ein französisches Startup hat eine beträchtliche Startinvestition getätigt, um die Recheninfrastruktur für Entwickler neu zu gestalten, die KI-Anwendungen effizienter erstellen und trainieren möchten.
FlexAIwie das Unternehmen genannt wird, operiert seit Oktober 2023 im Verborgenen, aber das in Paris ansässige Unternehmen startet am Mittwoch offiziell mit einer Finanzierung von 28,5 Millionen Euro (30 Millionen US-Dollar) und kündigt gleichzeitig sein erstes Produkt an: einen On-Demand-Cloud-Dienst für KI-Training.
Dies ist eine große Veränderung für eine Seed-Runde, die normalerweise einen umfangreichen Stammbaum des Gründers bedeutet – und das ist hier der Fall. Mitbegründer und CEO von FlexAI Brijesh Tripathi war zuvor leitender Design-Ingenieur beim GPU-Riesen und heutigen KI-Liebling Nvidia, bevor er verschiedene leitende Ingenieur- und Architekturfunktionen bei Apple übernahm; Tesla (arbeitet direkt unter Elon Musk); Zoox (bevor Amazon das Startup für autonomes Fahren übernahm); und zuletzt war Tripathi Vizepräsident von Intels AI- und Supercompute-Plattform-Ableger AXG.
Mitbegründer und CTO von FlexAI Dali Kilani Auch er verfügt über einen beeindruckenden Lebenslauf und war in verschiedenen technischen Funktionen bei Unternehmen wie Nvidia und Zynga tätig, während er zuletzt die Rolle des CTO beim französischen Startup Lifen innehatte, das digitale Infrastrukturen für die Gesundheitsbranche entwickelt.
Die Seed-Runde wurde von Alpha Intelligence Capital (AIC), Elaia Partners und Heartcore Capital geleitet, unter Beteiligung von Frst Capital, Motier Ventures, Partech und InstaDeep-CEO Karim Beguir.
FlexAI-Team in Paris. Bildnachweise: FlexAI
Das Computer-Rätsel
Um zu verstehen, was Tripathi und Kilani mit FlexAI versuchen, lohnt es sich zunächst zu verstehen, was Entwicklern und KI-Praktikern beim Zugriff auf „Rechner“ bevorsteht; Dies bezieht sich auf die Rechenleistung, Infrastruktur und Ressourcen, die zur Ausführung von Rechenaufgaben wie der Verarbeitung von Daten, der Ausführung von Algorithmen und der Ausführung von Modellen für maschinelles Lernen erforderlich sind.
„Die Nutzung jeglicher Infrastruktur im KI-Bereich ist komplex; Es ist nichts für schwache Nerven und nichts für Unerfahrene“, sagte Tripathi gegenüber TechCrunch. „Man muss zu viel darüber wissen, wie man eine Infrastruktur aufbaut, bevor man sie nutzen kann.“
Im Gegensatz dazu ist das öffentliche Cloud-Ökosystem, das sich in den letzten Jahrzehnten entwickelt hat, ein gutes Beispiel dafür, wie eine Branche aus dem Bedürfnis der Entwickler hervorgegangen ist, Anwendungen zu erstellen, ohne sich zu viele Gedanken über das Back-End zu machen.
„Wenn Sie ein kleiner Entwickler sind und eine Anwendung schreiben möchten, müssen Sie nicht wissen, wo sie ausgeführt wird oder was das Backend ist – Sie müssen nur einen EC2 starten [Amazon Elastic Compute cloud] Beispiel und du bist fertig“, sagte Tripathi. „Das ist heute mit KI-Berechnungen nicht möglich.“
Im KI-Bereich müssen Entwickler herausfinden, wie viele GPUs (Grafikverarbeitungseinheiten) sie über welche Art von Netzwerk miteinander verbinden müssen, verwaltet durch ein Software-Ökosystem, für dessen Einrichtung sie vollständig verantwortlich sind. Wenn eine GPU oder ein Netzwerk ausfällt oder etwas in dieser Kette schief geht, liegt die Verantwortung beim Entwickler, das Problem zu beheben.
„Wir wollen die KI-Recheninfrastruktur auf das gleiche Maß an Einfachheit bringen, das die Allzweck-Cloud erreicht hat – nach 20 Jahren, ja, aber es gibt keinen Grund, warum KI-Rechner nicht die gleichen Vorteile sehen können“, sagte Tripathi. „Wir wollen einen Punkt erreichen, an dem Sie für die Ausführung von KI-Workloads keine Rechenzentrumsexperten mehr benötigen.“
Da die aktuelle Version seines Produkts bei einer Handvoll Beta-Kunden auf Herz und Nieren getestet wird, wird FlexAI noch in diesem Jahr sein erstes kommerzielles Produkt auf den Markt bringen. Es handelt sich im Grunde um einen Cloud-Dienst, der Entwickler mit „virtueller heterogener Datenverarbeitung“ verbindet, was bedeutet, dass sie ihre Arbeitslasten ausführen und KI-Modelle über mehrere Architekturen hinweg bereitstellen können, wobei sie auf Nutzungsbasis zahlen, anstatt GPUs auf Dollar-pro-Stunden-Basis zu mieten.
GPUs sind wichtige Rädchen in der KI-Entwicklung und dienen beispielsweise zum Trainieren und Ausführen großer Sprachmodelle (LLMs). Nvidia ist einer der herausragenden Player im GPU-Bereich und einer der Hauptnutznießer der durch OpenAI und ChatGPT ausgelösten KI-Revolution. In den 12 Monaten, seit OpenAI im März 2023 eine API für ChatGPT eingeführt hat, die es Entwicklern ermöglicht, die ChatGPT-Funktionalität in ihre eigenen Apps zu integrieren, stiegen die Aktien von Nvidia von rund 500 Milliarden US-Dollar auf mehr als 2 Billionen US-Dollar.
Mittlerweile strömen LLMs aus der Technologiebranche, und gleichzeitig steigt die Nachfrage nach GPUs sprunghaft an. Der Betrieb von GPUs ist jedoch teuer, und es ist nicht immer sinnvoll, sie für kleinere Aufgaben oder Ad-hoc-Anwendungsfälle zu mieten, und kann unerschwinglich teuer sein. Aus diesem Grund hat sich AWS mit zeitlich begrenzten Mietverträgen für kleinere KI-Projekte beschäftigt. Aber Mieten ist immer noch Mieten, weshalb FlexAI die zugrunde liegende Komplexität abstrahieren und Kunden den Zugriff auf KI-Rechenleistungen nach Bedarf ermöglichen möchte.
„Multicloud für KI“
Der Ausgangspunkt von FlexAI ist, dass die meisten Entwickler dies nicht tun Wirklich Sie kümmern sich größtenteils darum, welche GPUs oder Chips sie verwenden, egal ob Nvidia, AMD, Intel, Graphcore oder Cerebras. Ihr Hauptanliegen besteht darin, ihre KI zu entwickeln und Anwendungen innerhalb ihrer Budgetbeschränkungen zu erstellen.
Hier kommt FlexAIs Konzept der „universellen KI-Berechnung“ ins Spiel, bei dem FlexAI die Anforderungen des Benutzers aufnimmt und sie der Architektur zuordnet, die für die jeweilige Aufgabe sinnvoll ist, und sich dabei um alle notwendigen Konvertierungen auf den verschiedenen Plattformen kümmert Intels Gaudi-Infrastruktur, AMDs ROCm oder Nvidias CUDA.
„Das bedeutet, dass sich der Entwickler nur auf das Erstellen, Trainieren und Verwenden von Modellen konzentriert“, sagte Tripathi. „Wir kümmern uns um alles, was darunter liegt. Ausfälle, Wiederherstellung und Zuverlässigkeit werden von uns verwaltet, und Sie zahlen für das, was Sie nutzen.“
In vielerlei Hinsicht zielt FlexAI darauf ab, KI zu beschleunigen, was bereits in der Cloud passiert. Das bedeutet mehr als nur die Replikation des Pay-per-Use-Modells: Es bedeutet die Möglichkeit, „Multi-Cloud“ zu nutzen, indem man sich auf das Andere stützt Vorteile verschiedener GPU- und Chip-Infrastrukturen.
FlexAI kanalisiert die spezifische Arbeitslast eines Kunden entsprechend seinen Prioritäten. Wenn ein Unternehmen nur über ein begrenztes Budget für die Schulung und Feinabstimmung seiner KI-Modelle verfügt, kann es dies innerhalb der FlexAI-Plattform festlegen, um für sein Geld den größtmöglichen Rechenaufwand zu erzielen. Das könnte bedeuten, dass man sich für günstigere (aber langsamere) Rechenleistung an Intel wendet, aber wenn ein Entwickler eine kleine Auflage hat, die die schnellstmögliche Ausgabe erfordert, kann diese stattdessen über Nvidia geleitet werden.
Unter der Haube ist FlexAI im Grunde ein „Aggregator der Nachfrage“, der die Hardware selbst auf herkömmliche Weise mietet und sich mithilfe seiner „starken Verbindungen“ zu den Leuten bei Intel und AMD Vorzugspreise sichert, die es auf seinen eigenen Kundenstamm verteilt. Das bedeutet nicht unbedingt, dass man dem Spitzenreiter Nvidia ausweichen muss, aber es bedeutet möglicherweise, dass man das weitgehend tun muss – mit Intel und AMD kämpfen um GPU-Abfälle hinter Nvidia zurückgeblieben – es gibt einen großen Anreiz für sie, mit Aggregatoren wie FlexAI mitzuspielen.
„Wenn ich dafür sorgen kann, dass es für die Kunden funktioniert und Dutzende bis Hunderte von Kunden in ihre Infrastruktur einbindet, dann werden sie es tun [Intel and AMD] „Ich werde sehr glücklich sein“, sagte Tripathi.
Dies steht im Gegensatz zu ähnlichen GPU-Cloud-Anbietern in diesem Bereich wie dem gut finanzierten CoreWeave und Lambda Labsdie sich ganz auf Nvidia-Hardware konzentrieren.
„Ich möchte die KI-Berechnung an den Punkt bringen, an dem sich das aktuelle Allzweck-Cloud-Computing befindet“, bemerkte Tripathi. „Mit KI ist Multicloud nicht möglich. Sie müssen bestimmte Hardware, Anzahl der GPUs, Infrastruktur und Konnektivität auswählen und diese dann selbst warten. Heute ist das die einzige Möglichkeit, tatsächlich KI-Rechnungen zu erhalten.“
Auf die Frage, wer die genauen Startpartner seien, sagte Tripathi, er könne nicht alle nennen, da einige von ihnen keine „formellen Zusagen“ hätten.
„Intel ist ein starker Partner, sie stellen definitiv Infrastruktur bereit, und AMD ist ein Partner, der Infrastruktur bereitstellt“, sagte er. „Aber es gibt eine zweite Ebene von Partnerschaften mit Nvidia und einigen anderen Siliziumunternehmen, die wir noch nicht teilen möchten, aber sie sind alle in der Mischung und den Absichtserklärungen enthalten [memorandums of understanding] werden gerade unterzeichnet.“
Der Elon-Effekt
Tripathi ist für die bevorstehenden Herausforderungen bestens gerüstet, da er in einigen der größten Technologieunternehmen der Welt gearbeitet hat.
„Ich weiß genug über GPUs; Ich habe früher GPUs gebaut“, sagte Tripathi über seine siebenjährige Tätigkeit bei Nvidia, die 2007 endete, als er zu Apple wechselte, als das erste iPhone auf den Markt kam. „Bei Apple habe ich mich darauf konzentriert, echte Kundenprobleme zu lösen. Ich war dabei, als Apple mit der Entwicklung seiner ersten SoCs begann [system on chips] für Telefone.“
Tripathi verbrachte außerdem zwei Jahre von 2016 bis 2018 als Leiter der Hardware-Entwicklung bei Tesla, wo er in den letzten sechs Monaten direkt unter Elon Musk arbeitete, nachdem zwei Personen über ihm das Unternehmen abrupt verlassen hatten.
„Bei Tesla habe ich gelernt und in mein Startup übernommen, dass es außer Wissenschaft und Physik keine Einschränkungen gibt“, sagte er. „Die Art und Weise, wie die Dinge heute erledigt werden, ist nicht so, wie sie sein sollten oder getan werden müssen. Sie sollten von Grund auf danach streben, was das Richtige ist, und um dies zu erreichen, jede Black Box entfernen.“
Tripathi war an Teslas Übergang zur Herstellung eigener Chips beteiligt, ein Schritt, der seitdem neben anderen Autoherstellern auch von GM und Hyundai nachgeahmt wurde.
„Eines der ersten Dinge, die ich bei Tesla gemacht habe, war herauszufinden, wie viele Mikrocontroller es in einem Auto gibt, und dazu mussten wir buchstäblich einen Haufen dieser großen Blackboxen mit Metallabschirmung und -gehäuse darum herum durchsuchen Finden Sie dort diese wirklich winzigen kleinen Mikrocontroller“, sagte Tripathi. „Und am Ende haben wir das auf einen Tisch gelegt, ausgelegt und gesagt: ‚Elon, in einem Auto sind 50 Mikrocontroller.‘ Und wir zahlen manchmal das Tausendfache der Gewinnspanne dafür, weil sie in einem großen Metallgehäuse abgeschirmt und geschützt sind.“ Und er sagt: „Lass uns unsere eigenen machen.“ Und das haben wir getan.“
GPUs als Sicherheit
Mit Blick auf die Zukunft strebt FlexAI auch den Aufbau einer eigenen Infrastruktur, einschließlich Rechenzentren, an. Dies werde, so Tripathi, durch Fremdfinanzierung finanziert und knüpfe damit an einen aktuellen Trend an, bei dem es auch Konkurrenten in diesem Bereich gegeben habe CoreWeave Und Lambda LabsNvidia-Chips als Sicherheit zur Absicherung von Krediten nutzen – anstatt noch mehr Eigenkapital zu verschenken.
„Banker wissen jetzt, wie man GPUs als Sicherheit nutzt“, sagte Tripathi. „Warum Eigenkapital verschenken? Bis wir ein echter Computeranbieter werden, reicht der Wert unseres Unternehmens nicht aus, um uns die Hunderte Millionen Dollar zu beschaffen, die wir für die Investition in den Bau von Rechenzentren benötigen. Wenn wir nur Eigenkapital hätten, verschwinden wir, wenn das Geld weg ist. Aber wenn wir es tatsächlich auf GPUs als Sicherheit setzen, können sie die GPUs wegnehmen und in einem anderen Rechenzentrum unterbringen.“