Der Erfolg großer Sprachmodelle wie GPT hat bei Entwicklern, die gerne KI-gestützte Anwendungen erstellen möchten, zu einem Aufruhr geführt. Der Aufbau von KI-Diensten kann jedoch schwierig sein, insbesondere aufgrund des Mangels an qualifizierten Entwicklern, um der steigenden Nachfrage gerecht zu werden.
Das ist wo Chaoyu Yangein früher Softwareentwickler beim Daten-Mega-Einhorn Databricks, kommt ins Spiel. Zusammen mit seinen Mitbegründern hat er das KI-Entwicklungsframework entwickelt BentoMLdas gerade eine Seed-Finanzierungsrunde angekündigt hat.
Yang erklärte in einem Interview mit TechCrunch, dass die heutigen KI-Dienste oft auf mehreren Modellen des maschinellen Lernens basieren, was ihre Verwaltung und ihren Betrieb kompliziert macht. Viele Programmierer, die in den Kampf einsteigen, haben einen Full-Stack- oder Anwendungsentwicklungshintergrund, was bedeutet, dass ihnen oft die Fähigkeiten zum Aufbau der erforderlichen KI-Infrastruktur fehlen, was zu einem längeren Entwicklungsprozess führt.
Eine Demo-KI-App wie Visual ChatGPT von Microsoft, ein Upgrade des Chatbots, das es ihm beispielsweise ermöglicht, Antworten sowohl auf Text- als auch auf Bildaufforderungen zu erzeugen, kann mindestens drei bis sechs Monate dauern, bis sie produktionsbereit ist, sagte Yang.
Während Tech-Giganten wie Microsoft über die finanzielle Leistungsfähigkeit und das Humankapital verfügen, um KI-Modelle zu trainieren und sie in der realen Welt einzusetzen, sammeln kleinere Unternehmen, in Yangs Worten, „wertvolle Daten, die enorm von KI profitieren können“, ihnen aber „die Ressourcen fehlen.“ die Infrastruktur für die Entwicklung aufzubauen.“
BentoML, das eine High-Level-API bereitstellt, die die Details der Infrastruktur abstrahiert, die für die Ausführung von KI-Modellen in der Cloud erforderlich ist, gehört zu einer Gruppe von Tools wie SageMaker, die den Weg für die Entwicklung von KI-Diensten ebnen wollen. Es handelt sich um ein sogenanntes KI-Anwendungs-Framework, eine Reihe von Werkzeugen, die das Erstellen, Versenden und Skalieren von KI-Anwendungen erleichtern, wie ein Bauwerkzeugsatz, den man zum Bau eines Hauses verwendet.
BentoML richtet sich insbesondere an Datenwissenschaftler, die KI-Modelle trainieren, an DevOp-Ingenieure, die ihren Lebenszyklus verwalten, und an Entwickler, die tatsächlich Anwendungen auf Basis der Modelle erstellen.
Mit BentoML können Entwickler Visual ChatGPT in nur zwei Tagen skalierbar und kosteneffizient für den Produktionseinsatz machen, sagte Yang. Benutzer haben das Framework auch verwendet, um den Kunstgenerator Stable Diffusion und Open-Source-LLMs auszuführen auf der Wolke.
Yang verglich sein Unternehmen mit Vercel, das sich auf die Betreuung von Frontend-Entwicklern konzentriert und zuletzt einen Wert von über 1 Milliarde US-Dollar hatte. BentoML wolle das Vercel für KI sein, sagte er.
Während Yang vorhersagte, dass KI irgendwann produktionsreifer werden würde, gab er zu, dass er nicht glaubte, dass die Welle der KI-Anwendungen so bald kommen würde. Der Gründer geht davon aus, dass KI-App-Entwickler künftig über 90 % der Nutzer der Plattform ausmachen werden.
„Wenn Sie mich vor einem Jahr fragen würden, würde ich sagen, dass wahrscheinlich 90 % der Unternehmen ihre eigenen Modelle trainieren würden, aber die kürzlich aufgetauchten Basismodelle sind so leistungsfähig, dass sie selbst bei einem Datensatz, den sie noch nie zuvor hatten, eine gute Leistung erbringen können schon einmal gesehen“, sagte er.
„Anstatt sich auf das Modelltraining zu konzentrieren, müssen sich Entwickler jetzt nur noch mit der Feinabstimmung und Produktentwicklung befassen, die aufgrund des Mangels an KI-fokussierten Entwicklern an sich schon einen Engpass darstellen.“
BentoML wurde 2019 als Open Source bereitgestellt und führte später eine selbst gehostete SaaS-Version für Unternehmenskunden ein. Das Unternehmen hat über seine Open-Source-Community, die ihre Mitgliederzahl im vergangenen Jahr auf mehr als 3.000 vervierfachte, organische Nutzer gewonnen. Zu den ersten Anwendern zählen die südkoreanischen Social-Networking-Giganten Line und Naver.
Yang lehnte es ab, die Umsatzgröße des Unternehmens offenzulegen.
Investoren nehmen die Anziehungskraft von BentoML in der Entwicklergemeinschaft zur Kenntnis. Das Startup hat kürzlich 9 Millionen US-Dollar aus seiner von DCM Ventures geleiteten Seed-Finanzierungsrunde eingesammelt, an der sich auch Bow Capital beteiligte. Der General Partner von DCM, Hurst Lin, ist nach der Runde dem Vorstand von BentoML beigetreten.
Der florierende KI-Markt sei ein Segen für BentoML gewesen, aber die sich schnell verändernde Branche mache es für das Team auch schwierig, kurz- und langfristige Ziele unter einen Hut zu bringen, gab Yang zu.
„Vielleicht muss man Dinge bauen, die dem aktuellen Trend folgen, aber auf lange Sicht wollen wir natürlich unseren eigenen Burggraben haben. Die Frage ist, wie wir unsere Zeit- und Personalressourcen zwischen beiden ausbalancieren.“