Unternehmen sind zunehmend neugierig auf KI und die Möglichkeiten, wie sie zur (potenziellen) Produktivitätssteigerung eingesetzt werden kann. Aber sie sind sich auch der Risiken bewusst. An einem aktuellen Arbeitstag UmfrageAls größte Hindernisse für die KI-Implementierung nennen Unternehmen die Aktualität und Zuverlässigkeit der zugrunde liegenden Daten, potenzielle Verzerrungen sowie Sicherheit und Datenschutz.
Scott Clark, der zuvor die KI-Trainings- und Experimentierplattform SigOpt (die 2020 von Intel übernommen wurde) mitbegründete, erkannte eine Geschäftsmöglichkeit und machte sich daran, etwas zu entwickeln, das er als „Software bezeichnet, die KI sicher, zuverlässig und geschützt macht“. Clark gründete ein Unternehmen, Verteilungum die erste Version dieser Software auf den Markt zu bringen, mit dem Ziel, Tests für verschiedene KI-Anwendungsfälle zu skalieren und zu standardisieren.
„Distributional baut die moderne Unternehmensplattform für KI-Tests und -Bewertungen auf“, sagte Clark gegenüber TechCrunch in einem E-Mail-Interview. „Mit zunehmender Leistungsfähigkeit von KI-Anwendungen steigt auch das Schadensrisiko. Unsere Plattform ist für KI-Produktteams konzipiert, um KI-Risiken proaktiv und kontinuierlich zu identifizieren, zu verstehen und anzugehen, bevor sie ihren Kunden in der Produktion schaden.“
Clark wurde dazu inspiriert, Distributional zu starten, nachdem er nach der SigOpt-Übernahme bei Intel auf technologiebezogene KI-Herausforderungen stieß. Während er als VP und GM für KI und Hochleistungsrechnen bei Intel ein Team leitete, war es für ihn nahezu unmöglich sicherzustellen, dass qualitativ hochwertige KI-Tests regelmäßig durchgeführt wurden.
„Die Lehren, die ich aus der Konvergenz meiner Erfahrungen gezogen habe, zeigten die Notwendigkeit von KI-Tests und -Bewertungen“, fuhr Clark fort. „Ob durch Halluzinationen, Instabilität, Ungenauigkeit, Integration oder Dutzende anderer potenzieller Herausforderungen – Teams haben oft Schwierigkeiten, KI-Risiken durch Tests zu identifizieren, zu verstehen und anzugehen. Richtige KI-Tests erfordern ein tiefes und verteilungsbezogenes Verständnis, was ein schwer zu lösendes Problem ist.“
Das Kernprodukt von Distributional zielt darauf ab, KI-„Schäden“ aus großen Sprachmodellen (à la OpenAIs ChatGPT) und anderen Arten von KI-Modellen zu erkennen und zu diagnostizieren, wobei versucht wird, halbautomatisch herauszufinden, was, wie und wo Modelle getestet werden sollen. Laut Clark bietet die Software Unternehmen einen „vollständigen“ Überblick über das KI-Risiko in einer Vorproduktionsumgebung, die einer Sandbox ähnelt.
„Die meisten Teams entscheiden sich dafür, das Risiko des Modellverhaltens zu übernehmen und akzeptieren, dass Modelle Probleme haben werden.“ sagte Clark. „Einige versuchen möglicherweise, diese Probleme durch manuelle Ad-hoc-Tests zu finden, was ressourcenintensiv, unorganisiert und von Natur aus unvollständig ist. Andere versuchen möglicherweise, diese Probleme mit passiven Überwachungstools passiv zu erkennen, nachdem die KI in Produktion ist … [That’s why] Unsere Plattform umfasst ein erweiterbares Test-Framework zum kontinuierlichen Testen und Analysieren von Stabilität und Robustheit, ein konfigurierbares Test-Dashboard zum Visualisieren und Verstehen von Testergebnissen sowie eine intelligente Testsuite zum Entwerfen, Priorisieren und Generieren der richtigen Testkombination.“
Nun äußerte sich Clark vage zu den Einzelheiten, wie das alles funktioniert – und auch zu den Grundzügen der Plattform von Distributional. Es sei noch sehr früh, sagte er zu seiner Verteidigung; Distributional ist noch dabei, das Produkt gemeinsam mit Unternehmenspartnern zu entwickeln.
Wenn man also bedenkt, dass sich Distributional noch vor dem Umsatz, vor der Markteinführung und ohne nennenswerte zahlende Kunden befindet, wie kann es dann hoffen, mit den bereits auf dem Markt befindlichen KI-Test- und Evaluierungsplattformen konkurrieren zu können? Es gibt schließlich viele, darunter Kolena, Prolific, Giskard und Patronus – viele davon sind gut finanziert. Und als ob die Konkurrenz nicht schon groß genug wäre, bieten Technologiegiganten wie Google Cloud, AWS und Azure auch Tools zur Modellbewertung an.
Clark sagt, dass er davon überzeugt ist, dass sich Distributional durch die unternehmerische Ausrichtung seiner Software auszeichnet. „Vom ersten Tag an entwickeln wir Software, die den Datenschutz-, Skalierbarkeits- und Komplexitätsanforderungen großer Unternehmen sowohl in unregulierten als auch in stark regulierten Branchen gerecht wird“, sagte er. „Die Arten von Unternehmen, mit denen wir unser Produkt entwickeln, haben Anforderungen, die über die auf dem Markt verfügbaren Angebote hinausgehen, bei denen es sich in der Regel um auf einzelne Entwickler ausgerichtete Tools handelt.“
Wenn alles nach Plan läuft, wird Distributional irgendwann im nächsten Jahr Einnahmen generieren, sobald seine Plattform allgemein verfügbar ist und einige seiner Designpartner zu zahlenden Kunden werden. In der Zwischenzeit beschafft das Startup Kapital von VCs; Distributional gab heute bekannt, dass es eine 11-Millionen-Dollar-Seed-Runde unter der Leitung von Martin Casado von Andreessen Horowitz unter Beteiligung von Operator Stack, Point72 Ventures, SV Angel, Two Sigma und Angel-Investoren abgeschlossen hat.
„Wir hoffen, für unsere Kunden einen positiven Kreislauf einzuleiten“, sagte Clark. „Durch bessere Tests werden Teams mehr Vertrauen in den Einsatz von KI in ihren Anwendungen haben. Wenn sie mehr KI einsetzen, werden sie erleben, wie ihre Wirkung exponentiell zunimmt. Und wenn sie dieses Ausmaß der Auswirkungen sehen, werden sie es auf komplexere und bedeutsamere Probleme anwenden, die wiederum noch mehr Tests erfordern, um sicherzustellen, dass es sicher und zuverlässig ist.“