Als der Open-Source-Streamingdienst Apache Kafka 2011 bei LinkedIn entstand, war das noch eine andere Welt. Die meisten Unternehmen waren immer noch vor Ort. Der Begriff Cloud Computing war gerade erst im Entstehen begriffen. WarpStreamein junges Startup, erkennt den Wert von Streaming in einem Cloud-nativen Kontext und hat von Grund auf eine neue Lösung entwickelt, die auf dem Apache Kafka-Protokoll basiert, aber für das Cloud-Zeitalter konzipiert ist.
Heute gab das Unternehmen eine Investition in Höhe von 20 Millionen US-Dollar bekannt.
Richard Artoul, CEO von WarpStream, sagt, dass er und sein Mitbegründer, CTO Ryan Worl, in ihren früheren Jobs festgestellt hätten, dass die Übertragung von Daten in Kafka komplex und teuer sei, und dass sie das ändern wollten. „Wenn Sie heute etwas bauen würden, das wie Apache Kafka aussieht, wie wir es mit WarpStream getan haben, würden Sie einen ganz anderen Ansatz verfolgen als 2011, als Kafka zum ersten Mal entworfen wurde, und deshalb denken wir, dass jetzt ein wirklich guter Zeitpunkt für uns ist.“ etwas Neues zu bauen, das die Kosten und den Betriebsaufwand für die Menschen tatsächlich erheblich senken kann“, sagte Artoul gegenüber TechCrunch.
Dies erreichen sie, indem sie die Vorteile der heutigen Cloud-Umgebung nutzen, um Rechenleistung und Speicher mithilfe eines Objektspeicherdienstes wie Amazon S3 zu trennen. Durch diesen Ansatz konnten die Kosten für die zonenübergreifende Vernetzung eingespart werden, die nach Angaben des Unternehmens oft 80 % oder mehr der Gesamtkosten für die Ausführung großer Kafka-Workloads ausmachen.
„Wenn Sie interagieren und Daten im Cloud-Objektspeicher speichern, können Sie all diese Netzwerkgebühren umgehen, die diese Big-Data-Systeme belasten, wenn sie in die Cloud verlagert werden“, sagte er. „Und viele der wirklich schwierigen Probleme rund um die Datenhaltbarkeit und -replikation, die Kafka alleine lösen musste, indem er die Daten dreimal kopierte, replizierte und sicherstellte, dass die Daten niemals verloren gingen, können wir diese Probleme auf die auslagern Die eigentliche Objektspeicherschicht macht den Betrieb des Systems viel einfacher und kostengünstiger.“
Artoul und Worl arbeiteten bei Datadog zusammen, als sie an der Entwicklung eines Speichersystems namens Husky beteiligt waren. Wenn heute ein Datadog-Kunde seine Anwendungsprotokolle durchsucht, verwendet er tatsächlich Husky. Datadog war auch ein großer Kafka-Benutzer. „Aufgrund unserer Erfahrung beim Aufbau eines solchen Speichersystems auf der Grundlage des Objektspeichers, den wir bei Datadog entwickelt hatten, waren wir der Meinung, dass Streaming-Systeme genauso funktionieren sollten. Und so haben wir letztes Jahr Datadog verlassen, um mit der Arbeit daran zu beginnen“, sagte er.
Sie verfolgen zwei Ansätze: einen, bei dem Kunden im Wesentlichen ihre eigene Cloud mitbringen und WarpStream installieren können, und einen, bei dem sie eine vollständig verwaltete serverlose Option anbieten. Die BYOC-Version ist ab heute verfügbar. Das Unternehmen hat außerdem direkt auf der Preisseite einen Rechner eingefügt, um herauszufinden, wie viel der Betrieb von WarpStream kosten wird.
Die Gründer brachten einige der Leute, die Husky mit aufgebaut hatten, mit, um das neue System aufzubauen, und heute haben sie neun Mitarbeiter. Die gute Nachricht ist, dass sie neue Mitarbeiter einstellen und hoffen, die Mitarbeiterzahl bis Ende des Jahres zu verdoppeln.
Die 20-Millionen-Dollar-Investition wurde von Greylock und Amplify Partners angeführt, wobei sich auch einige Koryphäen der Datenbranche mit Angel-Investitionen beteiligten.