Das KI-Startup Hugging Face bietet eine breite Palette an Data-Science-Hosting- und Entwicklungstools, darunter ein GitHub-ähnliches Portal für KI-Code-Repositorys, Modelle und Datensätze sowie Web-Dashboards zur Demonstration KI-gestützter Anwendungen.
Aber einige der beeindruckendsten – und leistungsfähigsten – Tools von Hugging Face stammen heutzutage von einem Zwei-Personen-Team, das erst im Januar gegründet wurde.
H4, wie es genannt wird – „H4“ steht für „hilfreich, ehrlich, harmlos und umarmt“ – zielt darauf ab, Tools und „Rezepte“ zu entwickeln, die es der KI-Community ermöglichen, KI-gestützte Chatbots nach dem Vorbild von ChatGPT zu erstellen. Laut Lewis Tunstall, einem Ingenieur für maschinelles Lernen bei Hugging Face und einem der beiden Mitglieder von H4, war die Veröffentlichung von ChatGPT tatsächlich der Auslöser für die Gründung von H4.
„Als ChatGPT Ende 2022 von OpenAI veröffentlicht wurde, begannen wir mit dem Brainstorming darüber, was nötig sein könnte, um seine Fähigkeiten mit Open-Source-Bibliotheken und -Modellen zu replizieren“, sagte Tunstall gegenüber TechCrunch in einem E-Mail-Interview. „Der Hauptforschungsschwerpunkt von H4 liegt auf der Ausrichtung, bei der es im Großen und Ganzen darum geht, LLMs beizubringen, sich entsprechend dem Feedback von Menschen (oder sogar anderen KIs) zu verhalten.“
H4 steht hinter einer wachsenden Zahl großer Open-Source-Sprachmodelle, darunter Zephyr-7B-α, eine fein abgestimmte, chatzentrierte Version des gleichnamigen Mistral-7B-Modells, das kürzlich vom französischen KI-Startup Mistral veröffentlicht wurde. H4 hat auch Falcon-40B gespalten, ein Modell des Technology Innovation Institute in Abu Dhabi – und das Modell so modifiziert, dass es hilfreicher auf Anfragen in natürlicher Sprache reagiert.
Um seine Modelle zu trainieren, verlässt sich H4 – wie auch andere Forschungsteams bei Hugging Face – auf einen dedizierten Cluster von mehr als 1.000 Nvidia A100-GPUs. Tunstall und sein anderer H4-Kollege, Ed Beeching, sind in Europa ansässig, erhalten aber Unterstützung von mehreren internen Hugging Face-Teams, darunter dem Modelltest- und Evaluierungsteam.
„Die geringe Größe von H4 ist eine bewusste Entscheidung, da wir dadurch flexibler sein und uns an eine sich ständig verändernde Forschungslandschaft anpassen können“, sagte Beeching per E-Mail gegenüber TechCrunch. „Wir haben auch mehrere externe Kooperationen mit Gruppen wie z LMSYS und LlamaIndex, mit dem wir bei gemeinsamen Veröffentlichungen zusammenarbeiten.“
In letzter Zeit hat H4 verschiedene Ausrichtungstechniken untersucht und Tools entwickelt, um zu testen, wie gut die von der Community und der Industrie vorgeschlagenen Techniken wirklich funktionieren. Das Team hat diesen Monat ein Handbuch veröffentlicht, das den gesamten Quellcode und die Datensätze enthält, die es zum Erstellen von Zephyr verwendet hat, und H4 plant, das Handbuch mit Code aus seinen zukünftigen KI-Modellen zu aktualisieren, sobald diese veröffentlicht werden.
Ich fragte, ob H4 von den Vorgesetzten von Hugging Face unter Druck gesetzt worden sei, ihre Arbeit zu kommerzialisieren. Schließlich hat das Unternehmen Hunderte Millionen Dollar von einer etablierten Investorenkohorte eingesammelt, zu der Salesforce, IBM, AMD, Google, Amazon Intel und Nvidia gehören. Die letzte Finanzierungsrunde von Hugging Face belief sich auf 4,5 Milliarden US-Dollar – angeblich mehr als das Hundertfache des Jahresumsatzes des Unternehmens.
Tunstall sagte, dass H4 seine Tools nicht direkt monetarisiert. Aber er räumte ein, dass die Werkzeuge Tun Nehmen Sie am Expert Acceleration Program von Hugging Face teil, dem unternehmensorientierten Angebot von Hugging Face, das Unterstützung durch Hugging Face-Teams bei der Entwicklung maßgeschneiderter KI-Lösungen bietet.
Auf die Frage, ob er H4 im Wettbewerb mit anderen Open-Source-KI-Initiativen wie EleutherAI und LAION sehe, sagte Beeching, dass dies nicht das Ziel von H4 sei. Die Absicht sei vielmehr, sagte er, die offene KI-Community durch die Veröffentlichung des Trainingscodes und der mit den Chat-Modellen von H4 verbundenen Datensätze zu „stärken“.
„Ohne die vielen Beiträge der Community wäre unsere Arbeit nicht möglich“, sagte Beeching.