In der Vergangenheit sechs Monaten haben wir einige unglaubliche Entwicklungen in der KI miterlebt. Die Veröffentlichung von Stable Diffusion hat die Kunstwelt für immer verändert, und ChatGPT-3 erschütterte das Internet mit seiner Fähigkeit, Songs zu schreiben, Forschungsarbeiten nachzuahmen und gründliche und scheinbar intelligente Antworten auf häufig gegoogelte Fragen zu geben.
Diese Fortschritte in der generativen KI sind ein weiterer Beweis dafür, dass wir am Abgrund einer KI-Revolution stehen.
Die meisten dieser generativen KI-Modelle sind jedoch grundlegende Modelle: unüberwachte Lernsysteme mit hoher Kapazität, die mit riesigen Datenmengen trainieren und dafür Millionen von Dollar an Rechenleistung benötigen. Derzeit sind nur gut finanzierte Institutionen mit Zugang zu einer enormen Menge an GPU-Leistung in der Lage, diese Modelle zu bauen.
Die Mehrheit der Unternehmen, die die KI auf Anwendungsebene entwickeln, die die weit verbreitete Einführung der Technologie vorantreibt, verlässt sich immer noch auf überwachtes Lernen und verwendet große Schwaden gekennzeichneter Trainingsdaten. Trotz der beeindruckenden Leistungen von Basismodellen befinden wir uns immer noch in den frühen Tagen der KI-Revolution, und zahlreiche Engpässe halten die Verbreitung von KI auf Anwendungsebene auf.
Nach dem bekannten Problem der Datenkennzeichnung existieren zusätzliche Datenengpässe, die die Entwicklung von KI in späteren Phasen und deren Einsatz in Produktionsumgebungen behindern werden.
Diese Probleme sind der Grund, warum Technologien wie selbstfahrende Autos trotz früher Versprechungen und Investitionsfluten seit 2014 nur noch ein Jahr entfernt sind.
Diese aufregenden Proof-of-Concept-Modelle funktionieren gut bei Benchmark-Datensätzen in Forschungsumgebungen, aber sie haben Schwierigkeiten, genaue Vorhersagen zu treffen, wenn sie in der realen Welt veröffentlicht werden. Ein großes Problem besteht darin, dass die Technologie Schwierigkeiten hat, die in High-Stakes-Produktionsumgebungen erforderliche höhere Leistungsschwelle zu erreichen, und wichtige Benchmarks für Robustheit, Zuverlässigkeit und Wartbarkeit nicht erreicht.
Zum Beispiel können diese Modelle oft nicht mit Ausreißern und Grenzfällen umgehen, sodass selbstfahrende Autos Reflexionen von Fahrrädern für Fahrräder selbst halten. Sie sind weder zuverlässig noch robust, sodass ein Roboter-Barista zwei von fünf Mal einen perfekten Cappuccino macht, aber die anderen drei Male die Tasse verschüttet.
Infolgedessen war die KI-Produktionslücke, die Lücke zwischen „das ist ordentlich“ und „das ist nützlich“, viel größer und beeindruckender, als ML-Ingenieure zunächst erwartet hatten.
Entgegen der Intuition haben die besten Systeme auch die meisten menschlichen Interaktionen.
Glücklicherweise hat die Implementierung aktiver Lernstrategien zugenommen, da immer mehr ML-Ingenieure einen datenzentrierten Ansatz für die KI-Entwicklung verfolgen. Die fortschrittlichsten Unternehmen werden diese Technologie nutzen, um die KI-Produktionslücke zu überspringen und Modelle zu bauen, die schneller in der Wildnis laufen können.
Was ist aktives Lernen?
Aktives Lernen macht das Training eines überwachten Modells zu einem iterativen Prozess. Das Modell trainiert mit einer anfänglichen Teilmenge gekennzeichneter Daten aus einem großen Datensatz. Dann versucht es, basierend auf dem, was es gelernt hat, Vorhersagen über den Rest der unbeschrifteten Daten zu treffen. ML-Ingenieure bewerten, wie sicher das Modell in seinen Vorhersagen ist, und verwenden eine Vielzahl von Erwerbsfunktionenkann den hinzugefügten Leistungsvorteil quantifizieren, indem eine der unbeschrifteten Proben mit Anmerkungen versehen wird.
Durch die Unsicherheit in seinen Vorhersagen entscheidet das Modell selbst, welche zusätzlichen Daten für sein Training am nützlichsten sind. Dabei bittet es die Kommentatoren, mehr Beispiele nur für diese bestimmte Art von Daten bereitzustellen, damit es in der nächsten Trainingsrunde intensiver mit dieser Teilmenge trainieren kann. Stellen Sie sich das so vor, als würden Sie einen Schüler ausfragen, um herauszufinden, wo seine Wissenslücke ist. Sobald Sie wissen, welche Probleme ihnen fehlen, können Sie ihnen Lehrbücher, Präsentationen und andere Materialien zur Verfügung stellen, damit sie ihr Lernen darauf ausrichten können, diesen bestimmten Aspekt des Fachs besser zu verstehen.
Beim aktiven Lernen bewegt sich das Trainieren eines Modells von einem linearen Prozess zu einem kreisförmigen Prozess mit einer starken Rückkopplungsschleife.
Warum anspruchsvolle Unternehmen bereit sein sollten, aktives Lernen zu nutzen
Aktives Lernen ist von grundlegender Bedeutung, um die Prototypen-Produktionslücke zu schließen und die Modellzuverlässigkeit zu erhöhen.
Es ist ein häufiger Fehler, KI-Systeme als statische Software zu betrachten, aber diese Systeme müssen ständig lernen und sich weiterentwickeln. Wenn nicht, machen sie immer wieder die gleichen Fehler, oder wenn sie in die Wildnis entlassen werden, begegnen sie neuen Szenarien, machen neue Fehler und haben keine Gelegenheit, daraus zu lernen.