Wenn Sie glauben, dass FLAC der Freund des Audiophilen ist, wenn es um verlustfreie Musikdateien geht, hat ein großes Sprachmodell (LLM) Neuigkeiten für Sie, da es jetzt auch Anspruch auf Komprimierung als Teil des wachsenden Einflussbereichs der KI erhebt.
Eine Studie mit dem Titel „Sprachmodellierung ist Komprimierung” (über ArsTechnica) diskutiert eine Entdeckung über ein LLM von DeepMind namens Chinchilla 70B und seine Fähigkeit, eine verlustfreie Datenkomprimierung besser als FLAC für Audio und PNG für Bilder durchzuführen.
Chinchilla 70B könnte die Größe der Bildfelder erheblich verkleinern ImageNet-Datenbank, wodurch sie auf nur 43,4 % ihrer ursprünglichen Größe reduziert werden, ohne dass Details verloren gehen. Diese Leistung ist besser als der PNG-Algorithmus, der die Bildgrößen nur auf 58,5 % reduzieren konnte.
Darüber hinaus komprimiert Chinchilla Audiodaten aus LibriSpeech auf nur 16,4 % ihrer tatsächlichen Größe für Sounddateien. Das ist beeindruckend, insbesondere im Vergleich zur FLAC-Komprimierung, die die Audiogrößen nur auf 30,3 % reduzieren konnte.
Verlustfreie Komprimierung bedeutet, dass nichts verloren geht oder weggelassen wird, wenn Daten in kleinere Pakete komprimiert werden. Dies unterscheidet sich von der verlustbehafteten Komprimierung, die das Bildkomprimierungsformat JPEG verwendet. Dadurch werden einige Daten entfernt und dann erraten, wie sie aussehen sollten, wenn Sie die Datei erneut öffnen, um die Dateigröße deutlich zu verkleinern.
Die Ergebnisse der Studie zeigen, dass Chinchilla 70B zwar hauptsächlich für die Arbeit mit Text entwickelt wurde, aber auch überraschend gut darin ist, andere Datentypen viel kleiner zu machen. Und ist oft besser darin als Programme, die speziell dafür entwickelt wurden.
Die Forscher der Studie gehen davon aus, dass die Vorhersage und die Komprimierung von Daten in beide Richtungen gehen. Das heißt, wenn Sie über ein gutes Tool zum Verkleinern von Daten verfügen, z gzipkönnen Sie es auch verwenden, um neue Informationen zu erstellen, die auf dem basieren, was während des gesamten Datenverkleinerungsprozesses gelernt wurde.
In einem Teil ihrer Forschung testeten sie diese Idee, indem sie versuchten, mit gzip und einem anderen Tool, Chinchilla, neuen Text, Bilder und Ton zu erstellen, nachdem sie ihnen eine Datenprobe gegeben hatten. Wie erwartet schnitt gzip nicht besonders gut ab und erzeugte größtenteils Unsinn.
Dies zeigt, dass gzip zwar Daten erstellen kann, diese Daten jedoch möglicherweise aussagekräftiger sein müssen. Chinchilla hingegen, das speziell für die Verarbeitung von Sprache entwickelt wurde, schnitt deutlich besser darin ab, neue, aussagekräftige Ergebnisse zu erzielen.
Vor fast 20 Jahren argumentierten Forscher, dass Kompression eine Form von ist generelle Intelligenzdass „eine ideale Textkomprimierung, wenn sie möglich wäre, dem Bestehen des Turing-Tests für künstliche Intelligenz gleichkäme.“
Wie ArsTechnica jedoch betont, muss dieses Papier noch einem Peer-Review unterzogen werden. Die Idee, dass die Verkleinerung von Daten etwas mit Intelligenz zu tun hat, ist ein Thema, von dem wir wahrscheinlich auch in Zukunft noch hören werden. Wir kratzen immer noch nur an der Oberfläche dessen, was diese LLMs leisten können.