Die Kamera Ihres Telefons ist sowohl Software als auch Hardware, und Glass hofft, beides zu verbessern. Doch während sein wildes anamorphotisches Objektiv auf den Markt kommt, hat das Unternehmen (das mit 9,3 Millionen US-Dollar Neugeld läuft) ein KI-gestütztes Kamera-Upgrade herausgebracht, das angeblich die Bildqualität erheblich verbessert – ohne seltsame KI-Upscaling-Artefakte.
GlassAI ist ein rein softwarebasierter Ansatz zur Verbesserung von Bildern, ein sogenannter neuronaler Bildsignalprozessor (ISP). ISPs sind im Grunde diejenigen, die die rohe Sensorausgabe – oft flach, verrauscht und verzerrt – in die scharfen, farbenfrohen Bilder umwandeln, die wir sehen.
Auch der ISP wird immer komplexer, wie Telefonhersteller wie Apple und Google gerne zeigen, indem er Mehrfachbelichtungen synthetisiert, Gesichter schnell erkennt und schärft, sich an winzige Bewegungen anpasst und so weiter. Und obwohl viele eine Form von maschinellem Lernen oder KI beinhalten, müssen sie vorsichtig sein: Der Einsatz von KI zur Generierung von Details kann zu Halluzinationen oder Artefakten führen, da das System versucht, visuelle Informationen zu erstellen, wo keine vorhanden sind. Solche „Super-Resolution“-Modelle sind an ihrer Stelle nützlich, müssen aber sorgfältig überwacht werden.
Glass stellt sowohl ein vollständiges Kamerasystem her, das auf einem ungewöhnlichen rautenförmigen Frontelement basiert, als auch einen ISP als Hintergrund. Und während Ersteres mit einigen kommenden Geräten auf Marktpräsenz hinarbeitet, ist Letzteres, wie sich herausstellt, ein eigenständiges Produkt, das es wert ist, verkauft zu werden.
„Unsere Wiederherstellungsnetzwerke korrigieren optische Aberrationen und Sensorprobleme und entfernen gleichzeitig effizient Rauschen. Sie übertreffen herkömmliche Bildsignalverarbeitungs-Pipelines bei der Wiederherstellung feiner Texturen“, erklärte CTO und Mitbegründer Tom Bishop in ihrer Pressemitteilung.
Konzeptanimation, die den Übergang vom RAW- zum glasverarbeiteten Bild zeigt. Bildnachweis: Glas
Das Wort „Genesung“ ist der Schlüssel, denn Details werden nicht einfach erstellt, sondern erstellt extrahiert aus Rohbildern. Je nachdem, wie Ihr Kamera-Stack bereits funktioniert, wissen Sie möglicherweise, dass bestimmte Artefakte, Winkel oder Rauschmuster zuverlässig aufgelöst oder sogar ausgenutzt werden können. Zu lernen, wie man diese impliziten Details in echte umwandelt – oder Details aus mehreren Belichtungen kombiniert – ist ein wichtiger Teil jedes computergestützten Fotografie-Stacks. Mitbegründer und CEO Ziv Attar sagt, ihr neuronaler ISP sei besser als jeder andere in der Branche.
Sogar Apple, betonte er, verfüge nicht über einen vollständigen neuronalen Bildstapel und nutze ihn nur unter bestimmten Umständen, wenn er benötigt werde, und die Ergebnisse seien (seiner Meinung nach) nicht großartig. Er lieferte ein Beispiel dafür, dass Apples neuronaler ISP Text nicht richtig interpretiert, wobei Glass viel besser abschnitt:
Von Ziv Attar bereitgestelltes Foto, das ein iPhone 15 Pro Max mit 5-facher Vergrößerung und die mit Glass verarbeitete Version der RAW-Bilder des Telefons zeigt. Bildnachweis: Ziv Attar
„Ich denke, man kann durchaus davon ausgehen, dass es schwierig ist, das Problem zu lösen, wenn Apple es nicht geschafft hat, anständige Ergebnisse zu erzielen“, sagte er. „Es geht weniger um den tatsächlichen Stack, sondern mehr darum, wie man trainiert. Wir haben eine ganz einzigartige Methode, die für die anamorphotischen Linsensysteme entwickelt wurde und bei jeder Kamera effizient ist. Im Wesentlichen verfügen wir über Schulungslabore mit Robotersystemen und optischen Kalibrierungssystemen, die es schaffen, ein Netzwerk so zu trainieren, dass es die Aberration von Linsen sehr umfassend charakterisiert und jede optische Verzerrung grundsätzlich umkehrt.“
Als Beispiel lieferte er eine Fallstudie, in der DXO die Kamera auf einem Moto Edge 40 evaluieren ließ und dies dann noch einmal mit installiertem GlassAI durchführte. Die mit Glas verarbeiteten Bilder sind alle deutlich verbessert, manchmal sogar dramatisch.
Bildnachweis: Glas / DXO
Bei schlechten Lichtverhältnissen hat der integrierte ISP im Nachtmodus Schwierigkeiten, feine Linien, Texturen und Gesichtsdetails zu unterscheiden. Mit GlassAI ist es selbst bei halber Belichtungszeit so scharf wie eine Reißzwecke.
Sie können einen Blick auf die Pixel werfen Auf ein paar Testfotos hat Glass reagiert durch den Wechsel zwischen Roh- und Finale.
Unternehmen, die Telefone und Kameras zusammenbauen, müssen viel Zeit damit verbringen, den ISP so abzustimmen, dass Sensor, Objektiv und andere Teile ordnungsgemäß zusammenarbeiten, um das bestmögliche Bild zu liefern. Es scheint jedoch, dass der einheitliche Prozess von Glass in einem Bruchteil der Zeit bessere Arbeit leisten könnte.
„Die Zeit, die wir benötigen, um auslieferbare Software zu trainieren, nachdem wir einen neuen Gerätetyp in die Hände bekommen, schwankt zwischen einigen Stunden und einigen Tagen. Als Referenz: Telefonhersteller verbringen mit riesigen Teams Monate damit, die Bildqualität zu optimieren. Unser Prozess ist vollständig automatisiert, sodass wir mehrere Geräte in wenigen Tagen unterstützen können“, sagte Attar.
Der neuronale ISP ist ebenfalls End-to-End, was in diesem Zusammenhang bedeutet, dass er direkt vom Sensor-RAW zum endgültigen Bild übergeht, ohne dass zusätzliche Prozesse wie Rauschunterdrückung, Schärfung usw. erforderlich sind.
Links: RAW, rechts: Glasverarbeitet. Bildnachweis: Glas
Als ich nachfragte, achtete Attar darauf, ihre Arbeit von hochauflösenden KI-Diensten zu unterscheiden, die ein fertiges Bild aufnehmen und es hochskalieren. Dabei geht es oft nicht um das „Wiederherstellen“ von Details, sondern vielmehr darum, sie dort zu erfinden, wo es angebracht erscheint, ein Prozess, der manchmal zu unerwünschten Ergebnissen führen kann. Obwohl Glass KI verwendet, ist es nicht so generativ wie viele bildbezogene KIs.
Heute ist das Produkt allgemein verfügbar, vermutlich nach einer längeren Testphase mit Partnern. Wenn Sie ein Android-Telefon herstellen, ist es möglicherweise sinnvoll, es zumindest auszuprobieren.
Was die Hardware betrifft, muss das Telefon mit der seltsamen rautenförmigen anamorphotischen Kamera jedoch warten, bis dieser Hersteller bereit ist, an die Börse zu gehen.
Während Glass seine Technologie weiterentwickelt und Kunden testet, ist das Unternehmen auch damit beschäftigt, die nötigen Mittel aufzutreiben. Das Unternehmen hat gerade eine „erweiterte Seed-Runde“ in Höhe von 9,3 Millionen US-Dollar abgeschlossen, die ich in Anführungszeichen gesetzt habe, weil die Seed-Runde im Jahr 2021 stattfand. Die neue Finanzierung wurde von GV geleitet, an der sich Future Ventures, Abstract Ventures und LDV Capital beteiligten.