Live-Text und visuelles Nachschlagen: Verwenden Sie Ihre iPhone-Kamera für mehr als nur Bilder

Die Fotos-App von Apple bietet eine erschreckend leistungsstarke Technologie für etwas, das auf den ersten Blick wie eine unscheinbare Fotobibliothek erscheint. Die App verfügt über bekannte KI-Funktionen, die eine Vielzahl von Bearbeitungsfunktionen bieten. Fotos können Ihre Bilder nicht nur zuschneiden, verbessern, schärfen und anderweitig modifizieren, sondern die KI erkennt Text in Bildern mit Live-Text, sodass Sie Wörter hervorheben, kopieren und sogar übersetzen können. Mit iOS 16 ist diese Funktion noch fortschrittlicher und gibt Ihnen die Möglichkeit, auch Text in Videos hervorzuheben.

Dieselbe Technologie unterstützt Apples Visual Look Up, eine neue iOS 16-Funktion, mit der Sie das Motiv eines Fotos von seinem Hintergrund identifizieren und isolieren können. Darüber hinaus können Sie weitere Informationen zu diesem Thema entdecken, indem Sie Daten aus dem Internet und Siri abrufen. Auf einer oberflächlichen Ebene kann Visual Look Up das Thema eines Fotos hervorheben und kopieren und in eine andere App wie Mail oder Messenger einfügen. Visual Look Up hat jedoch ein enormes Potenzial; Obwohl es noch in den Kinderschuhen steckt, sind seine praktischen Anwendungen beeindruckend.

Live Text und Visual Look Up sind mit Sicherheit die bemerkenswertesten Funktionen von iOS 16 und diejenigen, die wir im mobilen Betriebssystem von Apple am meisten erkundet haben. Das sind unsere ersten Gedanken.

(Bildnachweis: PCMag)

Live-Text erhält neue Tricks

Mit Live-Text können Sie Text kopieren und teilen, der sich in Fotos befindet. Die KI identifiziert Schlüsselbegriffe innerhalb des Fotos und bietet relevante Funktionen an. Um dies zu testen, habe ich eine Seite von Julia Child’s fotografiert Beherrschung der französischen Kochkunst. Beim Betrachten der Bilder in der Fotos-App habe ich auf das Live-Text-Symbol in der unteren rechten Ecke des Bildschirms getippt, wodurch der Text hervorgehoben wurde. Für einige der wichtigsten Anweisungen wurden unten auf dem Foto Optionen zur Maßumwandlung angezeigt. Sie zeigten die Standardbacktemperatur von Fahrenheit an und wandelten sie in Celsius um und änderten die Tassenmaße in imperiale Einheiten wie Gramm und Liter. Wenn Sie gerne Mahlzeiten planen, ist dies ein großartiges Tool, das Sie zur Verfügung haben sollten. Dies ist nur ein Beispiel, aber Live Text kann auch Adressen, Kontaktinformationen und Fremdsprachen auf Fotos identifizieren, um relevante Informationen anzubieten. Es ist ein enorm praktisches Werkzeug.

Allerdings ist Live-Text für das iPhone nicht neu, aber es erfreut sich Verbesserungen innerhalb von iOS 16. Insbesondere können Sie jetzt Live-Text mit aufgezeichnetem Video verwenden. Um dies zu testen, habe ich einen Video-Rundgang durch mein Home Office aufgenommen. Die KI hatte Schwierigkeiten, Text zu identifizieren, wenn sich die Kamera zu schnell bewegte. Live Text konnte aus kleinen, leicht verschwommenen Wörtern nicht viel herauslesen. In solchen Fällen bietet Live-Text einfach keine Vorschläge und lässt Sie möglicherweise nicht einmal Text hervorheben.

Es funktioniert am besten, wenn das iPhone verwendet wird, um sich auf ein bestimmtes Motiv oder einen bestimmten Bereich zu konzentrieren. Zum Beispiel zog ein langsamer Schwenk über meinen Schreibtisch eine Fundgrube an Informationen. Mein iPhone 13 Pro Max bot Kartenlinks für Adressen sowie Anruf- und Nachrichtenoptionen für identifizierte Telefonnummern. Selbst wenn der erkannte Text nicht mit einer bestimmten App oder einem bestimmten Tool verknüpft war, konnte ich ihn trotzdem hervorheben und für andere Apps wie Mail, Nachrichten und Notizen freigeben.

(Bildnachweis: PCMag)

Die Zauberei von Visual Look Up

Visual Look Up ist eine neue Fotofunktion, die in iOS 16 eingeführt wurde und ähnliche Funktionen wie Live-Text bietet, jedoch für das Thema eines Fotos anstelle von Text. Sie können eine Person oder ein Objekt von Interesse in einem Foto hervorheben, indem Sie darauf tippen und Ihren Finger darauf halten. Sie können das markierte Thema dann kopieren, freigeben oder speichern. Dies ist eine unglaubliche Ergänzung des iOS-Ökosystems, das Ihnen eine Photoshop-ähnliche Motivauswahl ermöglicht, ohne dass Sie ein Photoshop-Programm öffnen müssen. Sie können eine Collage erstellen oder alberne Aufkleber Ihrer Katze machen.

Abgesehen vom Kopieren von Bildern können Sie mit Visual Look Up eine Online-Suche basierend auf dem Motiv des Fotos durchführen (vorausgesetzt, die KI kann es richtig identifizieren). Es funktioniert mit gewöhnlichen Objekten in Fotografien, wie Tieren, Kunst, Sehenswürdigkeiten, Haustieren, Pflanzen und Fahrzeugen. Wenn die KI Objekte in einem Foto identifiziert, sehen Sie eine Sterngrafik auf dem Informationssymbol unten auf dem Bildschirm. Wischen Sie einfach auf dem Foto nach oben oder tippen Sie auf das Informationssymbol, um grundlegende Fotodetails sowie alle verfügbaren zusätzlichen Visual Look Up-Inhalte anzuzeigen.

Es funktioniert überraschend gut, obwohl es einige Einschränkungen hat. Bei Verwendung mit Fotos einer japanischen Skyline identifizierte Visual Look Up das Wahrzeichen Tokyo Sky Tree korrekt und lieferte Wikipedia-Hintergrundinformationen über Siri Knowledge. Es lieferte auch Kartendaten, die Entfernung, Betriebszeiten, Kontaktnummer und Ticketinformationen enthielten. Wenn es funktioniert, ist es fast magisch.

In einem anderen Test habe ich in meinem Garten ein Foto von einem von Wespen befallenen Tomatenschwärmer gemacht. Zugegeben, dieses Testobjekt war ein Curveball, und etwas, das ich noch nie aus erster Hand gesehen hatte. Visual Look Up identifizierte die tote Raupe aufgrund ihrer Färbung und allgemeinen Form fälschlicherweise entweder als Kalebassenkürbis oder als Bittermelone. Keine schlechten Schätzungen, aber immer noch daneben.

Visual Look Up kann auch für Kunstwerke verwendet werden, wenn auch mit viel weniger Genauigkeit als Fotos. Es identifiziert leicht berühmte Gemälde wie die von Vincent van Gogh Sternenklare Nacht. Bei moderneren Kunstwerken wird die Funktion jedoch deutlich ungenauer. Beispielsweise hat Visual Look Up ein Kunstwerk aus Final Fantasy IX erkannt, aber den Künstler, der es geschaffen hat, falsch identifiziert. In einem anderen Beispiel habe ich Kunst des Künstlers Jun Suemi gespeichert, der fantastische Gemälde für das Spiel Brandish geschaffen hat. Visual Look Up hat das Bild als Kunstwerk erkannt, aber es konnte mir keine Ergebnisse für den Künstler oder die Quelle liefern. In einigen Fällen war Visual Look Up überhaupt nicht verfügbar. Viele meiner Familienfotos fielen in diese Kategorie.

Praktisch mit der Apple iPhone 14-Reihe

Diese Technologien sind großartig, aber Apple hat diese Funktionen auf bestimmte Handys beschränkt. Erstens sind Live Text und Visual Look Up nur auf dem iPhone 11, iPhone 12, iPhone 13, iPhone 14, iPhone XR und iPhone XS verfügbar. Darüber hinaus ist Live-Text auf bestimmte Sprachen beschränkt, darunter englische Dialekte, Französisch, Deutsch, Japanisch, Koreanisch und Spanisch. Sie können die spezifischen Sprachen sehen, die Live-Text unterstützt hier(Öffnet in einem neuen Fenster). Schließlich ist Visual Look Up auch durch Region und Sprache eingeschränkt, was Sie können lesen Sie hier mehr darüber(Öffnet in einem neuen Fenster).

Wenn Sie mehr über iOS 16 erfahren möchten, lesen Sie unsere Impressionen. Wenn Sie ein iPad-Enthusiast sind, finden viele der Funktionen von iOS 16 ihren Weg auf das Tablet. worüber Sie in unserer iPadOS 16-Vorschau nachlesen können.