Es gibt einen neuen Apple-Bildeditor, falls Sie wissen, wo Sie suchen müssen. Die iPhone-Könige haben sich mit Forschern der University of California in Santa Barbara zusammengetan, um ein Tool zu entwickeln, mit dem Sie Fotos und Bilder mit textbasierten Anweisungen bearbeiten können. Es gibt keine offizielle Veröffentlichung, aber die Forscher veranstalten eine Demo, die Sie selbst ausprobieren können, nachdem Sie sie entdeckt haben Extreme Technik.
Das Projekt heißt Multimodal Large Language Model Guided Image Editing (MGIE). Derzeit gibt es viele KI-Bildbearbeitungsprogramme auf dem Markt. Photoshop verfügt jetzt über integrierte KI-Tools, und andere wie DALL-E von OpenAI ermöglichen Ihnen das Bearbeiten von Bildern und das Generieren aus dem Vollen. Wenn Sie jedoch jemals versucht haben, sie zu verwenden, wissen Sie, dass es ein wenig frustrierend sein kann. In vielen Fällen fällt es der KI schwer, genau zu verstehen, wonach Sie suchen.
Die Innovation mit MGIE fügt eine weitere Ebene der KI-Interpretation hinzu. Wenn Sie der KI mitteilen, was Sie sehen möchten, verwendet MGIE zunächst eine textbasierte KI, um Ihre Anweisungen expliziter und beschreibender zu gestalten. „Experimentelle Ergebnisse zeigen, dass ausdrucksstarke Anweisungen für die anweisungsbasierte Bildbearbeitung von entscheidender Bedeutung sind“, sagten die Forscher in einem Papier veröffentlicht auf arXiv. „Unser MGIE kann zu einer spürbaren Verbesserung führen.“
Apple hat eine Open-Source-Version der Software veröffentlicht GitHub. Wenn Sie klug sind, können Sie eine Version von MGIE selbst zum Laufen bringen, aber die Forscher haben das Tool darauf eingerichtet Umarmendes Gesicht. Es läuft etwas langsam, wenn viele Leute es benutzen, aber es ist ein lustiges Experiment.
Gigantische Technologieunternehmen wie Apple geben Milliarden von Dollar für Projekte aus, die niemand jemals zu sehen bekommt. Daher ist es durchaus möglich, dass dieses sogenannte MGIE-Tool nie eine offizielle Veröffentlichung erhält. Apple reagierte nicht sofort auf eine Bitte um Stellungnahme.
Wir haben es hier im Gizmodo-Büro selbst ausprobiert. Ich habe ein Bild von meinem Kollegen und engsten Berater Kyle Barr hochgeladen, der eine seltsame Sonnenbrille trägt, die er bei Netflix gekauft hat diesjährige Consumer Electronics Show. Ich sagte der KI: „Der Mann steht in der Wüste.“ Vor dem Generieren des Bildes hat das MGIE-Tool Folgendes extrapoliert:
„Der Mann trägt einen Metallhelm und steht in einer Wüstenlandschaft. Die Umgebung um ihn herum ist trocken und karg, mit Sanddünen, die sich so weit das Auge reicht.“
Nachdem wir viel länger mit dem Tool herumgespielt haben, als wir sollten, ist es offensichtlich vielen der gleichen Einschränkungen unterworfen wie jeder andere KI-Bildgenerator. Oftmals sind die Ergebnisse bizarr und entsprechen überhaupt nicht dem, was Sie sich gewünscht haben. Aber in einigen Fällen hat es beeindruckende Arbeit geleistet, und um das Programm zu verteidigen, schneidet die KI bei vertrauten Themen besser ab. „Vertraut“ würde man Kyles Sonnenbrille nicht nennen.