Qualcomm ist kein Unbekannter darin, Systeme für künstliche Intelligenz und maschinelles Lernen auf dem Gerät und ohne Internetverbindung auszuführen. Sie machen das schon seit Jahren mit ihren Kamera-Chipsätzen. Aber am Dienstag gab das Unternehmen auf dem Snapdragon Summit 2023 bekannt, dass die geräteinterne KI als Teil der neuen Chips Snapdragon 8 Gen 3 und X Elite endlich auch auf Mobilgeräten und Windows 11-PCs verfügbar sein wird.
Beide Chipsätze wurden von Grund auf mit Blick auf generative KI-Funktionen entwickelt und sind in der Lage, eine Vielzahl von Large Language Models (LLM), Language Vision Models (LVM) und Transformer Network-based Automatic Speech Recognition (ASR)-Modellen zu unterstützen bis zu 10 Milliarden Parameter für das SD8 Gen 3 und 13 Milliarden Parameter für das X Elite, vollständig auf dem Gerät. Das bedeutet, dass Sie alles von Baidus ERNIE 3.5 bis hin zu OpenAIs Whisper, Metas Llama 2 oder Googles Gecko auf Ihrem Telefon oder Laptop ausführen können, ohne dass eine Internetverbindung erforderlich ist. Die Chips von Qualcomm sind für Sprach-, Text- und Bildeingaben optimiert.
„Es ist wichtig, eine breite Palette an Unterstützung unter der Haube zu haben, damit diese Modelle ausgeführt werden können, und daher ist heterogenes Computing äußerst wichtig“, sagte Durga Malladi, SVP und General Manager, Technology Planning & Edge Solutions bei Qualcomm, gegenüber Reportern bei einer letzten Vorbesprechung Woche. „Wir verfügen über hochmoderne CPU-, GPU- und NPU-Prozessoren (Neural Processing Unit), die gleichzeitig verwendet werden, da zu jedem Zeitpunkt mehrere Modelle laufen.“
Die Qualcomm AI Engine besteht aus der Oryon-CPU, der Adreno-GPU und der Hexagon-NPU. Zusammen bewältigen sie bis zu 45 TOPS (Billionen Operationen pro Sekunde) und können 30 Token pro Sekunde auf Laptops und 20 Token pro Sekunde auf Mobilgeräten verarbeiten – Token sind die grundlegende Text-/Dateneinheit, die LLMs verarbeiten/generieren können. Die Chipsätze nutzen Samsungs 4,8 GHz LP-DDR5x DRAM für ihre Speicherzuweisung.
„Generative KI hat die Fähigkeit bewiesen, sehr komplexe Aufgaben zu übernehmen, sie zu lösen und sie auf sehr effiziente Weise zu lösen“, fuhr er fort. Mögliche Anwendungsfälle könnten die Zusammenfassung von Besprechungen und Dokumenten oder das Verfassen von E-Mails für Verbraucher sowie die auf Eingabeaufforderungen basierende Computercode- oder Musikgenerierung für Unternehmensanwendungen sein, bemerkte Malladi.
Oder Sie könnten es einfach verwenden, um schöne Bilder zu machen. Qualcomm integriert seine bisherige Arbeit mit Edge AI, Kognitiver ISP. Geräte, die diese Chipsätze verwenden, können Fotos in Echtzeit und in bis zu 12 Ebenen bearbeiten. Sie können auch bei schlechten Lichtverhältnissen klarere Bilder aufnehmen, unerwünschte Objekte aus Fotos entfernen (à la Googles Magic Eraser) oder Bildhintergründe erweitern. Mithilfe der Truepic-Fotoerfassung können Benutzer ihre Aufnahmen sogar mit einem Wasserzeichen versehen, sodass sie echt sind und nicht von der KI generiert wurden.
Eine KI, die hauptsächlich auf Ihrem Telefon oder Mobilgerät und nicht in der Cloud läuft, bietet Benutzern unzählige Vorteile gegenüber dem aktuellen System. Ähnlich wie Unternehmens-KIs, die ein allgemeines Modell (z. B. GPT-4) verwenden und es mithilfe der internen Daten eines Unternehmens optimieren, um genauere und themenbezogenere Antworten zu liefern, wird eine lokal gespeicherte KI „im Laufe der Zeit … schrittweise personalisiert“, sagte Malladi. „in dem Sinne, dass … der Assistent intelligenter und besser wird, indem er auf dem Gerät selbst läuft.“
Darüber hinaus entfällt die inhärente Verzögerung, wenn das Modell die Cloud zur Verarbeitung oder Informationen abfragen muss, wenn alle Assets lokal sind. Daher sind sowohl das X Elite als auch das SD8 Gen 3 nicht nur in der Lage, Stable Diffusion auf dem Gerät auszuführen, sondern auch Bilder in weniger als 0,6 Sekunden zu erzeugen.
Die Fähigkeit, größere und leistungsfähigere Modelle zu betreiben und mit diesen Modellen durch Sprechen statt durch Tippen zu interagieren, könnte sich letztendlich als größter Segen für die Verbraucher erweisen. „Es gibt eine ganz einzigartige Art und Weise, wie wir mit der Verbindung der Geräte beginnen und die Sprache zu einer weitaus natürlicheren Schnittstelle zu diesen Geräten wird – zusätzlich zu allem anderen“, sagte Malladi. „Wir glauben, dass dies das Potenzial hat, ein transformativer Moment zu sein, in dem wir beginnen, mit Geräten auf eine ganz andere Art und Weise zu interagieren als bisher.“
Mobile Geräte und PCs sind nur der Anfang für die On-Device-KI-Pläne von Qualcomm. Die Grenze von 10 bis 13 Milliarden Parametern bewegt sich bereits in Richtung von mehr als 20 Milliarden Parametern, während das Unternehmen neue Chip-Iterationen entwickelt. „Das sind sehr anspruchsvolle Modelle“, kommentierte Malladi. „Die Anwendungsfälle, die Sie darauf aufbauen, sind ziemlich beeindruckend.“
„Wenn man über ADAS (Advanced Driver Assistance Systems) nachdenkt, hat man Multimodalität [data] „Das kommt von mehreren Kameras, IR-Sensoren, Radar, Lidar – zusätzlich zur Stimme, also dem Menschen, der sich im Fahrzeug selbst befindet“, fuhr er fort. „Der Umfang dieses Modells ist ziemlich groß, wir sprechen bereits von 30 bis 60 Milliarden Parametern.“ Nach Schätzungen von Qualcomm könnten diese geräteinternen Modelle letztendlich 100 Milliarden Parameter oder mehr erreichen.