Kommunikation allein durch Gedanken? Unbabel stellt KI-Projekt vor, das uns übermenschliche Fähigkeiten verleihen soll

In einer Besprechung sitzen In einem Zimmer in einem Startup-Büro in Lissabon tippte ich stillschweigend eine Frage, auf die nur mein Gegenüber die Antwort wusste. Nach welcher Art von Kaffee hatte ich gefragt, als ich im Büro ankam? Einen kurzen Moment später, ohne sich auch nur zu bewegen oder den Mund zu öffnen, kam die Antwort per SMS: „Du hattest einen Americano.“

So hatte ich nicht erwartet, einen Freitagnachmittag in der Stadt zu verbringen, aber hier saß ich in den Büros eines Startups für Unternehmenssprachübersetzungsdienste Unbabelgegenüber Gründer und CEO Vasco Pedro, um etwas zu testen, das wie eine Schnittstelle zwischen Gehirn und Computer aussah. Und es war ziemlich erstaunlich.

Die Geschichte beginnt vor vier Jahren.

Die Kernaufgabe von Unbabel – es Unternehmen zu ermöglichen, ihre Kunden in Dutzenden von Sprachen zu verstehen und von ihnen verstanden zu werden – hat das Unternehmen schon vor langer Zeit dazu veranlasst, über den sprichwörtlichen „Tellerrand“ hinauszuschauen und mehrere Projekte intern zu entwickeln. Es wollte andere Möglichkeiten der Kommunikation erkunden. Als Startup mit VC-Finanzierung in Höhe von 90 Millionen US-Dollar, einem Jahresumsatz von rund 50 Millionen US-Dollar und einer überstandenen Pandemie geht es Unbabel nun gut genug, um diese Projekte zu erkunden.

„Wir hatten die Idee, uns mit Schnittstellen zwischen Gehirn und Kommunikation zu befassen“, erzählt mir Pedro. „Wir haben angefangen, eine Reihe von Experimenten durchzuführen, wie zum Beispiel ein 20-Prozent-Projekt.“

Das Innovationsteam von Unbabel unter der Leitung von Paulo DimasVizepräsident für Produktinnovation, untersuchte die Art und Weise, wie sich unser Gehirn entwickelte.

„Sie haben Ihr limbisches System, Sie haben Ihren Neokortex. Aber sie haben sich tatsächlich über Millionen von Jahren entwickelt. Es handelt sich tatsächlich um getrennte Systeme. Und ich denke, was wir zu sehen beginnen, ist fast die Entstehung des „Überkortex“, von dem wir glauben, dass er KI-gesteuert sein wird und außerhalb Ihres biologischen Gehirns existieren wird“, sagte Pedro.

Dimas und sein Team begannen, sich mit Elektroenzephalogramm-Systemen (EEG) zu befassen, von denen einige in den Körper eindringen können. Elon Musks Neuralink Das Unternehmen erforscht bekanntermaßen invasive Gehirn-Computer-Schnittstellengeräte für den Menschen.

EMG war das Tor

Doch dann kam Unbabels Team auf die Idee, ein EMG-System einzusetzen. EMG (Elektromyographie) misst die Muskelreaktion oder elektrische Aktivität als Reaktion auf die Stimulation des Muskels durch einen Nerv. EMG-Geräte sind alltäglich und trivial. Sie können sie sogar kaufen Amazon für ein paar Dollar.

„Wir stellten fest, dass das EEG immer noch zu laut war. Wir wollten nicht invasiv sein. Aber EMG, das die Muskelreaktion misst, war so weniger verrauscht. Sie können einige der Signale zuverlässiger erfassen“, sagte Pedro.

Das Team steckte Sensoren in ein Armband und begann herauszufinden, was sie messen konnten. „Wir begannen, EMG als Tor zur direkten Gehirninteraktion zu betrachten“, erzählte mir Pedro.

Dann beschlossen sie letztes Jahr, ein EMG-System mit generativer KI zu verbinden. Konkret ein LLM, das auf den Benutzer personalisiert wurde. Aber wie?

Vereinfacht ausgedrückt maß das System, wie der Träger eines EMG-Geräts reagieren würde, wenn er an ein Wort denkt. Dies würde dazu beitragen, eine Reihe von Signalen aufzubauen, die mit echten Wörtern korrelieren. Die Einspeisung dieser Signale in ein LLM würde die Schaffung eines „personalisierten LLM“ bedeuten.

Als ich Vasco in einer unsichtbaren Textnachricht fragte, um welche Art von Kaffee ich gebeten hatte, wurden ihm diese Worte über eine KI-Stimme an seine Ohrhörer gesendet. Dann fielen ihm Wörter wie „Schwarzer Kaffee“ ein. Der LLM ordnete dann seine körperliche Reaktion dem Wort zu, überprüfte erneut über den Ton in einem Ohrhörer, ob er „Americano“ meinte, und schickte mir dann die Antwort per Textnachricht – in diesem Anwendungsfall die SMS-App Telegram.

„Der LLM erweitert das, was Sie sagen. Und dann bestätige ich es, bevor ich es zurücksende. Es gibt also eine Interaktion mit dem LLM, bei der ich aufbaue, was ich sagen möchte, und dann kann ich die endgültige Botschaft genehmigen“, erklärte Pedro.

Die Demonstration fand vor meinen Augen statt. Es gab kein Bewegen oder Tippen. Nur Vasco Pedro antwortet stillschweigend per Textnachricht.

„Das LLM, das eine grundlegende Eingabeaufforderung fast sofort zu einer vollwertigen Antwort erweitert. Ich hätte keine Zeit, das alles auf natürliche Weise zu tippen. Deshalb nutze ich das LLM, um die Hauptarbeit bei der Reaktion zu erledigen“, fügte er hinzu.

Er wies auch darauf hin, dass der Träger die absolute Kontrolle darüber habe, was er ausgibt: „Es zeichnet nicht auf, was ich denke. Es zeichnet auf, was ich sagen möchte. Es ist also wie ein Gespräch. Andere Ansätze wie Neuralink versuchen tatsächlich, unbewusste Interaktionen zu messen. Wir schaffen einen Kanal, über den man kommunizieren kann, aber die Person muss ihn nutzen wollen.“

Pedro beschreibt es so, als hätte man eine Stimme im Kopf, mit der man kommunizieren kann: „Das Potenzial für eine Erweiterung ist riesig, aber es gibt noch viele Hürden zu überwinden.“

Wie funktioniert es? Die einfache Antwort ist eine „E-Skin“-EMG-Schnittstelle, eingebettet in eine Art flexible Hülle, entwickelt mit dem Labor für gedruckte Mikroelektronik am Universität Coimbra führen durch Professor Tavakoli.

Im Moment ist die Version ziemlich zusammengehackt, aber irgendwann könnte das Gerät miniaturisiert werden.

Die Geburt von Halo

Unbabel nannte seine Erfindung “Heiligenschein” (nach „Halogen“). Auf dem Telefon des Trägers läuft eine App, die den Zugriff auf einen zentralen Hub zum Empfang der Kommunikation ermöglicht und die Kommunikation mit dem LLM und Antworten ermöglicht. Die Plattform nutzt derzeit OpenAI ChatGPT 3.5.

Pedro vergleicht Unbabels Projekt damit, dass Unternehmen für selbstfahrende Autos Daten von normalen Kameras und nicht von komplizierten Systemen wie Lidar zusammenhacken: „Wir werden eine Unmenge an Daten bekommen, und wir können sie jetzt nutzen.“ Wir haben vor vier Jahren mit der Arbeit begonnen und der Wendepunkt liegt jetzt in Bezug auf generative KI. Dies ist der Moment, in dem sich das beschleunigen wird.“

Zugegebenermaßen ist dies nicht das erste Mal, dass EMG zur Steuerung eines Computers und zur Generierung von Antworten eingesetzt wird.

Beispielsweise verfügte ein Gerät der zu Facebook gehörenden CTRL-Labs über ein EMG Armband Im Jahr 2019 wurden elektrische Impulse erfasst, die von Muskelfasern ausgehen, wenn diese sich bewegen.

Unbabels Ansatz scheint jedoch das erste Mal zu sein, dass ein LLM auf diese Weise an EMG angeschlossen wird. Die Anwendungen könnten weitreichend sein.

Entsperren des Eingesperrten

Unbabel arbeitet jetzt mit dem Champalimaud-Stiftung in Lissabon, das sich unter anderem mit fortgeschrittener biomedizinischer Forschung und interdisziplinärer klinischer Versorgung im Bereich ALS beschäftigt. Es ist jedoch klar, dass das System auch in anderen Fällen zum Einsatz kommen könnte, beispielsweise bei Zerebralparese.

Der Bedarf an besseren Schnittstellen für Patienten, die nicht sprechen können, besteht weiterhin. Derzeit setzen sogenannte „Alternative and Augmentative Communication“ (AAC)-Produkte für ALS-Betroffene wie Grid oder Tobii auf Eye-Tracking. Diese Systeme erfordern oft einen frustrierenden Kalibrierungsprozess für den Benutzer, sind eigentlich nur in Innenräumen funktionsfähig und können für den Benutzer ermüdend sein. Außerdem sind sie auf mühsam langsame Tastaturen angewiesen.

Pedro fügt hinzu: „Unser Prototyp wird bereits vom größten ALS-Verband in Portugal unterstützt. Wir planen, dies bis Weihnachten dieses Jahres für unsere ersten ALS-Benutzer bereitzustellen. Über ALS-Patienten hinaus ist unser aktuelles Produkt auch für andere Patienten relevant, die Schwierigkeiten beim Tippen haben.“

Dimas ist nun auch Unbabels Nachfolger in der neu gegründeten portugiesischen Nationalmannschaft Zentrum für verantwortungsvolle KI, wo er CEO ist. Hierbei handelt es sich um eine Partnerschaft mit mehreren portugiesischen Startups und Forschungszentren, um 78 Millionen Euro in die KI-Forschung zu investieren und 210 Arbeitsplätze im Rahmen des Programms zu schaffen Portugiesischer Aufbau- und Resilienzplan. Zu den Partnern gehören Feedzai, Sword Health, Champalimaud Foundation und andere.

Generative KI kommt auf tragbare Geräte

In der Zwischenzeit zeigte die mir gezeigte Version von Halo die potenzielle Leistungsfähigkeit generativer KI für tragbare Geräte. Andere Teams erkunden diese schöne neue Welt. Erst diese Woche gelang es Neurowissenschaftlern neu erstellen Pink Floyds „Another Brick in the Wall, Teil 1“ nutzt KI, um die elektrische Aktivität des Gehirns zu entschlüsseln.

Das Konzept gibt es schon lange. In den 1980er Jahren wurde die Firefox-Filmunter der Regie von Clint Eastwood und mit Clint Eastwood in der Hauptrolle, postulierte eine Welt, in der Piloten Waffensysteme über gedankengesteuerte Plattformen steuern würden:

Dies ist jedoch nur die erste Version von Unbabels Halo: „Es ist immer noch ziemlich begrenzt auf das, was wir tun können, aber wir erreichen bereits eine entsprechende Kommunikationsrate von etwa 20 Wörtern pro Minute“, sagte Pedro.

„Um Ihnen einen Eindruck davon zu vermitteln: Stephen Hawking kommunizierte mit etwa zwei Wörtern pro Minute. Halo erreicht jetzt etwa 20 Wörter pro Minute. Der Verbrauchernutzungsgrad liegt bei 60, das Ziel liegt bei 80. Menschen sprechen maximal 120 bis 130 Wörter pro Minute. Wenn man also 150 erreicht, fängt man an, übermenschliche Fähigkeiten zu entwickeln.“