Microsoft-Forscher verwenden ChatGPT zur Steuerung von Robotern und Drohnen

ChatGPT ist am besten als KI-Programm bekannt, das Aufsätze schreiben und Fragen beantworten kann, aber jetzt verwendet Microsoft den Chatbot, um Roboter zu steuern.

Am Montag, die Forscher des Unternehmens veröffentlicht(Öffnet in einem neuen Fenster) ein Papier darüber, wie ChatGPT den Prozess der Programmierung von Softwarebefehlen zur Steuerung verschiedener Roboter, wie z. B. mechanischer Arme und Drohnen, rationalisieren kann.

„Wir verlassen uns immer noch stark auf handgeschriebenen Code, um Roboter zu steuern“, schreiben die Forscher. Der Ansatz von Microsoft hingegen greift auf ChatGPT zurück, um einen Teil des Computercodes zu schreiben.

(Quelle: Microsoft)

ChatGPT kann dies tun, weil das KI-Modell mit riesigen Bibliotheken von menschlichem Text trainiert wurde – einschließlich des Codes für Softwareprogramme. ChatGPT hat bereits gezeigt, dass es Programme in verschiedenen Sprachen basierend auf textbasierten Anfragen schreiben und debuggen kann. Daher entschieden sich die Forscher von Microsoft zu prüfen, ob sie die gleichen Fähigkeiten anwenden könnten, um Code für Robotik-Hardware zu schreiben.

„Es stellt sich heraus, dass ChatGPT selbst viel leisten kann, aber noch etwas Hilfe benötigt“, schrieben die Forscher. Um ChatGPT beim Schreiben des Computercodes zu helfen, skizzierten die Forscher dem KI-Programm zunächst die verschiedenen Befehle, die es zur Steuerung eines bestimmten Roboters verwenden könnte.

Ein Beispiel für eine Aufforderung an ChatGPT, einen Roboter zu steuern. (Quelle: Microsoft)

„Wir schreiben eine Textaufforderung für ChatGPT, die das Aufgabenziel beschreibt und gleichzeitig explizit angibt, welche Funktionen aus der High-Level-Bibliothek verfügbar sind. Die Eingabeaufforderung kann auch Informationen über Aufgabenbeschränkungen enthalten oder wie ChatGPT seine Antworten formulieren sollte“, fügten die Forscher hinzu.

Das Team wendete den Ansatz auf mehrere Demos an, von denen eine die Verwendung von ChatGPT zum Schreiben von Computercode zur Steuerung einer Luftdrohne beinhaltete. Microsoft-Forscher erstmal gefüttert(Öffnet in einem neuen Fenster) der KI-Chatbot eine ziemlich lange Eingabeaufforderung mit den Computerbefehlen, die er schreiben könnte, um die Drohne zu steuern. Danach konnten die Forscher Anfragen stellen, um ChatGPT anzuweisen, den Roboter auf verschiedene Weise zu steuern. Dazu gehörte auch, ChatGPT zu bitten, die Kamera der Drohne zu verwenden, um ein Getränk wie Kokosnusswasser und eine Dose Coca-Cola zu identifizieren.

„ChatGPT stellte klärende Fragen, wenn die Anweisungen des Benutzers mehrdeutig waren, und schrieb komplexe Codestrukturen für die Drohne, wie z. B. ein Zick-Zack-Muster, um Regale visuell zu inspizieren“, sagte das Team.

In einem Fall sagten die Forscher dem Chatbot auch: „Machen Sie ein Selfie mit einer reflektierenden Oberfläche.“ ChatGPT war in der Lage, die Anfrage zu interpretieren und Computercode zu schreiben, damit die Drohne vor einem Spiegel fliegt und das Selfie macht. Inzwischen in einem anderen Demo(Öffnet in einem neuen Fenster)verwendeten die Forscher ChatGPT, um Code zu schreiben, der in der Lage ist, einen Roboterarm anzuweisen, das Microsoft-Logo aus mehreren Holzklötzen zu bauen.

Obwohl die Forschung das Potenzial von ChatGPT in der Robotik zeigt, weist der Ansatz immer noch eine entscheidende Einschränkung auf: Der Chatbot kann nur den Computercode für den Roboter schreiben, basierend auf der anfänglichen „Eingabeaufforderung“ oder textbasierten Anfrage, die der Mensch ihm gibt. Daher muss ein menschlicher Ingenieur ChatGPT gründlich erklären, wie die Anwendungsprogrammierschnittstelle für einen Roboter funktioniert, sonst wird das KI-Programm Schwierigkeiten haben, anwendbaren Computercode zu generieren.

In ihrem Artikel liefern Microsoft-Forscher einige Richtlinien, wie man eine effektive Eingabeaufforderung für ChatGPT schreibt, wenn es um die Steuerung von Robotern geht. Das Team erstellte auch eine Open-Source-Plattform auf GitHub(Öffnet in einem neuen Fenster) „wo jeder Beispiele für Aufforderungsstrategien für verschiedene Robotik-Kategorien teilen kann.“

Die andere Einschränkung ist jedoch, wie es scheint, dass der Roboter ständig mit ChatGPT verbunden sein muss. Aber auf der anderen Seite könnte die Integration eine Ära einleiten, in der Roboter intelligent genug sind, um alle Arten von menschlichen Sprachbefehlen zu verstehen.

„Wolltest du schon immer einem Roboter mit deinen eigenen Worten sagen, was er tun soll, so wie du es einem Menschen tun würdest? Wäre es nicht erstaunlich, deinem Heimroboter einfach zu sagen: ‚Bitte wärme mein Mittagessen auf‘, und er findet es die Mikrowelle allein?” fragen die Forscher.

In der Zwischenzeit warnen Forscher andere, vorsichtig zu sein, wenn sie ChatGPT verwenden, um einen Roboter zu steuern. „Wir betonen, dass diesen Tools nicht die volle Kontrolle über die Robotik-Pipeline gegeben werden sollte, insbesondere für sicherheitskritische Anwendungen“, schrieben sie. „Angesichts der Neigung von LLMs (Large Language Models), eventuell falsche Antworten zu generieren, ist es ziemlich wichtig, die Lösungsqualität und die Sicherheit des Codes mit menschlicher Aufsicht sicherzustellen, bevor er auf dem Roboter ausgeführt wird.“