Die Flexibilität des Chatbots bringt auch einige ungelöste Probleme mit sich. Es kann zu voreingenommenen, unvorhersehbaren und oft erfundenen Antworten führen und basiert zum Teil auf personenbezogenen Daten, die ohne Erlaubnis gespendet wurden, was Datenschutzbedenken aufwirft.
Goldkind empfiehlt Personen, die sich an ChatGPT wenden, mit den Nutzungsbedingungen vertraut zu sein, die Grundlagen seiner Funktionsweise zu verstehen (und zu wissen, dass in einem Chat geteilte Informationen möglicherweise nicht privat bleiben) und seine Einschränkungen, wie etwa seine Tendenz zur Fälschung, im Auge zu behalten Information. Young sagte, sie hätten darüber nachgedacht, den Datenschutz für ChatGPT zu aktivieren, denken aber auch, dass ihre Perspektive als autistischer, transsexueller Alleinerziehender nützliche Daten für den Chatbot insgesamt sein könnte.
Wie so viele andere Menschen können auch Autisten im Gespräch mit ChatGPT Wissen und Selbstbestimmung finden. Für einige überwiegen die Vorteile die Nachteile.
Maxfield Sparrow, der Autist ist und Selbsthilfegruppen für Autisten und Transgender-Menschen leitet, hat ChatGPT als hilfreich bei der Entwicklung neuen Materials empfunden. Viele autistische Menschen haben in Gruppensitzungen Probleme mit herkömmlichen Eisbrechern, da die sozialen Spiele größtenteils für neurotypische Menschen konzipiert sind, sagt Sparrow. Deshalb veranlassten sie den Chatbot, Beispiele zu finden, die für autistische Menschen besser funktionieren. Nach einigem Hin und Her spuckte der Chatbot aus: „Wenn du Wetter wärst, was für ein Wetter wärst du?“
Sparrow sagt, das sei der perfekte Auftakt für die Gruppe – prägnant und mit Bezug zur natürlichen Welt, mit der sich eine neurodivergente Gruppe verbinden könne, sagt Sparrow. Der Chatbot ist auch zu einer Quelle des Trostes geworden, wenn Sparrow krank ist, und für andere Ratschläge, etwa wie man seine Morgenroutine organisiert, um produktiver zu sein.
Chatbot-Therapie ist ein Konzept, das Jahrzehnte zurückreicht. Der erste Chatbot, ELIZA, war ein Therapiebot. Sie entstand in den 1960er Jahren am MIT Artificial Intelligence Laboratory und basierte auf der Rogerianischen Therapie, bei der ein Berater oft in Form einer Frage wiederholt, was ein Klient ihm sagt. Das Programm nutzte keine KI, wie wir sie heute kennen, aber durch Wiederholung und Mustervergleich vermittelten seine skriptbasierten Antworten den Benutzern den Eindruck, dass sie mit etwas sprachen, das sie verstand. Obwohl ELIZA mit der Absicht entwickelt wurde, zu beweisen, dass Computer den Menschen nicht ersetzen können, begeisterte es einige seiner „Patienten“, die intensive und ausführliche Gespräche mit dem Programm führten.
In jüngerer Zeit sind Chatbots mit KI-gesteuerten, skriptgesteuerten Antworten – ähnlich wie Siri von Apple – weit verbreitet. Zu den beliebtesten gehört ein Chatbot, der die Rolle eines echten Therapeuten übernehmen soll. Woebot basiert auf Praktiken der kognitiven Verhaltenstherapie und verzeichnete während der Pandemie einen Anstieg der Nachfrage, da mehr Menschen als je zuvor psychosoziale Dienste in Anspruch nahmen.
Da diese Apps jedoch einen geringeren Umfang haben und skriptgesteuerte Antworten liefern, kann sich die umfassendere Konversation von ChatGPT für diejenigen, die komplexe soziale Probleme lösen möchten, effektiver anfühlen.
Margaret Mitchell, leitende Ethikwissenschaftlerin beim Startup Hugging Face, das Open-Source-KI-Modelle entwickelt, schlägt vor, dass Menschen, die mit komplexeren Problemen oder schwerer emotionaler Belastung konfrontiert sind, den Einsatz von Chatbots einschränken sollten. „Es könnte zu problematischen Diskussionsrichtungen führen oder negatives Denken anregen“, sagt sie. „Die Tatsache, dass wir nicht die volle Kontrolle darüber haben, was diese Systeme sagen können, ist ein großes Problem.“