Ein von der New Yorker Regierung veröffentlichter KI-Chatbot, der Geschäftsinhabern den Zugriff auf relevante Informationen erleichtern soll, hat Unwahrheiten verbreitet und Benutzer zeitweise sogar falsch über gesetzeswidrige Handlungen informiert, heißt es in einem Bericht von Das Markup. Der Bericht wurde gemeinsam mit den lokalen gemeinnützigen Nachrichtenredaktionen veröffentlicht Dokumentiert Und Die Stadtenthält zahlreiche Beispiele für Ungenauigkeiten in den Antworten des Chatbots auf Fragen zu Wohnungspolitik, Arbeitnehmerrechten und anderen Themen.
Verwaltung von Bürgermeister Adams stellte den Chatbot vor im Oktober als Ergänzung zum MyCity-Portal, das im März 2023 gestartet als „One-Stop-Shop für städtische Dienstleistungen und Vorteile“. Der Chatbot, der auf der Azure-KI von Microsoft basiert, richtet sich an aktuelle und angehende Geschäftsinhaber und wurde als Quelle „umsetzbarer und vertrauenswürdiger Informationen“ angepriesen, die direkt von den Websites der Stadtverwaltung stammen. Es handelt sich jedoch um ein Pilotprogramm, und in einem Haftungsausschluss auf der Website wird darauf hingewiesen, dass es „gelegentlich falsche, schädliche oder voreingenommene Inhalte produzieren kann“.
In Das MarkupBei den Tests lieferte der Chatbot wiederholt falsche Informationen. Auf die Frage „Kann ich mein Geschäft bargeldlos machen?“ wurde beispielsweise geantwortet: „Ja, Sie können Ihr Geschäft in New York City bargeldlos machen“ – und das, obwohl New York City im Jahr 2020 bargeldlose Geschäfte verboten hat. Der Bericht zeigt, dass der Chatbot auch falsch darauf geantwortet hat, ob Arbeitgeber das Trinkgeld ihrer Arbeitnehmer annehmen können, ob Vermieter Gutscheine gemäß Abschnitt 8 oder Mieter bei Mietbeihilfen akzeptieren müssen und ob Unternehmen ihre Mitarbeiter über Terminänderungen informieren müssen. Ein Experte für Wohnungspolitik, der mit gesprochen hat Das Markup nannte den Chatbot im schlimmsten Fall „gefährlich ungenau“.
Die Stadt hat angegeben, dass der Chatbot noch in Arbeit ist. In einer Erklärung gegenüber Engadget sagte Leslie Brown, eine Sprecherin des New Yorker Büros für Technologie und Innovation: „Im Einklang mit den zentralen Grundsätzen der Stadt hinsichtlich Zuverlässigkeit und Transparenz rund um KI informiert die Website die Benutzer darüber, dass es sich nur um klar gekennzeichnete Pilot-Betaprodukte handeln sollte.“ Wird für geschäftsbezogene Inhalte verwendet, weist Benutzer auf potenzielle Risiken hin und fordert sie per Haftungsausschluss dazu auf, ihre Antworten anhand der bereitgestellten Links noch einmal zu überprüfen und diese nicht als Ersatz für professionelle Beratung zu verwenden.“
„Die Website hat bereits Tausenden von Menschen zeitnahe, genaue Antworten geliefert und bietet eine Feedback-Option, um kontinuierliche Verbesserungen des Beta-Tools voranzutreiben“, sagte Brown. „Wir werden uns weiterhin auf die Verbesserung dieses Tools konzentrieren, damit wir kleine Unternehmen in der ganzen Stadt besser unterstützen können.“
Update, 31. März 2024, 9:23 Uhr ET: Diese Geschichte wurde aktualisiert und enthält nun eine Stellungnahme des NYC Office of Technology and Innovation.