Google hat eine neue Kontrolle in seinem angekündigt robots.txt-Indexierungsdatei Dadurch könnten Verlage entscheiden, ob ihre Inhalte „zur Verbesserung der generativen APIs von Bard und Vertex AI beitragen, einschließlich zukünftiger Generationen von Modellen, die diese Produkte antreiben“. Bei dem Steuerelement handelt es sich um einen Crawler namens Google-Extended. Publisher können ihn der Datei in der Dokumentation ihrer Website hinzufügen, um Google anzuweisen, ihn nicht für diese beiden APIs zu verwenden. In seine AnkündigungDanielle Romain, Vizepräsidentin für „Trust“ des Unternehmens, sagte, man habe „von Web-Publishern gehört, dass sie eine größere Auswahl und Kontrolle darüber wünschen, wie ihre Inhalte für neue Anwendungsfälle der generativen KI verwendet werden“.
Romain fügte hinzu, dass Google-Extended „ein wichtiger Schritt zur Bereitstellung von Transparenz und Kontrolle ist, den unserer Meinung nach alle Anbieter von KI-Modellen verfügbar machen sollten.“ Da generative KI-Chatbots immer beliebter werden und immer tiefer in Suchergebnisse integriert werden, ist die Art und Weise, wie Inhalte von Dingen wie Bard- und Bing-KI verarbeitet werden, für Verlage von Belang.
Während diese Systeme möglicherweise ihre Quellen angeben, aggregieren sie Informationen, die von verschiedenen Websites stammen, und präsentieren sie den Benutzern im Rahmen der Konversation. Dies könnte den Traffic zu einzelnen Filialen drastisch reduzieren, was sich dann erheblich auf Dinge wie Werbeeinnahmen und ganze Geschäftsmodelle auswirken würde.
Google sagte, dass die Opt-outs beim Training von KI-Modellen für die nächste Generation von Modellen für Bard- und Vertex-KI gelten. Verlage, die ihre Inhalte von Dingen wie Search Generative Experience (SGE) fernhalten möchten, sollten dazu weiterhin den Googlebot-Benutzeragenten und das NOINDEX-Meta-Tag im robots.txt-Dokument verwenden.
Romain weist darauf hin, dass „Web-Publisher mit der Ausweitung von KI-Anwendungen mit der zunehmenden Komplexität konfrontiert werden, verschiedene Nutzungen in großem Maßstab zu verwalten.“ In diesem Jahr hat die Entwicklung von Tools, die auf generativer KI basieren, explosionsartig zugenommen, und da die Suche eine so wichtige Möglichkeit darstellt, Inhalte zu entdecken, dürfte sich die Lage im Internet enorm verändern. Die Einführung dieser Kontrolle durch Google kommt nicht nur zum richtigen Zeitpunkt, sondern zeigt auch, dass das Unternehmen darüber nachdenkt, welche Auswirkungen seine Produkte auf das Web haben werden.
Update, 28. September um 17:36 Uhr ET: Dieser Artikel wurde aktualisiert, um weitere Informationen darüber hinzuzufügen, wie Verlage ihre Inhalte aus den Such- und KI-Ergebnissen und Schulungen von Google heraushalten können.