Als OpenAI ChatGPT mit dem Internet verband, steigerte es die Fähigkeiten des KI-Chatbots. Nun möchte die Suchmaschine You.com dasselbe für jedes große Sprachmodell (LLM) da draußen tun.
You.com gab heute bekannt, dass Start einer Reihe von APIs, die darauf abzielen, LLMs wie Metas Llama 2 Echtzeitzugriff auf das offene Web – oder kleinere Teile davon – zu ermöglichen. Ab 100 US-Dollar pro Monat ergänzen die APIs von You.com die Antworten von LLMs auf Fragen von Benutzern (z. B. „Welche Feiertage sind diese Woche?“) mit aktuellem Kontext aus dem Internet.
Kunden wie LlamaIndex, Anthropic und Cohere haben es bereits in ihre Modelle integriert.
„[We’ve] Ich habe viele Anfragen nach einer API mit diesen Funktionen erhalten“, sagte Richard Socher, CEO und Gründer von You.com, gegenüber TechCrunch in einem E-Mail-Interview. „Wenn Sie nach einem aktuellen Ereignis fragen, beispielsweise einem Super-Bowl-Ergebnis am Tag des Super Bowl, sucht unsere API im Internet nach diesen Ergebnissen und Sie können diese Informationen dann in diesem Moment zum … LLM hinzufügen.“ Damit können Sie Ihre Frage dann genauer beantworten.“
Die meisten LLMs werden anhand öffentlich verfügbarer, statischer Daten geschult, die von öffentlichen Webseiten, E-Books und anderswo stammen. Das reicht aus, um sie dazu zu bringen, Aufgaben zu erledigen, vom Schreiben von E-Mails bis zum Verfassen von Anschreiben und Aufsätzen. Aber es beschränkt das Wissen der LLMs auf den Zeitbereich der Daten; Ein LLM, der vor September 2021 im Bereich Info geschult wurde, wüsste natürlich nichts von den Ereignissen, die gestern passiert sind.
Mit den neuen APIs von You.com können LLMs diese Einschränkung überwinden, indem sie einen Index mit langen Ausschnitten von Websites erstellen – ein wichtiger Unterschied zu den Standard-Such-APIs von Bing und Google, die laut Socher nur sehr kurze Ausschnitte bedienen, „die dazu bestimmt sind, jemanden zu verführen“. um auf einen Link zu klicken.“ LLMs können diesen benutzerdefinierten Index bei der Beantwortung von Fragen nutzen, den relevanten Ausschnitt identifizieren und ihn zusammenfassen, um eine aktualisierte Antwort bereitzustellen.
„Jeder LLM erhält eine Eingabeaufforderung – eine Beschreibung, wie er sich verhalten und Fragen beantworten soll“, erklärte Socher. „Du Sie können am Ende dieser Aufforderung Ihre eigene Frage hinzufügen, um ein Gespräch mit einem LLM zu führen. Was diese API ermöglicht, ist Folgendes Du kann der Eingabeaufforderung viel aktuellen Kontext aus dem Web hinzufügen, nachdem die Frage gestellt wurde.“
You.com bietet beim Start drei API-Varianten an: Websuche, Nachrichten und RAG. Die Websuche bietet LLMs Zugriff auf den oben genannten Index langer Schnipsel, während News – wie der Name schon sagt – ausschließlich Nachrichtenergebnisse liefert. Was RAG betrifft (das für „Retrieval-Augmented Generation“ steht), verknüpft die Websuchergebnisse von You.com mit einem LLM, um Antworten zu generieren, die laut Socher „sachlicher“ sind, obwohl die Jury offensichtlich anderer Meinung ist.
Nun kann ein LLM mit Webzugriff eine riskante Angelegenheit sein – unabhängig davon, welche APIs er nutzt. Das Live-Web ist weniger kuratiert als ein statischer Trainingsdatensatz und wird folglich auch weniger gefiltert. Suchergebnisse können sein gespielt, und sie sind auch nicht unbedingt repräsentativ für die Gesamtheit des Webs. Weil die meisten Algorithmen Websites priorisieren, die moderne Webtechnologien wie Verschlüsselung, mobile Unterstützung usw. verwenden Schema-MarkupWebsites mit ansonsten qualitativ hochwertigen Inhalten gehen im Durcheinander unter.
Socher räumte ein, dass die API von You.com insbesondere bei lokalisierten Fragen im „Near Me“-Stil Schwächen aufweist (z. B. „Wo gibt es gutes Sushi in meiner Nähe?“), da die API die Standorte der LLM-Benutzer nicht kennt. Aber Verbesserungen werden bereits vorgenommen, einschließlich Upgrades, die es den APIs von You.com ermöglichen, Code zu erstellen und „viel komplexere Antworten“ mit nachvollziehbaren Zitaten zu produzieren, sagt Socher.
„Wir werden bald Nachrichten und die allgemeine Websuche zusammenführen, um es für Unternehmen noch einfacher zu machen, unsere APIs zu nutzen“, fügte er hinzu. „Durch die Integration unserer API in die von den Entwicklern entwickelte Lösung werden ihre Antworten für ihre Endbenutzer relevanter und hilfreicher … [The solution can turn] ins Internet gehen, um Fakten zu überprüfen.“
Aufgrund der neuen APIs fragt sich dieser Autor, ob die Suche das nächste Schlachtfeld an der Front der generativen KI ist. Da sich Open-Source-LLMs dem Niveau einiger ihrer Closed-Source-Pendants nähern, wird die Stärke der Suchmaschine, die diese Closed-Source-LLMs unterstützt (Bing im Fall von ChatGPT, Google im Fall von Bard), zu einem stärkeren Verkaufsargument – es sei denn, APIs wie die von You.com effektiv gleiche Wettbewerbsbedingungen schaffen.
Das ist ein großes „Wenn“ – keine API ist perfekt, und die von You.com weist sicherlich Mängel auf, die über die von Socher erwähnten hinausgehen. Aber ich würde behaupten, dass Wettbewerb immer eine gute Sache ist.
Die neuen You.com-APIs beginnen bei 100 US-Dollar pro Monat für 14.200 API-Aufrufe nach einer 60-tägigen Testversion, die 1.000 kostenlose monatliche Aufrufe beinhaltet. You.com bietet auch maßgeschneiderte Pakete für größere Unternehmensverträge an, die Jahresabonnements und Rabatte beinhalten.