Einführung der YOU API: Webbasierte Suche für LLMs

Hintergrund

Große Sprachmodelle (LLMs) haben neue Möglichkeiten für die Umgestaltung verschiedener Wirtschaftsbereiche eröffnet. Diese Modelle sind in der Lage, riesige Textmengen zu verarbeiten und so Ergebnisse zu generieren, mit denen viele sprachabhängige Aufgaben automatisiert werden können. Es gibt jedoch drei Hauptprobleme mit LLMs, die wir angehen wollen:

  • Sie halluzinieren oft und produzieren Ergebnisse, die nicht auf realen Informationen beruhen.
  • Sie können Inhalte erstellen, ohne sie mit glaubwürdigen Quellen zu belegen, was die Überprüfung der Richtigkeit erschwert.
  • Sie haben Mühe, mit den sich ständig ändernden Ereignissen in der Welt Schritt zu halten, was zu veralteten Antworten führt.

Die YOU-API

Um diese Herausforderungen zu bewältigen, führen wir die YOU API ein. Sie bietet eine umfassende Reihe von Tools, die Entwicklern dabei helfen sollen, den Output von LLMs auf die aktuellsten, genauesten und relevantesten verfügbaren Informationen zu stützen. Durch die Nutzung dieser API können Entwickler sicherstellen, dass ihre mit LLM erstellten Inhalte auf zuverlässigen Quellen und aktuellen Daten beruhen.

Die API wird mit drei speziellen Endpunkten eingeführt:

  1. Web-Suche - Bietet Suchergebnisse ähnlich wie Google oder Bing, mit dem Unterschied, dass wir anstelle von kurzen Snippets, die Menschen zum Klicken auf die Links verleiten sollen, viele lange Snippets bereitstellen, die einem LLM die relevantesten Informationen liefern, um die beste Antwort zu erhalten. Dies ist ähnlich, aber leistungsfähiger und schneller als SERP-APIs.
  2. Nachrichten - Ähnlich wie die Websuche, aber ausschließlich Nachrichtenergebnisse für Anwendungen, die sich hauptsächlich auf aktuelle Ereignisse beziehen.
  3. Web-LLM - Unsere End-to-End-Lösung koppelt unsere Web-Suchergebnisse mit einem LLM für Retrieval-Augmented Generation (RAG), wodurch die Faktengenauigkeit verbessert und Halluzinationen bei den Antworten reduziert werden.

Unter docs.you.com erfahren Sie mehr darüber, wie Sie diese Endpunkte nutzen können. Die Endpunkte Web Search, News und Web LLM sind unter api.you.com verfügbar. Sie können auf eine kostenlose Testversion für die Endpunkte Web Search und News zugreifen.

Evaluierung der YOU-API

Wir bewerten die Effektivität der YOU-API, indem wir mehrere akademische Datensätze zur Beantwortung von Fragen an die Bedingungen des "offenen Webs" anpassen: Passagen, die einer KI normalerweise als Kontext zur Verfügung gestellt werden, müssen stattdessen aus dem Web selbst abgerufen werden. Diese Bewertungsmethode stellt wesentlich höhere Anforderungen an das System als Ganzes als die akademischen Benchmarks, von denen sie abgeleitet sind. Dies ermöglicht eine realistischere und praktischere Bewertung der Leistung von webbasierten RAG-Systemen.

In dieser ersten Reihe von Ergebnissen unten vergleichen wir die Verwendung von You.com, Google oder Bing-Suchergebnissen zusammen mit dem Standard-LLM, das in unserem Web-LLM-Endpunkt eingesetzt wird. Die YOU-API hat bei jedem Benchmark die Nase vorn.

Höhere F1-Werte in allen Bereichen zeigen, dass das LLM bei Suchergebnissen aus der YOU-API mit größerer Wahrscheinlichkeit eine korrekte Antwort generiert als selbst Google-Suchergebnisse. Das in diesen Experimenten verwendete LLM hat ein Kontextfenster von 16k Token und ist dem ChatGPT 3.5 Turbo-Modell von OpenAI am ähnlichsten. Die Recall-Zahlen haben eine noch größere Spanne als die F1-Ergebnisse, was darauf hindeutet, dass das LLM die zusätzlichen Informationen, die die You.com Web Search API liefert, nicht vollständig nutzen kann, um bessere Antworten zu generieren.

Rückruf bedeutet hier, dass die richtige Antwort (basierend auf der ursprünglichen Grundwahrheitsphrase aus den Datensätzen) in den von der API zurückgegebenen Snippets enthalten ist:

FreshQA-RückrufSquadV2-RückrufHotpotQA-RückrufMS MARCO Rückruf
Sie.com85.1%75.6%67.4%81.5%
Google72.2%50.4%49.0%65.3%
Bing73.8%54.4%56.0%70.5%

Verwendung eines LLM mit einem 16k-Kontextfenster, das mit Snippets gefüllt ist, um Fragen zu beantworten:

FreshQA KaderV2 F1HotpotQA F1MS MARCO
Sie.com44.7%27.5%34.7%23.8%
Google41.4%27.0%33.4%20.1%
Bing40.7%25.1%34.5%22.6%

Wenn Sie Ihren vollständigen Web-Index für LLMs auf diesen Datensätzen evaluieren möchten, senden Sie uns bitte eine E-Mail an [email protected] und wir können Ihnen die Evaluierungs-Benchmarks zur Verfügung stellen.

Künftige Arbeit

Wir werden weiterhin daran arbeiten, die Funktionalität der API und die Benutzerfreundlichkeit zu verbessern. Es werden Anstrengungen unternommen, um die APIs intuitiver zu gestalten, damit die Nutzer mühelos mit dem Kontext umgehen können. Darüber hinaus werden Zwischenmodule wie das Rewriting von Abfragen als neue Endpunkte zur Verfügung gestellt, so dass Entwickler die YOU-API nach ihren eigenen Bedürfnissen nutzen können. Darüber hinaus will das API-Team agentenähnliche Funktionen einbauen, ähnlich denen der You.com-Modi Agent und Deep Research, so dass die gesamte Funktionalität von You.com über die API zugänglich ist.

Schlussfolgerung

Die YOU-API ermöglicht es Entwicklern, die Einschränkungen von LLMs zu überwinden, indem sie ihnen die Werkzeuge zur Verfügung stellt, mit denen sie ihre Ergebnisse auf die neuesten, genauesten und relevantesten Informationen stützen können. Mit ihrer überlegenen Leistung im Vergleich zu bestehenden Suchanbietern und ihrer Fähigkeit, sich an verschiedene LLMs anzupassen, revolutioniert die API die Art und Weise, wie Entwickler die Leistung von LLMs in ihren Anwendungen nutzen können. Wir hoffen, dass dadurch das Wissen im Web von den sehr begrenzten und restriktiven Optionen, die derzeit zur Verfügung stehen, befreit wird. Wir sind gespannt auf die vielen Anwendungen, die entwickelt werden, und werden unser Ökosystem mit zukünftigen Innovationen mit aktuellem Wissen aus dem Web unterstützen.

Erfahren Sie mehr darüber, wie Sie die API verwenden können unter docs.you.com. Besuchen Sie api.you.com, um auf die Endpunkte Web Search, News und Web LLM zuzugreifen. Wenn Sie Fragen haben, senden Sie bitte eine E-Mail an [email protected].

Juhu, du hast den ganzen Artikel gelesen. Wenn dir diese Geschichte gefallen hat, empfehle sie bitte weiter 👏 und teile sie, damit andere sie finden!