Presentazione dell'API YOU: Ricerca su scala web per i LLM

Sfondo

I modelli linguistici di grandi dimensioni (LLM) hanno aperto nuove possibilità per trasformare diversi settori dell'economia. Questi modelli hanno la capacità di assorbire grandi quantità di testo, consentendo di generare output in grado di automatizzare molte attività che dipendono dal linguaggio. Tuttavia, ci sono tre problemi principali con gli LLM che ci proponiamo di affrontare:

  • Spesso hanno delle allucinazioni, producendo risultati che non si basano sulle informazioni del mondo reale.
  • Possono generare contenuti senza supportarli con fonti credibili, il che rende difficile verificarne l'accuratezza.
  • Fanno fatica a stare al passo con gli eventi in continua evoluzione che accadono in tutto il mondo, e questo porta a risposte obsolete.

L'API YOU

Per affrontare queste sfide, stiamo lanciando l'API YOU. Si tratta di una suite completa di strumenti progettati per aiutare gli sviluppatori a fondare i risultati degli LLM sulle informazioni più recenti, accurate e pertinenti disponibili. Sfruttando la potenza di questa API, gli sviluppatori possono garantire che i contenuti generati dai LLM siano supportati da fonti affidabili e dati aggiornati.

L'API viene lanciata con tre endpoint dedicati:

  1. Ricerca sul Web - Fornisce risultati di ricerca simili a quelli di Google o Bing, con la differenza che invece di brevi snippet progettati per invogliare gli esseri umani a fare clic sui link, forniamo molti snippet lunghi progettati per fornire a un LLM le informazioni più rilevanti necessarie per generare la risposta migliore. Si tratta di una soluzione simile, ma più potente e veloce delle API SERP.
  2. Notizie - Simile a Web Search, ma con risultati esclusivamente di notizie per applicazioni che si basano principalmente su eventi attuali.
  3. LLM Web - La nostra soluzione end-to-end abbina i risultati della ricerca sul Web a un LLM per la retrieval-augmented generation (RAG), migliorando l'accuratezza dei fatti e riducendo le allucinazioni nelle risposte.

Per ulteriori informazioni sull'uso di ciascuno di essi, consultare docs.you.com. Gli endpoint Web Search, News e Web LLM sono disponibili su api.you.com. È possibile accedere a una versione di prova gratuita degli endpoint Web Search e News.

Valutazione dell'API YOU

Valutiamo l'efficacia dell'API YOU adattando diversi set di dati accademici di risposta alle domande all'ambiente "open web": i passaggi tipicamente forniti a un'IA come contesto devono invece essere recuperati dal web stesso. Questo metodo di valutazione richiede molto di più al sistema nel suo complesso rispetto ai benchmark accademici da cui sono derivati. Ciò fornisce una valutazione più realistica e pratica delle prestazioni dei sistemi RAG su scala web.

In questa prima serie di risultati, confrontiamo l'utilizzo dei risultati di ricerca di You.com, Google o Bing con l'LLM predefinito distribuito nel nostro endpoint Web LLM. L'API YOU è in vantaggio in tutti i benchmark.

I punteggi F1 più elevati dimostrano che l'LLM ha maggiori probabilità di generare una risposta corretta in presenza di risultati di ricerca provenienti dall'API YOU rispetto ai risultati di ricerca di Google. L'LLM utilizzato in questi esperimenti ha una finestra di contesto di 16k token ed è molto simile al modello ChatGPT 3.5 Turbo di OpenAI. I numeri di richiamo hanno un margine ancora più ampio rispetto ai punteggi F1, il che suggerisce che l'LLM non è in grado di sfruttare appieno le informazioni aggiuntive fornite dall'API di ricerca Web di You.com per generare risposte migliori.

Richiamo significa che la risposta corretta (basata sulla frase di verità originale dei dataset) è inclusa negli snippet restituiti dall'API:

Richiamo FreshQARichiamo della SquadraV2Richiamo HotpotQARichiamo di MS MARCO
You.com85.1%75.6%67.4%81.5%
Google72.2%50.4%49.0%65.3%
Bing73.8%54.4%56.0%70.5%

Utilizzo di un LLM con una finestra contestuale da 16k piena di snippet per rispondere alle domande:

FreshQA SquadraV2 F1HotpotQA F1SM MARCO
You.com44.7%27.5%34.7%23.8%
Google41.4%27.0%33.4%20.1%
Bing40.7%25.1%34.5%22.6%

Se desiderate valutare il vostro web-index su larga scala per i LLM su questi set di dati, scriveteci a [email protected] e potremo condividere i benchmark di valutazione.

Lavoro futuro

Continueremo a lavorare per migliorare le funzionalità e l'esperienza utente delle API. Ci stiamo impegnando per rendere le API più intuitive e conversazionali, consentendo agli utenti di gestire il contesto senza alcuno sforzo. Inoltre, moduli intermedi come la riscrittura delle query saranno esposti come nuovi endpoint, consentendo agli sviluppatori di personalizzare l'uso dell'API YOU in base alle loro esigenze specifiche. Inoltre, il team API intende incorporare funzionalità simili a quelle degli agenti di You.com e delle modalità di ricerca approfondita, rendendo accessibili attraverso l'API tutte le funzionalità di You.com.

Conclusione

L'API YOU consente agli sviluppatori di superare i limiti degli LLM, fornendo loro gli strumenti per fondare i loro risultati sulle informazioni più recenti, accurate e pertinenti. Grazie alle sue prestazioni superiori rispetto ai provider di ricerca esistenti e alla sua capacità di adattarsi a vari LLM, l'API sta rivoluzionando il modo in cui gli sviluppatori possono sfruttare la potenza degli LLM nelle loro applicazioni. Ci auguriamo che questo liberi la conoscenza sul web dalle opzioni molto limitate e restrittive attualmente disponibili. Siamo entusiasti di vedere le numerose applicazioni in fase di realizzazione e sosterremo il nostro ecosistema con le future innovazioni, grazie alle conoscenze aggiornate provenienti dal web.

Per saperne di più su come utilizzare l'API, visitare docs.you.com. Visitare api.you.com per accedere agli endpoint Web Search, News e Web LLM. Per qualsiasi domanda, inviare un'e-mail a [email protected].

Evviva, avete letto tutto l'articolo. Se ti è piaciuta questa storia, ti prego di consigliarla 👏 e di condividerla per aiutare gli altri a trovarla!