Presentación de la API YOU: Búsqueda a escala web para LLM

Fondo

Los grandes modelos lingüísticos (LLM) han abierto nuevas posibilidades para transformar diversos sectores de la economía. Estos modelos tienen la capacidad de absorber grandes cantidades de texto, lo que les permite generar resultados capaces de automatizar muchas tareas que dependen del lenguaje. Sin embargo, los LLM presentan tres problemas principales que pretendemos resolver:

  • A menudo alucinan, produciendo resultados que carecen de fundamento en la información del mundo real.
  • Pueden generar contenidos sin apoyarlos en fuentes creíbles, lo que dificulta la verificación de su exactitud.
  • Se esfuerzan por mantenerse al día de los cambiantes acontecimientos que se producen en todo el mundo, lo que da lugar a respuestas obsoletas.

La API YOU

Para hacer frente a estos retos, lanzamos la YOU API. Ofrece un conjunto completo de herramientas diseñadas para ayudar a los desarrolladores a fundamentar los resultados de los LLM en la información más reciente, precisa y relevante disponible. Aprovechando la potencia de esta API, los desarrolladores pueden garantizar que el contenido generado por sus LLM está respaldado por fuentes fiables y datos actualizados.

La API se lanza con tres puntos finales específicos:

  1. Búsqueda web - Proporciona resultados de búsqueda similares a los de Google o Bing, con la diferencia de que en lugar de fragmentos cortos diseñados para atraer a los humanos a hacer clic en los enlaces, proporcionamos muchos fragmentos largos diseñados para ofrecer a un LLM la información más relevante necesaria para generar la mejor respuesta. Esto es similar a las API de las SERP, pero más potente y rápido.
  2. Noticias - Similar a la Búsqueda en la Web, pero exclusivamente resultados de noticias para aplicaciones que se basan principalmente en la actualidad.
  3. LLM web - Nuestra solución integral combina nuestros resultados de búsqueda web con un LLM para la generación aumentada por recuperación (RAG), lo que mejora la precisión de los hechos y reduce las alucinaciones en las respuestas.

Puede obtener más información sobre cómo utilizar cada uno de ellos en docs.you.com. Los puntos finales Web Search, News y Web LLM están disponibles en api.you.com. Puede acceder a una versión de prueba gratuita de los puntos finales Búsqueda web y Noticias.

Evaluación de la API YOU

Evaluamos la eficacia de la API YOU adaptando varios conjuntos de datos académicos de respuesta a preguntas al entorno de la "web abierta": los pasajes que normalmente se proporcionan a una IA como contexto deben recuperarse de la propia web. Este método de evaluación exige mucho más del sistema en su conjunto que las referencias académicas de las que se derivan. Así se consigue una evaluación más realista y práctica del rendimiento de los sistemas GAR a escala web.

En esta primera serie de resultados, comparamos el uso de los resultados de búsqueda de You.com, Google o Bing con el LLM predeterminado desplegado en nuestro punto final Web LLM. La API YOU sale ganando en todas las pruebas.

Las puntuaciones F1 más altas muestran que es más probable que el LLM genere una respuesta correcta a partir de los resultados de búsqueda de la API YOU que incluso a partir de los resultados de búsqueda de Google. El LLM utilizado en estos experimentos tiene una ventana de contexto de 16.000 tokens y es muy similar al modelo ChatGPT 3.5 Turbo de OpenAI. Las cifras de recuperación tienen un margen aún mayor que las puntuaciones F1, lo que sugiere que el LLM no puede aprovechar plenamente la información adicional que proporciona la API de búsqueda web de You .com para generar mejores respuestas.

Recordar significa que la respuesta correcta (basada en la frase original de los conjuntos de datos) se incluye en los fragmentos devueltos por la API:

Retirada de FreshQARecuperación de SquadV2Retirada de HotpotQAMS MARCO Recall
Usted.com85.1%75.6%67.4%81.5%
Google72.2%50.4%49.0%65.3%
Bing73.8%54.4%56.0%70.5%

Utilizando un LLM con una ventana contextual de 16k llena de fragmentos para responder a las preguntas:

FreshQA EscuadraV2 F1HotpotQA F1MS MARCO
Usted.com44.7%27.5%34.7%23.8%
Google41.4%27.0%33.4%20.1%
Bing40.7%25.1%34.5%22.6%

Si desea evaluar su índice web a escala completa para LLM en estos conjuntos de datos, envíenos un correo electrónico a [email protected] y podremos compartir los puntos de referencia de la evaluación.

Trabajos futuros

Seguiremos trabajando para mejorar la funcionalidad de la API y la experiencia del usuario. Se están haciendo esfuerzos para que las API sean más intuitivas y conversacionales, permitiendo a los usuarios manejar el contexto sin esfuerzo. Además, módulos intermedios como la reescritura de consultas se expondrán como nuevos puntos finales, lo que permitirá a los desarrolladores personalizar el uso de la API YOU en función de sus necesidades específicas. Además, el equipo de la API pretende incorporar funciones similares a las de los modos Agente e Investigación profunda de You.com, para que toda la funcionalidad de You.com sea accesible a través de la API.

Conclusión

La API YOU permite a los desarrolladores superar las limitaciones de los LLM proporcionándoles las herramientas necesarias para basar sus resultados en la información más reciente, precisa y relevante. Gracias a su rendimiento superior en comparación con los proveedores de búsqueda existentes y a su capacidad para adaptarse a diversos LLM, la API está revolucionando la forma en que los desarrolladores pueden aprovechar la potencia de los LLM en sus aplicaciones. Esperamos que esto libere al conocimiento en la web de las opciones tan limitadas y restrictivas que existen actualmente. Estamos entusiasmados de ver las muchas aplicaciones que se están construyendo y apoyaremos nuestro ecosistema con futuras innovaciones con conocimiento actualizado de la web.

Obtenga más información sobre cómo utilizar la API en docs.you.com. Visite api.you.com para acceder a los extremos Web Search, News y Web LLM. Si tiene alguna pregunta, envíe un correo electrónico a [email protected].

Yay, has leído todo el artículo. Si te ha gustado esta historia, ¡recomiéndala 👏 y compártela para que otros la encuentren!