Представляем API YOU: Поиск в веб-масштабе для магистрантов

Фон

Большие языковые модели (БЯМ) открыли новые возможности для преобразования различных отраслей экономики. Эти модели способны воспринимать огромные объемы текста, что позволяет им генерировать результаты, позволяющие автоматизировать многие задачи, зависящие от языка. Однако существуют три основные проблемы, связанные с LLM, которые мы стремимся решить:

  • Они часто галлюцинируют, получая результаты, не имеющие под собой реальной основы.
  • Они могут генерировать контент, не подкрепляя его достоверными источниками, что затрудняет проверку достоверности.
  • Они не успевают за постоянно меняющимися событиями, происходящими в мире, что приводит к появлению устаревших ответов.

API YOU

Для решения этих задач мы запускаем API YOU. Он предлагает полный набор инструментов, призванных помочь разработчикам обосновать результаты работы LLM самой свежей, точной и актуальной информацией. Используя возможности этого API, разработчики могут гарантировать, что создаваемый ими контент LLM будет подкреплен надежными источниками и актуальными данными.

API запускается с тремя выделенными конечными точками:

  1. Веб-поиск - Предоставляет результаты поиска, аналогичные Google или Bing, за исключением того, что вместо коротких сниппетов, призванных побудить человека щелкнуть по ссылке, мы предоставляем множество длинных сниппетов, призванных обеспечить LLM наиболее релевантной информацией, необходимой для получения наилучшего ответа. Это похоже на API SERP, но более мощно и быстро.
  2. Новости - Аналогичен Web-поиску, но использует исключительно результаты новостей для приложений, которые в первую очередь ориентируются на текущие события.
  3. Web LLM - Наше комплексное решение объединяет результаты веб-поиска с LLM для генерации с расширением поиска (RAG), повышая точность фактов и уменьшая количество галлюцинаций в ответах.

Подробнее о том, как использовать каждую из них, вы можете узнать на сайте docs.you.com. Конечные точки Web Search, News и Web LLM доступны на api.you.com. Вы можете получить бесплатную пробную версию конечных точек Web Search и News.

Оценка API YOU

Мы оцениваем эффективность API YOU, адаптируя несколько академических наборов данных для ответов на вопросы к условиям "открытого веба": отрывки, обычно предоставляемые ИИ в качестве контекста, должны быть получены из самого веба. Такой метод оценки предъявляет гораздо более высокие требования к системе в целом, чем академические эталоны, на основе которых они были получены. Это позволяет получить более реалистичную и практичную оценку производительности систем RAG в масштабах Интернета.

В первой серии результатов мы сравниваем использование результатов поиска You.com, Google или Bing с LLM по умолчанию, развернутым в нашей конечной точке Web LLM. По всем показателям API YOU оказывается впереди.

Более высокие оценки F1 по всем показателям свидетельствуют о том, что LLM с большей вероятностью выдаст правильный ответ на результаты поиска с API YOU, чем даже на результаты поиска Google. LLM, использованный в этих экспериментах, имеет контекстное окно из 16 тыс. токенов и наиболее похож на модель ChatGPT 3.5 Turbo от OpenAI. Показатели Recall имеют еще больший разброс, чем показатели F1, что говорит о том, что LLM не может в полной мере использовать дополнительную информацию, предоставляемую API веб-поиска You.com, для генерации лучших ответов.

Здесь Recall означает, что правильный ответ (основанный на исходной истинной фразе из набора данных) включен в сниппеты, возвращаемые API:

Отзыв FreshQAОтзыв SquadV2Отзыв HotpotQAMS MARCO Отзыв
You.com85.1%75.6%67.4%81.5%
Google72.2%50.4%49.0%65.3%
Bing73.8%54.4%56.0%70.5%

Использование LLM с 16-килобайтным контекстным окном, заполненным фрагментами, для ответов на вопросы:

FreshQA SquadV2 F1HotpotQA F1MS MARCO
You.com44.7%27.5%34.7%23.8%
Google41.4%27.0%33.4%20.1%
Bing40.7%25.1%34.5%22.6%

Если Вы хотите оценить свой полномасштабный веб-индекс для LLM на этих наборах данных, пожалуйста, напишите нам по адресу [email protected], и мы сможем поделиться контрольными показателями оценки.

Будущая работа

Мы продолжим работу по расширению функциональности API и улучшению пользовательского опыта. В настоящее время ведется работа над тем, чтобы сделать API более интуитивно понятным, позволяющим пользователям легко работать с контекстом. Кроме того, промежуточные модули, такие как переписывание запросов, будут представлены в виде новых конечных точек, что позволит разработчикам настраивать использование API YOU в соответствии со своими специфическими потребностями. Кроме того, команда разработчиков API планирует внедрить агентские возможности, аналогичные режимам "Агент" и "Глубокое исследование" на You.com, что позволит сделать всю функциональность You.com доступной через API.

Заключение

API YOU позволяет разработчикам преодолеть ограничения LLM, предоставляя им инструменты, позволяющие основывать свои результаты на самой свежей, точной и релевантной информации. Благодаря превосходной производительности по сравнению с существующими поисковыми провайдерами и способности адаптироваться к различным LLM, API совершает революцию в использовании разработчиками возможностей LLM в своих приложениях. Мы надеемся, что это позволит освободить знания в Интернете от имеющихся в настоящее время весьма ограниченных и жестких возможностей. Мы с нетерпением ждем появления множества приложений и будем поддерживать нашу экосистему в будущих инновациях с помощью актуальных знаний из Интернета.

Подробнее об использовании API можно узнать на сайте docs.you.com. Посетите api.you.com, чтобы получить доступ к конечным точкам Web Search, News и Web LLM. Если у вас возникли вопросы, напишите по адресу [email protected].

Ура, вы прочитали всю статью. Если вам понравилась эта история, пожалуйста, порекомендуйте 👏 и поделитесь, чтобы помочь другим найти ее!

Более умный ИИ-помощник: внедрение персонализации на You.com

You.com - это персональный помощник с искусственным интеллектом, который помогает вам добиваться большего каждый день. От написания текстов до кодирования, от создания и обучения до простого поиска в Интернете - You.com поможет вам достичь еще большего благодаря внедрению функции персонализации.

Читать далее "
Логотип YouImagine для искусственного интеллекта в you.com

Призыв ко всем начинающим художникам и писателям искусственного интеллекта: YouWrite и YouImagine теперь международные

YOU - это место, где творчество встречается с инновациями. Мы верим, что с помощью правильных инструментов каждый - не только художники и разработчики - может стать творцом. Именно поэтому мы предоставляем легкий доступ к новейшим технологиям искусственного интеллекта бесплатно и для всех желающих.

Читать далее "
логотип you.com в темном режиме

You.com только что обрел новый облик... темный режим теперь работает! 😎

Мы рады сообщить, что бета-версия темного режима, одной из наших самых востребованных функций, теперь работает на You.com! Мы также включили новый пользовательский интерфейс для фильтров поиска, а также добавили фильтры регионов и фильтры периодичности.

Читать далее "