Как опытного исследователя с более чем двадцатилетним опытом работы в цифровой сфере, меня одновременно забавляет и беспокоит текущее состояние поиска ChatGPT. Будучи свидетелем эволюции поисковых систем от простого сопоставления ключевых слов до сложных алгоритмов, учитывающих контекст, намерения и семантику, интересно видеть, как новый игрок вступает в игру с такими многообещающими возможностями, но с такими заметными трудностями на ранних стадиях.
Раньше ChatGPT представлял собой серьезную проблему для поиска Google, и ожидалось, что внедрение поиска ChatGPT закрепит его триумф. Кроме того, он был разработан как ответ на Perplexity AI. Однако недавнее исследование, опубликованное Колумбийским центром цифровой журналистики Tow, показывает, что поиск ChatGPT сталкивается с трудностями при предоставлении точных ответов на вопросы пользователей.
В качестве исследователя я выбрал для своего исследования 20 публикаций из трех отдельных групп: публикации, которые сотрудничают с OpenAI для отображения своего контента в результатах поиска ChatGPT, организации, вовлеченные в юридические споры против OpenAI, и независимые издатели, которые либо предоставили, либо запретили доступ к ChatGPT. веб-сканер.
Рекомендуемые видео
В своей работе исследователи выбрали по 10 статей от каждого издательства и выделили отдельные отрывки. Эти цитаты были выделены, потому что они постоянно появлялись в тройке лучших результатов при поиске в таких системах, как Google или Bing. Затем исследователи оценили, правильно ли последняя функция поиска ChatGPT определила первоначальный источник каждой цитаты.
Сорок цитат пришли из публикаций, которые сейчас используют OpenAI и запретили копирование, но ChatGPT Search самонадеянно сфабриковал ответ, несмотря на это ограничение.
Исследование показало, что ChatGPT предоставил частично или полностью неточные ответы примерно в 153 случаях. Однако он признал свои ограничения и использовал уточняющие формулировки, такие как «похоже», «это возможно» или «может быть», или утверждения типа «Я не смог найти точную статью» только семь раз.
Неосторожный подход ChatGPT к предоставлению точной информации может не только подорвать доверие к нему, но и подорвать доверие к источникам, на которые он ссылается. В конкретном тесте в ходе исследования ИИ ошибочно приписал статью Time газете Orlando Sentinel, а в другом случае он ссылался на сторонний сайт, который воспроизводил новостную статью New York Times вместо прямой ссылки на оригинальную статью на NYTimes.com.
Неудивительно, что OpenAI заявила, что результаты исследования были обусловлены тем, что Колумбия неправильно провела тесты.
OpenAI заявила Columbia Journalism Review, что трудно решить проблему неправильной атрибуции без доступа к данным и методологии, которыми Центр Tow не поделился. Кроме того, они объяснили, что исследование представляет собой необычный пример тестирования их продукта.
Компания обещает «продолжать улучшать результаты поиска».
Смотрите также
- Huawei Watch GT 5 против GT 4: стоит ли обновлять свое носимое устройство?
- Fujifilm X-M5 против Fujifilm X-S20: сравнение двух камер Fujifilm
- Intel объявляет о внезапном уходе генерального директора на фоне финансовых потрясений
- 5 ноутбуков, которые стоит купить вместо Dell XPS 14
- He Never Leave: Острый и увлекательный слэшер (обзор без спойлеров)
- Оригинальный фильм Shudder «Кровавая рана топором» выйдет в кинотеатрах в декабре
- Краткое содержание 2-й серии 1-го сезона: «Черный сирота: Эхо»: «Джулс»
- Моторола Мото G55 5G
- iPhone 16 Pro Max может изменить представление о батареях смартфонов
- Oppo Find X8 — именно тот смартфон, который я ждал
2024-12-04 02:57