Многие люди обращаются к AI-чат-ботам для получения быстрой информации о здоровье, подобно тому, как они используют поисковые системы. Однако, недавнее исследование вызывает опасения, обнаружив, что половина ответов от пяти популярных чат-ботов содержала неточную или потенциально вредную информацию, несмотря на то, что звучала убедительно.
"Рынок красный? Это просто сезон скидок для умных инвесторов." - так говорят, чтобы не плакать. У нас — аналитика, которая помогает плакать реже.
Найти недооцененные активыИсследование сравнила ответы ChatGPT, Gemini, Grok, Meta AI и DeepSeek на 250 вопросов по таким темам, как рак, вакцины, стволовые клетки, питание и спортивные результаты.
Мы протестировали ботов, задавая им типичные вопросы о здоровье и включая некоторые распространенные ложные убеждения. Это позволило нам увидеть, предоставляют ли они ответы, основанные на научных фактах, или дают ли они неточные советы, которые могут быть даже вредными.
Широкие вопросы выявили самые большие пробелы.
В моём анализе я обнаружил, что открытые запросы последовательно давали наихудшие результаты. Мы наблюдали удивительно большое количество проблемных ответов при задавании более общих вопросов. И наоборот, когда мы использовали более конкретные, или ‘закрытые’, запросы, ответы были значительно безопаснее и надёжнее.
Это важно, потому что люди обычно не получают медицинскую информацию, выбирая из списка вариантов. Они обычно хотят знать, поможет ли лечение, безопасна ли вакцина, или как улучшить свои спортивные результаты.
Исследование показало, что этот тип вопроса приводил к тому, что ИИ предоставлял ответы, которые объединяли достоверную информацию с утверждениями, которые были либо сомнительными, либо неточными.
Сильная уверенность, шаткое происхождение.
Проблемы не ограничивались ответами чат-ботов. Источники, которые они использовали, также были слабыми – в среднем они включали лишь около 40% необходимой информации, и ни один из них не создал полностью корректный список ссылок.
Это подрывает ключевую причину, по которой люди верят тому, что говорят чат-боты. Ответы чат-ботов могут казаться хорошо изученными и заслуживающими доверия, но это впечатление может быстро исчезнуть, если источники, которые они приводят, неточны или не подтверждают сделанные заявления.
Исследователи обнаружили, что боты выдумывали источники, однако продолжали уверенно отвечать на вопросы и редко признавали какую-либо неопределенность.
Почему это важно, помимо одного теста
Результаты этого исследования имеют некоторые ограничения. Оно рассматривало только пять чат-ботов, и поскольку эти технологии постоянно развиваются, полученные результаты могут быстро потерять свою актуальность. Кроме того, использованные вопросы были разработаны, чтобы довести чат-ботов до предела, поэтому доля неточных ответов может быть выше, чем обычно испытывают пользователи.
Что действительно поразило меня, так это то, как часто эти системы ошибались. Даже при тестировании на установленных медицинских фактах около половины ответов, которые они давали, были либо неточными, либо не давали полной картины. Сложно игнорировать такой результат.
В настоящее время чат-боты могут быть полезны для таких задач, как обобщение информации или предложение, что спросить дальше, но они недостаточно надёжны, чтобы основывать на них важные медицинские решения.
Смотрите также
- Откровенная сцена с Сидни Суини в премьере 3-го сезона Euphoria зашла слишком далеко для фанатов.
- Безопасно ли использовать менеджер паролей Bitwarden?
- Лучшие приложения для восстановления данных для Android
- Как записать компакт-диск в Windows 11
- PSA: Amazon отменил опцию ”загрузка и передача данных через USB» для Kindles на этой неделе
- Подробно о Windows 11 Recall — и что исправила (и не исправила) компания Microsoft
- Тандемный OLED — новейшее оружие OLED в борьбе с MicroLED, QDEL
- Стоит ли покупать какие-либо официальные аксессуары Apple MagSafe?
- Ожидается, что SD-карты достигнут 4 ТБ в 2025 году
- Обзор Amazon Kindle Paperwhite 2024: это Kindle, который вам стоит купить
2026-04-15 11:29