Многие колледжи и университеты сейчас используют ИИ для проверки студенческих работ на плагиат, но растёт обеспокоенность, что эти инструменты не очень точны. Учебные заведения могут переоценивать, насколько хорошо они на самом деле работают.
"Рынок красный? Это просто сезон скидок для умных инвесторов." - так говорят, чтобы не плакать. У нас — аналитика, которая помогает плакать реже.
Найти недооцененные активыИсследователи из Университета Флориды представили на этой неделе исследование на 2026 IEEE Symposium on Security and Privacy, в котором обнаружили, что современные детекторы AI-сгенерированного текста недостаточно надёжны для использования в школах или ситуациях, где важна точность.
По сути, университеты принимают важные решения о будущем студентов, используя инструменты, которым нельзя доверять – и делают это обдуманно.
Что на самом деле обнаружило исследование?
Патрик Трейнор, профессор и исполняющий обязанности заведующего кафедрой компьютерных и информационных наук и инженерии Университета Флориды, возглавил исследовательскую группу, которая оценила пять широко используемых инструментов для обнаружения AI-текста.
Исследователи использовали около 6 000 научных работ с ведущих конференций по безопасности – работ, написанных *до* выпуска ChatGPT – и попросили языковые модели ИИ создать их копии. Затем они протестировали как оригинальные работы, так и сгенерированные ИИ копии, используя инструменты для обнаружения ИИ.
Тесты показали, что эти детекторы не всегда были точными. Они ошибочно помечали текст, написанный человеком, как сгенерированный ИИ в 0,05% — 68,6% случаев. Более тревожно то, что они не смогли идентифицировать текст, сгенерированный ИИ, в 0,3% — 99,6% случаев. В худших случаях детектор почти полностью пропускал контент, написанный ИИ.
Сначала два из пяти детекторов работали, как и ожидалось, но они стали в основном неэффективными, когда исследователи попросили ИИ использовать более сложную лексику. Эта техника, называемая в исследовании «атакой на лексическую сложность», значительно снизила их точность.
Почему это важно, помимо академической честности?
Трэйнор был прямолинеен: эти инструменты недостаточно надёжны для принятия таких важных решений, потому что на кону стоят карьеры людей. Хотя обвинение в использовании сгенерированного ИИ текста может разрушить карьеру исследователя, мы не можем автоматически доверять инструментам, которые выдвигают эти обвинения.
Утверждение о том, что ИИ широко используется в академическом письме, вызывает вопросы, поскольку доказательства, подтверждающие это, не заслуживают доверия. По словам Трейнора, в настоящее время у нас нет инструментов, необходимых для точного измерения того, какой объем академической работы фактически создается ИИ.
Его исследования выходят за рамки простого критического анализа самих инструментов. Они показывают, что все организации, которые использовали эти инструменты, не смогли должным образом проверить, были ли они действительно надёжными и точными.
Смотрите также
- Amazon убивает удаленную работу и заставляет сотрудников находиться в офисе 5 дней в неделю
- Безопасно ли использовать менеджер паролей Bitwarden?
- Apple iPhone 16 против iPhone 14: действительно ли вам нужно обновляться?
- Обзор Acer Swift 14 AI: время автономной работы несколько дней
- Телевизоры с ‘бесплатным’ доступом, основанные на рекламе, приносят заметный доход — когда они фактически доставлены.
- Небольшое исследование показывает, что темный режим не экономит энергию по вполне человеческим причинам
- Дафне Кин отвечает на просьбы фанатов заменить Хью Джекмана в роли Росомахи киновселенной Marvel (MCU).
- Правда о курсе фунт к доллару: что нас ждет через неделю?
- OM Система Tough TG-7
- Обзор Lenovo Yoga Slim 7i Aura Edition: возвращение Intel продолжается
2026-05-21 01:58