Проект с открытым исходным кодом Curl устал от пользователей, отправляющих уязвимости типа «AI-slop»

от

Даниил Стентберг из проекта curl поделился на LinkedIn этой недели новостью о том, что был превышен лимит ресурсов. По сути дела, они столкнулись с атакой типа Distributed Denial of Service (DDoS). Если бы была такая возможность, он бы выставил им счет за необоснованное использование наших ресурсов и времени.

В 2023 году инструмент под названием Curl (известный как cURL в некоторых областях), которому исполнилось 25 лет, отметил свой день рождения. Это жизненно важная командная строка и библиотека для взаимодействия с ресурсами в интернете. Проект открытого кода получает сообщения об ошибках и проблемах безопасности через различные каналы, один из которых — HackOne, сервис, который помогает компаниям управлять отчетностью уязвимостей и баунти за найденные ошибки. В течение последних лет HackOne все больше полагался на инструменты искусственного интеллекта. Как указано на их главной странице: ‘Одна платформа, две силы: человеческий интеллект в сочетании с возможностями ИИ.’

Стенберг предложил, чтобы каждый предполагаемый отчет об угрозе безопасности на HackersOne требовал от репортера подтверждения использования ИИ для выявления проблемы или предоставления отчета. Если отчет считается результатом работы с использованием ИИ, репортер будет исключен из дальнейших представлений отчетов. На сегодняшний день он не получил ни одного законного отчета о безопасности, который был бы создан с помощью ИИ.

4 мая отчет от Стенберга заявил, что это превышало его пределы, описывая новую технику взлома с использованием зависимостей циклов в рамках протокола HTTP/3. Неправильное управление зависимостями потока, когда одна часть программы полагается на вывод другой, может привести к вредоносной инжекции данных, условиям гонки, сбоям системы и другим проблемам. Этот отчет подразумевает, что curl, приложение, способное использовать HTTP/3, может быть подвержено эксплойтам от простых до удаленного выполнения кода.

В своем анализе я пришел к выводу, что файл патча, который я отправил по вопросу «malicious server setup», не применим к текущим версиям Python-инструмента, как указали в команде curl. Когда меня спросили о причинах этого несоответствия, первоначальный отправитель ответил неожиданным образом, отвечая на вопросы, которые непосредственно мне не задавались («Что такое циклическая зависимость?»), и предложив инструкции по использованию git для применения новых патчей. Тем не менее, первоначальный отправитель так и не предоставил запрошенный новый файл патча, ссылался на функции, которых нет в базовых библиотеках, и предлагал методы укрепления для инструментов, отличных от curl. Это вызвало опасения относительно достоверности и релевантности представленной информации.

Арс обратился к ХакерОн за комментариями и обновит этот пост, если получит ответ.

Дополнительные инструменты, чтобы пресекать это поведение

В беседе с Ars Стенберг выразил свою радость от того, что его пост распространяется: к утру среды он собрал более 200 комментариев и почти 400 репостов. Он доволен тем, что тема набирает обороты, потому что это может привести к действиям и информировать общественность о текущей ситуации. Он уточнил, что LLMS (Модели юридического языка) не способны выявлять проблемы безопасности, особенно в том ключе, как они используются здесь.

На этой неделе поступило четыре подозрительных отчета о безопасности, по всей видимости сгенерированных ИИ и направленных на получение репутации или средств для баг-баунти. Стэнберг отметил, что такие отчеты зачастую очень хорошо структурированы, написаны вежливым языком, имеют безупречную грамматику и пункты списка. Он подчеркнул, что обычный человек обычно не пишет так аккуратно, особенно при первом разе.

Отчеты, сгенерированные ИИ, могут быть более заметны чем другие. В одном случае искусственный интеллект случайно включил свою оригинальную подсказку в финальный отчет, который по словам Стенберга заканчивался фразой ‘и убедитесь что это звучит тревожно’.

Согласно Стейнбергу, он ранее обсуждал эту проблему с HackerrOne и связался с ними на этой неделе, выражая желание, чтобы они приняли более решительные меры по данному вопросу. Кроме того, он попросил у них помощи для улучшения инфраструктуры их AI-инструментов и предоставления дополнительных ресурсов для борьбы с подобным поведением.

В обсуждении под его постом Стенберг, общаясь с Тобиасом Хелдтом из фирмы по безопасности XOR, занимающейся открытым кодом, предположил, что программы баг-баунти могли бы использовать ‘уже установленные сети и ресурсы’. Как возможное решение для фильтрации сигналов и минимизации шума, Хелдт предложил, чтобы специалисты по безопасности платили за оценку своих отчетов. В другом месте Стенберг предупредил, что хотя ИИ отчеты еще не подавляют нас, эта тенденция вызывает беспокойство.

Как исследователь, занимающийся искусственным интеллектом, я сталкивался с некоторыми удивительными инсайтами относительно уязвимостей, выявляемых ИИ-системами. Ранее я делился своими мыслями на эту тему в своём личном блоге, детально описывая их появление и области, где они часто не справляются. Особо следует отметить работу Сета Ларсона, разработчика безопасности в Python Software Foundation, который дополнил эти выводы собственными примерами и предложениями по действиям. Согласно The Register, эти дополнительные наблюдения заслуживают внимания всех, кто интересуется данной темой.

В декабре Ларсон заявил: ‘Поскольку я могу видеть только несколько проектов, если подобные проблемы возникают в них, полагаю, что это широко распространено среди крупных открытых проектов. Это тревожное развитие событий.’

Смотрите также

2025-05-07 21:04