Как аналитик с обширным опытом в области искусственного интеллекта и робототехники, я должен выразить серьезную обеспокоенность по поводу недавних выводов исследователей из Penn Engineering относительно уязвимостей безопасности в роботизированных платформах, управляемых искусственным интеллектом. За годы знакомства с тонкостями этих технологий я воочию увидел потенциал, который они таят в себе для революции в различных отраслях. Однако аспекты безопасности и защищенности интеграции ИИ с физическим миром всегда вызывали серьезную озабоченность.
Исследователи из Penn Engineering, по-видимому, обнаружили нераскрытые недостатки в нескольких автономных роботизированных системах, управляемых искусственным интеллектом.
По словам Джорджа Паппаса, профессора транспорта в области электротехники и системной инженерии Фонда UPS, очевидно, что нынешним моделям большого языка не хватает достаточной безопасности, когда они связаны с реальным миром на данном этапе.
Рекомендуемые видео
Паппас и его группа создали инновационный алгоритм под названием RoboPAIR. Это первый алгоритм, разработанный для освобождения роботов от ограничений, налагаемых LLM (назовем его «моделью языка роботов»). В отличие от предыдущих стратегий, использовавшихся для манипулирования поведением чат-ботов, RoboPAIR специально создан для того, чтобы провоцировать вредные физические действия со стороны роботов, управляемых LLM, таких как двуногие платформы, разработанные Boston Dynamics и TRI.
Сообщается, что RoboPAIR добился 100% успеха при взломе трех популярных исследовательских платформ в области робототехники: четвероногого Unitree Go2, четырехколесного Clearpath Robotics Jackal и симулятора Dolphins LLM для автономных транспортных средств. Алгоритму потребовалось всего несколько дней, чтобы получить полный доступ к этим системам и начать обходить защитные ограждения. Как только исследователи взяли под свой контроль управление, они смогли заставить платформы совершать опасные действия, например, проезжать через дорожные переходы без остановки.
Исследователи впервые обнаружили, что опасности, связанные с взломанными моделями изучения языка (LLM), не ограничиваются созданием текста. Существует большая вероятность того, что незащищенные роботы, которые были «взломаны», потенциально могут нанести физический вред в реальности.
Команда из Пенсильванского университета сотрудничает с создателями платформ, чтобы защитить их системы от дальнейших атак, однако они подчеркивают, что эти проблемы безопасности имеют глубокие корни и не ограничиваются одной системой.
По словам Виджая Кумара, одного из авторов из Пенсильванского университета, выводы исследования убедительно подчеркивают, что принятие стратегии, ориентированной на безопасность, имеет важное значение для содействия ответственному прогрессу. Он подчеркивает важность выявления и устранения любых присущих им недостатков, прежде чем внедрять роботов с искусственным интеллектом в практическое применение в реальном мире.
По сути, Александр Роби, ведущий автор, подчеркивает, что тестирование систем ИИ на предмет потенциальных угроз и уязвимостей с помощью процесса, называемого красной командой ИИ, имеет решающее значение для защиты генеративных систем ИИ. Это важно, потому что как только мы выявим слабые места, мы сможем протестировать и обучить эти системы, чтобы избежать их.
Смотрите также
- На фотографии iPhone 16 Pro Max видны удивительно тонкие рамки
- Huawei Watch GT 5 против GT 4: стоит ли обновлять свое носимое устройство?
- Приложение Google Gemini AI получает более широкую версию. Ваш телефон есть в списке?
- Если вы скучаете по старым Windows Phone от Nokia, вам понравится HMD Skyline.
- Xiaomi Mix Fold 4 против Xiaomi Mix Flip: в чем разница?
- Эта функция Apple Watch сводила меня с ума. Вот как я это исправил
- Что лучше: Dell Latitude или Inspiron?
- Sony отступает и не будет принудительно использовать учетные записи PSN для ПК-игроков Helldivers 2 в Steam
- Этот огромный жидкостный охладитель действительно нового уровня.
- 5 телефонов, которые стоит купить вместо Samsung Galaxy Z Flip 5
2024-10-18 00:27