Anthropic стремится решить одну из самых больших проблем в области искусственного интеллекта прямо сейчас

от

Как заядлый поклонник технологии искусственного интеллекта и ее этического применения, я очень рад видеть, что Anthropic занимает активную позицию в обеспечении безопасности и расширенных возможностей своих будущих языковых моделей. Их объявление о финансировании независимых сторонних тестов меняет правила игры в этой области, поскольку оно не только способствует прозрачности, но и поощряет инновации и сотрудничество между разработчиками.

💰

"Рынок красный? Это просто сезон скидок для умных инвесторов." - так говорят, чтобы не плакать. У нас — аналитика, которая помогает плакать реже.

Найти недооцененные активы

После того, как стало известно, что модель большого языка Claude 3.5 Sonnet от Anthropic превзошла другие известные модели, такие как GPT-4 и Llama-400B, компания AI объявила в понедельник о своем намерении создать программу для финансирования создания беспристрастных внешних эталонных тестов. Эти тесты будут использоваться для оценки производительности будущих моделей Anthropic.

Согласно сообщению в блоге, фирма намерена выплачивать вознаграждение внешним разработчикам за проведение оценок, способных точно оценить сложные функциональные возможности систем искусственного интеллекта.

«Инвестиции в разработку строгих оценок безопасности ИИ являются приоритетом для Anthropic, с конечной целью развития всей области и предложения полезных ресурсов сообществу. Однако создание оценок высшего уровня, которые решают проблемы безопасности, остается сложной задачей, и текущий спрос значительно превышает доступное предложение».

Организация ищет представленные критерии для оценки «рейтинга безопасности» ИИ на основе различных аспектов, таких как его устойчивость к кибератакам, обработка угроз ХБРЯ и снижение рисков, связанных с несогласованностью, социальной инженерией и проблемами национальной безопасности. Anthropic также ищет критерии для оценки возможностей расширенной модели и готова профинансировать создание множества новых оценочных вопросов и комплексных задач, направленных на оценку способности модели генерировать знания из различных источников, отклонять злонамеренно созданные требования пользователей и общаться в нескольких языки.

Anthropic ищет задачи, которые представляют собой «серьезную проблему» для большого количества тестировщиков, примерно «тысяч», охватывающих различные форматы тестирования. Эти задачи будут способствовать «реалистичному и ориентированному на безопасность» процессу моделирования угроз компании. Заинтересованные застройщики могут подать свои предложения, которые будут постоянно рассматриваться.

Смотрите также

2024-07-02 21:27