Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Было трудно оправдать установку специального оборудования для искусственного интеллекта в ПК. Nvidia пытается изменить это с помощью Chat with RTX, локального чат-бота с искусственным интеллектом, который использует оборудование вашего графического процессора Nvidia для запуска модели искусственного интеллекта.

Он предоставляет несколько уникальных преимуществ по сравнению с чем-то вроде ChatGPT, но у этого инструмента все еще есть некоторые странные проблемы. Здесь есть типичные особенности, с которыми вы сталкиваетесь с любым чат-ботом с искусственным интеллектом, но есть и более серьезные проблемы, которые доказывают, что чат с RTX требует некоторой доработки.

Знакомьтесь, общайтесь с RTX

Вот самый очевидный вопрос о Chat с RTX: чем он отличается от ChatGPT? Чат с RTX – это локальная модель большого языка (LLM). Он использует модели, совместимые с TensorRT-LLM — Mistral и Llama 2 включены по умолчанию — и применяет их к вашим локальным данным. Кроме того, фактические вычисления происходят локально на вашей видеокарте, а не в облаке. Для общения с RTX требуется графический процессор Nvidia RTX 30-й или 40-й серии и не менее 8 ГБ видеопамяти.

Локальная модель открывает несколько уникальных функций. Для начала вы загружаете свои данные в чат с RTX. Вы можете собрать папку, полную документов, указать на нее Chat с RTX и взаимодействовать с моделью на основе этих данных. Он предлагает более высокий уровень детализации, позволяя модели предоставлять информацию о подробных документах, а не более общие ответы, которые вы видите в чем-то вроде Bing Chat или ChatGPT.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

И это работает. Я загрузил папку с рядом исследовательских статей, подробно описывающих DLSS 3 от Nvidia, FSR 2 от AMD и XeSS от Intel, и задал несколько конкретных вопросов о том, чем они отличаются. Вместо того, чтобы очищать Интернет и перефразировать статью, объясняющую различия (обычная тактика для чего-то вроде Bing Chat), Chat with RTX смог предоставить подробные ответы, основанные на реальных исследовательских работах.

Я не был шокирован тем, что Chat with RTX смог извлечь информацию из некоторых исследовательских работ, но был шокирован тем, что ему удалось так хорошо выделить эту информацию. Документы, которые я предоставил, представляли собой исследовательские работы, наполненные академической лексикой, уравнениями, от которых у вас закружится голова, и ссылками на детали, которые не объяснены в самой статье. Несмотря на это, Chat с RTX разбил документы на информацию, которую было легко понять.

Вы также можете указать Chat с RTX видео или плейлист на YouTube, и он удалит информацию из стенограмм. Конкретный характер инструмента — это то, что действительно бросается в глаза: он позволяет вам сосредоточить сеанс в одном направлении, а не задавать вопросы о чем-либо, как вы это делаете с ChatGPT.

Другим преимуществом является то, что все происходит локально. Вам не нужно отправлять запросы на сервер или загружать документы и бояться, что они будут использованы для дальнейшего обучения модели. Это упрощенный подход к взаимодействию с моделью ИИ — вы используете свои данные на своем ПК и задаете нужные вопросы, не беспокоясь о том, что происходит на другой стороне модели.

Однако у локального подхода Chat with RTX есть некоторые недостатки. Совершенно очевидно, что вам понадобится мощный компьютер с новейшим графическим процессором Nvidia и как минимум 8 ГБ видеопамяти. Кроме того, вам понадобится около 100 ГБ свободного места. Чат с RTX фактически загружает используемые им модели, поэтому занимает довольно много места на диске.

Галлюцинации

Вы же не думали, что в чате с RTX не возникнет проблем? Как мы видим практически в каждом инструменте ИИ, существует определенная терпимость к совершенно неправильным ответам ИИ, и чат с RTX не выше этого. Nvidia предоставляет выборку недавних новостных статей Nvidia с новой установкой, и даже тогда ИИ не всегда был полезен.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Например, выше вы можете видеть, что в модели указано, что Counter-Strike 2  поддерживает DLSS 3. Это не так. Я могу только предположить, что модель установила какую-то связь между статьей о DLSS 3.5, на которую она ссылается, и другой статьей из включенного набора данных, в которой упоминается Counter-Strike 2. 

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Более серьезное ограничение заключается в том, что в чате с RTX можно использовать только образцы данных. Это приводит к некоторым странным ситуациям, когда смещение в небольшом наборе данных приводит к неверным ответам. Например, выше вы можете увидеть, как в одном ответе модели говорится, что генерация кадров DLSS не вносит дополнительную задержку в игровой процесс, а в следующем ответе говорится, что интерполяция кадров вводит дополнительную задержку в игровой процесс. Генерация кадров DLSS использует интерполяцию кадров.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

В другом ответе (выше) Chat with RTX сообщил, что DLSS 3 не требует для работы Nvidia Reflex, и это неправда. Еще раз: модель не соответствует предоставленным мной данным и не идеальна. Это напоминание о том, что модель ИИ может быть неправильной с невозмутимым выражением лица, даже если она имеет узкую направленность, как это позволяет Чат с RTX.

Я ожидал некоторых из этих странностей, но Чат с RTX все же смог меня удивить. В разные моменты разных сессий я задавал случайный вопрос, совершенно не связанный с предоставленными мной данными. В большинстве ситуаций я получал ответ, в котором говорилось, что модели недостаточно информации, чтобы дать ответ. Имеет смысл.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

За исключением одной ситуации, модель дала ответ. Используя данные по умолчанию, я спросил ее, как завязать шнурки, и модель предоставила пошаговые инструкции и сослалась на сообщение в блоге Nvidia об ACE (Nvidia отмечает, что в этой предварительной версии иногда справочные файлы отображаются некорректно). Когда я сразу же после этого спросил еще раз, он дал тот же стандартный ответ об отсутствии контекстной информации.

Я не уверен, что здесь происходит. Возможно, в модели есть что-то, что позволяет ей ответить на этот вопрос, или она может черпать детали откуда-то еще. В любом случае, очевидно, что Chat с RTX не просто  использует данные, которые вы ему предоставляете. По крайней мере, у него есть возможность получать информацию из других источников. Это стало еще яснее, когда я начал спрашивать о видео на YouTube.

Инцидент с YouTube

Одним из интересных аспектов Chat with RTX является то, что он может читать расшифровки видео на YouTube. У этого подхода есть некоторые ограничения. Ключевым моментом является то, что модель видит только стенограмму, а не само видео. Если в видео происходит что-то, чего нет в расшифровке, модель этого никогда не увидит. Даже несмотря на это ограничение, это довольно уникальная функция.

Однако у меня была проблема с этим. Даже при запуске совершенно нового сеанса чата с RTX он запомнит видео, ссылки на которые я давал ранее. Этого не должно произойти, поскольку Chat с RTX не должен запоминать контекст вашего текущего или предыдущего разговора.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Я расскажу о том, что произошло, потому что это может стать немного запутанным. На первом сеансе я дал ссылку на видео с YouTube-канала Commander at Home. Это канал Magic: the Gathering, и мне хотелось посмотреть, как Chat with RTX отреагирует на сложную тему, которая не объяснена в видео. Неудивительно, что это не имело успеха, но это не главное.

Я удалил старое видео и дал ссылку на часовое интервью с генеральным директором Nvidia Дженсеном Хуангом. После ввода ссылки я нажал специальную кнопку, чтобы восстановить базу данных, по сути сообщая Chat с RTX, что мы обсуждаем новые данные. Я начал этот разговор так же, как и предыдущий, с вопроса: «О чем это видео?» Вместо ответа на основе видео Nvidia, которое я дал, он ответил на основе предыдущего видео Commander at Home.

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Я пытался восстановить базу данных еще три раза, всегда с тем же результатом. В конце концов я начал совершенно новый сеанс, полностью выйдя из чата с RTX и начав заново. Я еще раз связал видео Nvidia и загрузил стенограмму, начав с вопроса, о чем видео. Он снова ответил про видео «Командир дома».

Все графические процессоры RTX теперь оснащены локальным чат-ботом с искусственным интеллектом. Это хорошо?

Мне удалось получить ответ в чате с RTX о видео Nvidia только тогда, когда я задал конкретный вопрос об этом видео. Даже после небольшого разговора, каждый раз, когда я спрашивал, о чем видео, мой ответ относился к видео «Командир дома». Помните, что в этом сеансе Chat с RTX ни разу  не увидел эту ссылку на видео.

Независимо от того, запоминает ли модель ИИ предыдущий разговор или путает загруженные расшифровки, это серьезная проблема Chat с RTX прямо сейчас, которую необходимо решить. Это ставит под сомнение приватный характер использования собственных данных, а также усложняет использование инструментов.

Вы находите полезность

По крайней мере, Chat with RTX — это демонстрация того, как вы можете использовать локальное оборудование для использования модели искусственного интеллекта, чего очень не хватало ПК за последний год. Он не требует сложной настройки, и вам не нужно иметь глубокие знания о моделях ИИ, чтобы начать работу. Вы устанавливаете его, и пока вы используете новейший графический процессор Nvidia, он работает.

Однако трудно определить, насколько полезен чат с RTX. Во многих случаях облачный инструмент, такой как ChatGPT, явно лучше из-за широкого спектра информации, к которой он может получить доступ. Вы должны найти в этом полезность. Если вам нужно проанализировать длинный список документов или поток видеороликов YouTube, на просмотр которых у вас нет времени, Chat with RTX предоставит вам то, чего вы не найдете в облачном инструменте — при условии, что вы уважаете присущие ему особенности. любому чат-боту с искусственным интеллектом.

Однако это всего лишь демо. Через Chat с RTX Nvidia демонстрирует, на что способна локальная модель искусственного интеллекта, и, надеюсь, этого достаточно, чтобы заинтересовать разработчиков и самостоятельно изучить локальные приложения искусственного интеллекта.

Смотрите также

2024-02-13 17:09