Nvidia и Microsoft решают большую проблему с Copilot+

Как технический энтузиаст с опытом работы в области машинного обучения и программирования графических процессоров, я в восторге от последних разработок на выставке Computex 2024, касающихся приложений искусственного интеллекта на графических процессорах. Компьютеры Microsoft Copilot+ интригуют, но горячей темой остается вопрос, почему мы не можем запускать эти приложения искусственного интеллекта локально на наших мощных графических процессорах.

Эта история является частью нашего репортажа о Computex, крупнейшей в мире компьютерной конференции.

Как исследователь, расследующий недавнее объявление о ПК Microsoft Copilot+, я заметил, что многие люди задают один и тот же вопрос: почему мы не можем вместо этого запускать эти приложения искусственного интеллекта на наших графических процессорах? Во время Computex 2024 Nvidia наконец дала объяснение.

Nvidia и Microsoft сотрудничают для создания нового интерфейса прикладного программирования (API). С помощью этого API разработчики могут легко запускать свои приложения с поддержкой искусственного интеллекта на видеокартах RTX от Nvidia. Это партнерство также распространяется на интеграцию моделей малого языка (SLM) в среду выполнения Microsoft Copilot. Эти SLM служат основой для таких функций, как Recall и Live Captions.

Используя этот набор инструментов, разработчики могут позволить приложениям работать локально на вашем графическом процессоре, а не полагаться на NPU. Эта альтернативная установка предлагает не только улучшенные приложения искусственного интеллекта благодаря превосходным возможностям искусственного интеллекта графических процессоров по сравнению с NPU, но и гибкость для запуска таких приложений на ПК, которые в настоящее время не покрываются Copilot+.

Текущее требование к ПК Copilot+ включает наличие блока нейронных процессоров (NPU), способного выполнять не менее 40 тера операций в секунду (TOPS). В настоящее время этому стандарту соответствует только Snapdragon X Elite. Однако важно отметить, что графические процессоры обладают значительно большими возможностями обработки ИИ. Например, даже графические процессоры начального уровня могут достигать производительности до 100 TOPS, а модели высокого класса могут масштабироваться еще дальше.

Новое расширение API включает в себя функции расширенной генерации данных (RAG), интегрированные в среду выполнения Copilot, которая работает совместно с обработкой графического процессора. Эта функция позволяет модели ИИ получать доступ к соответствующим данным локально и генерировать более эффективные ответы. Заметная демонстрация возможностей RAG состоялась ранее в этом году во время мероприятия Nvidia Chat with RTX.

На выставке Computex, не связанной с API, Nvidia представила набор инструментов RTX AI Toolkit. Эта коллекция для разработчиков, которая выйдет в июне, включает в себя множество инструментов и SDK, позволяющих разработчикам оптимизировать модели искусственного интеллекта для различных приложений. По данным Nvidia, использование RTX AI Toolkit может привести к тому, что модели будут работать в четыре раза быстрее и занимать в три раза меньше места по сравнению с использованием альтернатив с открытым исходным кодом.

Как аналитик, я заметил растущую тенденцию к появлению инструментов для разработчиков, которые упрощают создание индивидуальных приложений искусственного интеллекта для конечных пользователей. Мы уже наблюдаем это на ПК Copilot+, но я ожидаю значительного всплеска таких приложений к этому времени в следующем году. При наличии необходимого оборудования остается только разработать необходимое программное обеспечение для поддержки этих приложений.

Смотрите также

2024-06-02 15:39