Как технический энтузиаст с опытом работы в области машинного обучения и программирования графических процессоров, я в восторге от последних разработок на выставке Computex 2024, касающихся приложений искусственного интеллекта на графических процессорах. Компьютеры Microsoft Copilot+ интригуют, но горячей темой остается вопрос, почему мы не можем запускать эти приложения искусственного интеллекта локально на наших мощных графических процессорах.
Эта история является частью нашего репортажа о Computex, крупнейшей в мире компьютерной конференции.
Как исследователь, расследующий недавнее объявление о ПК Microsoft Copilot+, я заметил, что многие люди задают один и тот же вопрос: почему мы не можем вместо этого запускать эти приложения искусственного интеллекта на наших графических процессорах? Во время Computex 2024 Nvidia наконец дала объяснение.
Nvidia и Microsoft сотрудничают для создания нового интерфейса прикладного программирования (API). С помощью этого API разработчики могут легко запускать свои приложения с поддержкой искусственного интеллекта на видеокартах RTX от Nvidia. Это партнерство также распространяется на интеграцию моделей малого языка (SLM) в среду выполнения Microsoft Copilot. Эти SLM служат основой для таких функций, как Recall и Live Captions.
Используя этот набор инструментов, разработчики могут позволить приложениям работать локально на вашем графическом процессоре, а не полагаться на NPU. Эта альтернативная установка предлагает не только улучшенные приложения искусственного интеллекта благодаря превосходным возможностям искусственного интеллекта графических процессоров по сравнению с NPU, но и гибкость для запуска таких приложений на ПК, которые в настоящее время не покрываются Copilot+.
Текущее требование к ПК Copilot+ включает наличие блока нейронных процессоров (NPU), способного выполнять не менее 40 тера операций в секунду (TOPS). В настоящее время этому стандарту соответствует только Snapdragon X Elite. Однако важно отметить, что графические процессоры обладают значительно большими возможностями обработки ИИ. Например, даже графические процессоры начального уровня могут достигать производительности до 100 TOPS, а модели высокого класса могут масштабироваться еще дальше.
Новое расширение API включает в себя функции расширенной генерации данных (RAG), интегрированные в среду выполнения Copilot, которая работает совместно с обработкой графического процессора. Эта функция позволяет модели ИИ получать доступ к соответствующим данным локально и генерировать более эффективные ответы. Заметная демонстрация возможностей RAG состоялась ранее в этом году во время мероприятия Nvidia Chat with RTX.
На выставке Computex, не связанной с API, Nvidia представила набор инструментов RTX AI Toolkit. Эта коллекция для разработчиков, которая выйдет в июне, включает в себя множество инструментов и SDK, позволяющих разработчикам оптимизировать модели искусственного интеллекта для различных приложений. По данным Nvidia, использование RTX AI Toolkit может привести к тому, что модели будут работать в четыре раза быстрее и занимать в три раза меньше места по сравнению с использованием альтернатив с открытым исходным кодом.
Как аналитик, я заметил растущую тенденцию к появлению инструментов для разработчиков, которые упрощают создание индивидуальных приложений искусственного интеллекта для конечных пользователей. Мы уже наблюдаем это на ПК Copilot+, но я ожидаю значительного всплеска таких приложений к этому времени в следующем году. При наличии необходимого оборудования остается только разработать необходимое программное обеспечение для поддержки этих приложений.
Смотрите также
- Huawei Watch GT 5 против GT 4: стоит ли обновлять свое носимое устройство?
- Samsung Galaxy Tab S10 Ultra против Galaxy Tab S9 Ultra: что нового?
- Как использовать WhatsApp на компьютере или ноутбуке
- Самая тревожная сцена «Ужасателя 3» даже не самая жуткая
- Бауэрс и Уилкинс Pi8
- 5 телефонов, которые стоит купить вместо Samsung Galaxy S23 FE
- Обзор Google Pixel Watch 3: умные часы, которые я ждал
- Обзор Sony InZone M10S: самый яркий OLED-монитор, который я когда-либо рассматривал
- 8 фильмов ужасов о вторжении в дом, которые заставят вас дважды проверить свои замки
- Google, ее кот, полностью сбежавший из сумки, демонстрирует Pixel 9 Pro на несколько недель раньше
2024-06-02 15:39