Как технический энтузиаст с опытом работы в области машинного обучения и программирования графических процессоров, я в восторге от последних разработок на выставке Computex 2024, касающихся приложений искусственного интеллекта на графических процессорах. Компьютеры Microsoft Copilot+ интригуют, но горячей темой остается вопрос, почему мы не можем запускать эти приложения искусственного интеллекта локально на наших мощных графических процессорах.
Купил акции по совету друга? А друг уже продал. Здесь мы учимся думать своей головой и читать отчётность, а не слушать советы.
Прочитать отчет 10-KЭта история является частью нашего репортажа о Computex, крупнейшей в мире компьютерной конференции.
Как исследователь, расследующий недавнее объявление о ПК Microsoft Copilot+, я заметил, что многие люди задают один и тот же вопрос: почему мы не можем вместо этого запускать эти приложения искусственного интеллекта на наших графических процессорах? Во время Computex 2024 Nvidia наконец дала объяснение.
Nvidia и Microsoft сотрудничают для создания нового интерфейса прикладного программирования (API). С помощью этого API разработчики могут легко запускать свои приложения с поддержкой искусственного интеллекта на видеокартах RTX от Nvidia. Это партнерство также распространяется на интеграцию моделей малого языка (SLM) в среду выполнения Microsoft Copilot. Эти SLM служат основой для таких функций, как Recall и Live Captions.
Используя этот набор инструментов, разработчики могут позволить приложениям работать локально на вашем графическом процессоре, а не полагаться на NPU. Эта альтернативная установка предлагает не только улучшенные приложения искусственного интеллекта благодаря превосходным возможностям искусственного интеллекта графических процессоров по сравнению с NPU, но и гибкость для запуска таких приложений на ПК, которые в настоящее время не покрываются Copilot+.
Текущее требование к ПК Copilot+ включает наличие блока нейронных процессоров (NPU), способного выполнять не менее 40 тера операций в секунду (TOPS). В настоящее время этому стандарту соответствует только Snapdragon X Elite. Однако важно отметить, что графические процессоры обладают значительно большими возможностями обработки ИИ. Например, даже графические процессоры начального уровня могут достигать производительности до 100 TOPS, а модели высокого класса могут масштабироваться еще дальше.
Новое расширение API включает в себя функции расширенной генерации данных (RAG), интегрированные в среду выполнения Copilot, которая работает совместно с обработкой графического процессора. Эта функция позволяет модели ИИ получать доступ к соответствующим данным локально и генерировать более эффективные ответы. Заметная демонстрация возможностей RAG состоялась ранее в этом году во время мероприятия Nvidia Chat with RTX.
На выставке Computex, не связанной с API, Nvidia представила набор инструментов RTX AI Toolkit. Эта коллекция для разработчиков, которая выйдет в июне, включает в себя множество инструментов и SDK, позволяющих разработчикам оптимизировать модели искусственного интеллекта для различных приложений. По данным Nvidia, использование RTX AI Toolkit может привести к тому, что модели будут работать в четыре раза быстрее и занимать в три раза меньше места по сравнению с использованием альтернатив с открытым исходным кодом.
Как аналитик, я заметил растущую тенденцию к появлению инструментов для разработчиков, которые упрощают создание индивидуальных приложений искусственного интеллекта для конечных пользователей. Мы уже наблюдаем это на ПК Copilot+, но я ожидаю значительного всплеска таких приложений к этому времени в следующем году. При наличии необходимого оборудования остается только разработать необходимое программное обеспечение для поддержки этих приложений.
Смотрите также
- Когда серебро затмевает биткойн: История двух металлов 🪙✨
- Трейлер ‘The Madison’ раскрывает новый сериал Тейлора Шеридан с Куртом Расселом в главной роли.
- Asus признает, что Q-Release Slim может повредить графические процессоры
- Китай заявляет, что Нвидиа встроила бэкдор в чип H20, предназначенный для китайского рынка.
- Обзор Motorola Edge 70 Fusion
- Сегодня Microsoft исполнилось 50 лет, и это заставило меня вспомнить об MS-DOS 5.0
- Код Apple намекает на новые модели Studio Display с двумя ключевыми улучшениями.
- Шоураннер сериала X-Men ’97 раскритиковал студию Marvel за перезапуск режиссера и обвинил ее в лицемерии и сокрытии правды
- iFixit заявляет, что новое оборудование Arm Surface «ставит ремонт на первое место»
- Поезд в Пусан возвращается в 4K, пока режиссер представляет новый зомби-триллер Colony.
2024-06-02 15:39