Запуск локальных моделей на компьютерах Mac становится быстрее благодаря поддержке MLX в Ollama.

Как исследователь, работающий с большими языковыми моделями, я рад видеть, что Ollama добавляет поддержку фреймворка MLX от Apple. Это позволяет мне запускать модели непосредственно на моем Mac, что является большим шагом вперед. Кроме того, команда Ollama также улучшила производительность кэширования и теперь поддерживает сжатие NVFP4 от Nvidia, что означает, что модели используют память гораздо более эффективно – реальная выгода при работе с более крупными моделями.

💰

"Рынок красный? Это просто сезон скидок для умных инвесторов." - так говорят, чтобы не плакать. У нас — аналитика, которая помогает плакать реже.

Найти недооцененные активы

Эти улучшения должны значительно повысить производительность на компьютерах Mac с чипами Apple Silicon (M1 и новее). Это происходит в идеальное время, поскольку запуск моделей AI непосредственно на устройствах — вместо использования облака — становится все более популярным не только среди исследователей и технических энтузиастов.

Я вижу OpenClaw *везде* в последнее время! Он взорвал GitHub, получив более 300 000 звёзд, и все крутые эксперименты, такие как Moltbook, действительно привлекли моё внимание. Он особенно популярен в Китае, и теперь кажется, что все пытаются запускать эти AI модели прямо на своих компьютерах. Это довольно волнующе!

Я заметил реальный всплеск интереса к запуску кодирующих моделей локально. Похоже, многие разработчики разочарованы ограничениями и стоимостью использования сервисов, таких как Claude Code или ChatGPT Codex, поэтому они изучают альтернативы, которые могут запускать на своих машинах. Недавно Ollama еще больше упростил интеграцию этих локальных моделей с Visual Studio Code, что, вероятно, способствует растущей тенденции.

Новая функция предварительного просмотра в Ollama (версия 0.19) в настоящее время работает только с одной AI-моделью: 35-миллиардной версией Qwen3.5 от Alibaba. Для её запуска требуется мощное оборудование – а именно, Mac с Apple Silicon и как минимум 32 ГБ оперативной памяти, как объявила Ollama.

Ollama теперь работает с новыми Нейронными Ускорителями в чипах M5 от Apple, что означает, что новые Mac будут работать быстрее, генерируя текст более быстро и эффективно.

Хотя локальные AI-модели не столь мощны, как самые продвинутые, они теперь достаточно способны для многих задач, за которые люди обычно платят по подписке. Кроме того, запуск моделей на вашем собственном компьютере предлагает лучшую конфиденциальность, чем использование облачных сервисов, при условии, что вы избегаете сложных настроек, которые предоставляют модели избыточный доступ к вашей системе. Самые большие проблемы сейчас — это их настройка – хотя такие инструменты, как Ollama, упрощают этот процесс, он в основном основан на командной строке – и наличие необходимого компьютерного оборудования, особенно достаточного объема видеопамяти.

Фреймворк MLX от Apple позволяет приложениям быстро использовать память в чипах Apple, которая совместно используется графическим и вычислительным блоками. Это новый подход для Ollama, который ранее был сосредоточен на компьютерах с отдельными графическими картами. Хотя это и не полностью устраняет разрыв в производительности между облачными и локальными моделями искусственного интеллекта, это многообещающее развитие для людей, использующих новые Macs.

Ollama не объявила, когда поддержка MLX будет полностью выпущена или расширена, чтобы включить больше моделей.

Смотрите также

2026-04-01 02:55