Apple сегодня решает один из самых неприятных аспектов искусственного интеллекта

Как опытный исследователь искусственного интеллекта с многолетним опытом наблюдения и анализа эволюции языковых моделей (LLM), я не могу не быть заинтригован последней инновацией Apple — MUSCLE. Постоянные обновления и улучшения LLM от таких отраслевых гигантов, как Google, Anthropic и OpenAI, несомненно, расширили их возможности, но переход между версиями часто оставляет пользователей дезориентированными и разочарованными.

Поскольку модели искусственного интеллекта от таких компаний, как Google, Anthropic и OpenAI, продолжают развиваться, пользовательский опыт, вероятно, изменится соответствующим образом. Тем не менее, этот переход может разочаровать пользователей, которым приходится адаптировать свои методы запросов для получения желаемых результатов. Команда исследователей Apple представила новый подход, направленный на облегчение обновлений при минимизации несоответствий между версиями, что потенциально снижает их до 40%.

В своей исследовательской работе под названием «MUSCLE: An Approach to Graceful Model Upgrades in LLM», опубликованной 15 июля, ученые утверждают, что в процессе улучшения своих моделей разработчики обычно отдают приоритет повышению общей производительности, а не обеспечению плавного взаимодействия с пользователем во время перехода. . Это предполагает сведение к минимуму случаев, когда новая модель выдает неправильные выходные данные для выборок, ранее правильно классифицированных предыдущей моделью, что называется отрицательными переворотами.

По мнению исследователей, каждый пользователь имеет уникальные привычки и предпочтения при взаимодействии с чат-ботами, что требует частой настройки со стороны пользователей. Эта постоянная потребность в модификациях может оказаться утомительной и противоречить стремлению Apple обеспечить удобство и удобство взаимодействия с пользователем.

Исследователи утверждают, что неточные прогнозы ИИ должны различаться в разных версиях. Они заявили: «Последовательность имеет ценность, даже когда обе модели ошибаются». Пользователи могли разработать методы работы с ошибочной моделью.

Apple представляет MUSCLE
Стратегия обновления модели для совместимой эволюции LLM
Как технический энтузиаст, я бы сказал так: модели больших языков (LLM), в том числе и я, регулярно обновляются для улучшения качества данных и архитектуры. Во время этих обновлений разработчики уделяют приоритетное внимание повышению моей общей производительности.
— АК (@_akhaliq) 15 июля 2024 г.

Чтобы решить эту проблему, исследователи сначала разработали методы оценки степени регрессии между моделями, а затем сформулировали план по снижению ее распространенности. Результатом их усилий стала MUSCLE — стратегия, которая позволяет разработчикам реализовывать обучающие адаптеры вместо переобучения всей базовой модели с нуля. Адаптеры — это компактные компоненты искусственного интеллекта, которые можно включать в различные моменты более крупной языковой модели (LLM).

Разработчики имеют возможность точно настраивать отдельные модули модели, а не всю систему. Такой подход значительно снижает затраты на обучение и лишь незначительно увеличивает количество требуемых параметров. По сути, эти модули действуют как настраиваемые дополнения к большим языковым моделям, обеспечивая точную настройку конкретных областей ИИ без необходимости тонкой настройки всей системы.

В ходе исследования исследовательская группа усовершенствовала Langauge Model Large (LLM), например Llama от Meta и Phi от Microsoft, используя для тестирования определенные математические запросы. Они обнаружили, что негативные перевороты происходят примерно в 60% случаев. Применяя подход MUSCLE, исследователи не смогли полностью искоренить негативные перевороты, но эффективно снизили их частоту до 40% по сравнению с исходным уровнем.

Смотрите также

2024-07-15 21:27