Как исследователь с опытом работы в области искусственного интеллекта и производства музыки, я в полном восторге от последней версии Nvidia — Fugatto. Эта модель генеративного аудио AI меняет правила игры в отрасли, предлагая беспрецедентный уровень творчества и универсальности в генерации звука.
Nvidia представила передовую модель искусственного интеллекта для генерации звука, которая может воспроизводить широкий спектр тонов, мелодий и даже речи в ответ на основные текстовые или аудиоинструкции, предоставляемые пользователем.
Эта модель, известная как Fugatto (также известная как Foundational Generative Audio Transformer Opus 1), способна выполнять различные задачи, такие как сочинение запоминающихся джинглов или коротких мелодий из текстовых инструкций, манипулирование существующими треками путем добавления или удаления инструментов и вокала, изменение тона голоса. с точки зрения акцента и эмоций, и, что удивительно, генерирует уникальные звуки, которые раньше не слышали, согласно недавнему сообщению в понедельник.
Рекомендуемые видео
Рафаэль Валле, руководитель прикладных исследований звука в Nvidia, заявил, что мы стремимся разработать модель, способную воспринимать и воспроизводить звук, подобный человеческому. Он объяснил, что «Fugatto» — это наша первая попытка реализовать будущее, в котором крупномасштабные данные и размер модели облегчают неконтролируемое многозадачное обучение синтезу и преобразованию звука.
Модель искусственного интеллекта может предложить музыкальным продюсерам быстрый способ экспериментировать и оценивать различные концепции песен в разных жанрах, модифицировать их с помощью эффектов, дополнительных слоев или даже адаптировать их для конкретных регионов. Кроме того, его можно использовать для настройки музыки и озвучки рекламы в соответствии с кампанией, а также для динамического изменения музыки видеоигры в зависимости от прохождения игроком уровней.
Модель может издавать уникальные звуки, например, звуки труб, которые звучат так, будто они лают, или мяукающие саксофоны. Для этого он использует метод, известный как ComposableART, который позволяет ему сочетать знания, полученные в процессе обучения.
Рохан Бадлани, исследователь искусственного интеллекта Nvidia, поделился, что его целью было дать пользователям возможность творчески сочетать атрибуты в субъективной или художественной манере, позволяя им решать важность каждого атрибута. Результаты его испытаний часто были неожиданными, что давало ему ощущение художника, несмотря на то, что он работал ученым-компьютерщиком.
Модель Fugatto, имеющая около 2,5 миллиардов параметров, была точно настроена на кластере из 32 графических процессоров H100. Такие аудиоискусственные интеллекты быстро распространяются. В апреле Stability AI представила аналогичную систему, способную создавать треки длиной до трех минут. Между тем, модель V2A от Google может генерировать бесконечное количество саундтреков на основе любого видеовхода.
На прошлой неделе YouTube представил музыкальный ремикшер на базе искусственного интеллекта, который создает 30-секундный фрагмент из входной песни и следует текстовым инструкциям, предоставленным пользователями. Стоит отметить, что OpenAI также рискнула заняться этой областью, запустив в апреле инструмент клонирования голоса искусственного интеллекта, который может идеально имитировать голос и вокальные характеристики пользователя, используя всего лишь 15 секунд аудиосэмпла.
Смотрите также
- На фотографии iPhone 16 Pro Max видны удивительно тонкие рамки
- Приложение Google Gemini AI получает более широкую версию. Ваш телефон есть в списке?
- Если вы скучаете по старым Windows Phone от Nokia, вам понравится HMD Skyline.
- Что лучше: Dell Latitude или Inspiron?
- Xiaomi Mix Fold 4 против Xiaomi Mix Flip: в чем разница?
- Эта функция Apple Watch сводила меня с ума. Вот как я это исправил
- Sony отступает и не будет принудительно использовать учетные записи PSN для ПК-игроков Helldivers 2 в Steam
- Холли Берри сталкивается со злым духом в захватывающем трейлере триллера ужасов Never Let Go
- Только что просочились новые подробности о следующем телефоне Samsung Galaxy S24.
- 7 захватывающих южноафриканских фильмов ужасов
2024-11-25 17:27