Кому нужна Сора, если у вас есть Meta Movie Gen?

Как опытный аналитик с более чем двадцатилетним опытом работы в технологической отрасли, я должен признать, что достижения в технологии генерации видео с помощью искусственного интеллекта произвели на меня большое впечатление, и Movie Gen от Meta не является исключением. Став свидетелем эволюции цифрового искусства от элементарной графики до сложных дипфейков, я могу с уверенностью сказать, что Movie Gen представляет собой значительный шаг вперед в творческом самовыражении.

В пятницу Meta представила Movie Gen, свою новейшую мультимодальную систему искусственного интеллекта третьей волны для видео. Этот инновационный инструмент предназначен для создания собственных видео и аудио, редактирования уже существующих видеороликов и даже преобразования ваших личных изображений в уникальный видеоконтент. Утверждается, что по производительности он превосходит сопоставимые модели, такие как Gen-3 от Runway, Kling 1.5 от Kuaishou Technology и Sora от OpenAI.

Meta Movie Gen — это расширение наших предыдущих проектов, начиная с мультимодальных моделей Make-A-Scene, за которыми следуют модели основы изображения Llama. По сути, Movie Gen включает в себя набор этих моделей, включая создание видео, индивидуальную генерацию видео, точное редактирование видео и производство звука. Эта коллекция дает создателям более точный контроль, и мы считаем, что она приведет к разработке новых инновационных продуктов, которые могут стимулировать творческий потенциал. Как упоминалось в объявлении, компания ожидает, что эти модели будут именно такими.

При создании видео инструмент под названием Movie Gen использует модель с 30 миллиардами параметров для создания клипов продолжительностью до 16 секунд, хотя он делает это с относительно медленной скоростью — 16 кадров в секунду (fps). Как объяснила Мета, эти модели способны понимать и изображать движения объектов, взаимодействие между субъектами и объектами, а также движения камеры. Они могут учиться и создавать правдоподобные движения по многочисленным концепциям, что делает их ведущими в своей области. С помощью этой же модели Movie Gen может создавать собственные видеоролики для создателей контента из статических изображений.

Meta использует особый тип модели генерации видео, которая принимает как видео, так и текстовые входные данные для внесения точных изменений в сгенерированный контент. Сюда входят локальные изменения, такие как добавление, удаление или замена элементов, а также глобальные изменения, такие как применение нового кинематографического стиля. Для производства звука они используют другую модель с 13B параметрами, способную генерировать до 45 секунд звука — это может быть фоновый шум, звуковые эффекты или инструментальная музыка — и все это автоматически синхронизируется с видео.

Согласно проведенным тестам, Movie Gen превосходит современные видеоИИ, такие как Gen3, Sora, Kling 1.5, ID-animator и Pika Labs Sound Gen, в различных категориях. С точки зрения генерации видео он превзошел все остальные. Более того, он преуспел в создании персонализированного видео, превзойдя ID-аниматора. Кроме того, Movie Gen продемонстрировал превосходство над Gen3 не только в создании видео, но и в возможностях редактирования видео. Судя по демонстрационным видеороликам, которые мы просмотрели до сих пор, Movie Gen значительно опережает текущие доступные варианты бесплатного видеогенератора.

Фирма намерена тесно сотрудничать с кинематографистами и художниками, чтобы учесть их предложения при разработке моделей, но подчеркивает, что не стремится заменить людей-творцов искусственным интеллектом. Эта технология, которой мы делимся для изучения, рассматривается как средство, позволяющее людям выражать себя инновационными способами, предлагая возможности, которые в противном случае могли бы быть недоступны. Конечная цель — в конечном итоге дать каждому возможность реализовать свои творческие мечты и создавать видео и аудио высокой четкости с помощью Movie Gen.

Смотрите также

2024-10-04 20:27