Как опытный аналитик с более чем двадцатилетним опытом работы в технологической отрасли, я должен признать, что достижения в технологии генерации видео с помощью искусственного интеллекта произвели на меня большое впечатление, и Movie Gen от Meta не является исключением. Став свидетелем эволюции цифрового искусства от элементарной графики до сложных дипфейков, я могу с уверенностью сказать, что Movie Gen представляет собой значительный шаг вперед в творческом самовыражении.
В пятницу Meta представила Movie Gen, свою новейшую мультимодальную систему искусственного интеллекта третьей волны для видео. Этот инновационный инструмент предназначен для создания собственных видео и аудио, редактирования уже существующих видеороликов и даже преобразования ваших личных изображений в уникальный видеоконтент. Утверждается, что по производительности он превосходит сопоставимые модели, такие как Gen-3 от Runway, Kling 1.5 от Kuaishou Technology и Sora от OpenAI.
Meta Movie Gen — это расширение наших предыдущих проектов, начиная с мультимодальных моделей Make-A-Scene, за которыми следуют модели основы изображения Llama. По сути, Movie Gen включает в себя набор этих моделей, включая создание видео, индивидуальную генерацию видео, точное редактирование видео и производство звука. Эта коллекция дает создателям более точный контроль, и мы считаем, что она приведет к разработке новых инновационных продуктов, которые могут стимулировать творческий потенциал. Как упоминалось в объявлении, компания ожидает, что эти модели будут именно такими.
При создании видео инструмент под названием Movie Gen использует модель с 30 миллиардами параметров для создания клипов продолжительностью до 16 секунд, хотя он делает это с относительно медленной скоростью — 16 кадров в секунду (fps). Как объяснила Мета, эти модели способны понимать и изображать движения объектов, взаимодействие между субъектами и объектами, а также движения камеры. Они могут учиться и создавать правдоподобные движения по многочисленным концепциям, что делает их ведущими в своей области. С помощью этой же модели Movie Gen может создавать собственные видеоролики для создателей контента из статических изображений.
Meta использует особый тип модели генерации видео, которая принимает как видео, так и текстовые входные данные для внесения точных изменений в сгенерированный контент. Сюда входят локальные изменения, такие как добавление, удаление или замена элементов, а также глобальные изменения, такие как применение нового кинематографического стиля. Для производства звука они используют другую модель с 13B параметрами, способную генерировать до 45 секунд звука — это может быть фоновый шум, звуковые эффекты или инструментальная музыка — и все это автоматически синхронизируется с видео.
Согласно проведенным тестам, Movie Gen превосходит современные видеоИИ, такие как Gen3, Sora, Kling 1.5, ID-animator и Pika Labs Sound Gen, в различных категориях. С точки зрения генерации видео он превзошел все остальные. Более того, он преуспел в создании персонализированного видео, превзойдя ID-аниматора. Кроме того, Movie Gen продемонстрировал превосходство над Gen3 не только в создании видео, но и в возможностях редактирования видео. Судя по демонстрационным видеороликам, которые мы просмотрели до сих пор, Movie Gen значительно опережает текущие доступные варианты бесплатного видеогенератора.
Фирма намерена тесно сотрудничать с кинематографистами и художниками, чтобы учесть их предложения при разработке моделей, но подчеркивает, что не стремится заменить людей-творцов искусственным интеллектом. Эта технология, которой мы делимся для изучения, рассматривается как средство, позволяющее людям выражать себя инновационными способами, предлагая возможности, которые в противном случае могли бы быть недоступны. Конечная цель — в конечном итоге дать каждому возможность реализовать свои творческие мечты и создавать видео и аудио высокой четкости с помощью Movie Gen.
Смотрите также
- На фотографии iPhone 16 Pro Max видны удивительно тонкие рамки
- Если вы скучаете по старым Windows Phone от Nokia, вам понравится HMD Skyline.
- Концовка «Субстанции» объясняет: что происходит со Сью и Элизабет?
- Приложение Google Gemini AI получает более широкую версию. Ваш телефон есть в списке?
- Xiaomi Mix Fold 4 против Xiaomi Mix Flip: в чем разница?
- Эта функция Apple Watch сводила меня с ума. Вот как я это исправил
- Что лучше: Dell Latitude или Inspiron?
- Станет ли «Эксхума» следующим популярным фильмом ужасов о «Шаддере»?
- Chick-fil-A планирует запустить стриминговый сервис с оригинальными шоу
- Google собирается значительно упростить настройку вашего телефона Pixel
2024-10-04 20:27