Новые прорывы в генерации видео с помощью ИИ: мультимодальные технологии изменяют ландшафт вычислительной мощности Web3

В последнее время одним из самых заметных достижений в области ИИ стало прорывное развитие технологии многомодальной генерации видео. Эта технология прошла путь от генерации видео на основе одного текста к возможности интеграции текста, изображений и аудио.

Вот некоторые примеры технологических прорывов, на которые стоит обратить внимание:

1. Технологическая компания открыла исходный код фреймворка, который может преобразовывать обычные видео в контент с свободным углом обзора 4D, и уровень одобрения пользователей достиг 70,7%. Это означает, что AI теперь может автоматически генерировать эффект просмотра под любым углом, что в прошлом требовало специализированной команды 3D моделирования.

2. Платформа генерации изображений, представленная одной компанией, утверждает, что может преобразовать одно изображение в 10-секундное видео "кинематографического" качества. Однако истинность этого утверждения еще предстоит проверить.

3. Технология, разработанная известным исследовательским институтом в области ИИ, может синхронно генерировать 4K видео и окружающий звук. Ключевым прорывом этой технологии стало достижение истинного семантического соответствия, например, точное соответствие между действиями ходьбы на экране и звуками шагов в сложных сценах.

4. На платформе коротких видео был представлен модель генерации видео с 8 миллиардами параметров, которая может создавать 1080p видео за 2,3 секунды при стоимости 3,67 юаня за 5 секунд. Хотя контроль затрат выполнен должным образом, все еще есть возможности для улучшения при обработке сложных сцен.

Эти технологические прорывы имеют большое значение в таких аспектах, как качество видео, стоимость генерации и области применения:

С технической точки зрения, сложность многомодальной генерации видео является экспоненциальной. Это не только требует обработки пикселей одиночного кадра, но и обеспечивает последовательность времени видео, синхронизацию аудио и учет согласованности в 3D-пространстве. В настоящее время эта сложная задача может быть выполнена за счет модульного разбиения и сотрудничества крупных моделей, что значительно повышает эффективность.

С точки зрения затрат, оптимизация архитектуры вывода, включая использование многоуровневой стратегии генерации, механизмов повторного использования кэша и динамического распределения ресурсов, позволила значительно снизить затраты на генерацию.

В области применения технологии ИИ меняют традиционный процесс видеопроизводства. Раньше создание 30-секундной рекламы могло стоить сотни тысяч рублей. А теперь достаточно одного подсказки и нескольких минут ожидания, чтобы получить качественный видеоконтент, который даже может предложить ракурсы и спецэффекты, недоступные при традиционной съемке. Эта трансформация может привести к перетасовке всей системы экономики создателей.

Итак, каковы последствия этих достижений в области ИИ для сферы Web3?

Во-первых, структура спроса на вычислительную мощность изменилась. Раньше ИИ в основном полагался на крупные однородные кластеры GPU, тогда как для многомодальной генерации видео требуется разнообразие комбинаций вычислительной мощности. Это создало новый спрос на распределенную неиспользуемую вычислительную мощность, различные модели распределенной доработки, алгоритмы и платформы для вывода.

Во-вторых, потребность в аннотации данных будет возрастать. Для создания профессионального видео необходимы точные описания сцен, эталонные изображения, аудиостили, траектории движения камеры и условия освещения и другие профессиональные данные. Механизмы поощрения Web3 могут стимулировать таких специалистов, как фотографы, звуковые инженеры и 3D-художники, предоставлять качественные данные, что повысит возможности генерации видео с помощью ИИ.

В конечном итоге переход технологий ИИ от централизованного масштабного распределения ресурсов к модульному сотрудничеству сам по себе представляет новую потребность в децентрализованных платформах. В будущем вычислительная мощность, данные, модели и механизмы стимулов могут сформировать самоусиливающийся положительный цикл, способствующий глубокой интеграции Web3 ИИ и традиционных ИИ-сценариев.