Nouveau breakthrough dans la génération de vidéos par IA : la technologie multimodale transforme le paysage de la puissance de calcul Web3

Récemment, l'un des progrès les plus remarquables dans le domaine de l'IA est la percée dans la technologie de génération de vidéos multimodales. Cette technologie a évolué d'une génération de vidéos à partir de texte unique à une capacité de génération complète intégrant texte, images et audio.

Voici quelques exemples de percées technologiques à surveiller :

1. Une entreprise technologique a open-sourcé un cadre capable de convertir des vidéos ordinaires en contenu 4D à vue libre, avec un taux d'acceptation des utilisateurs atteignant 70,7 %. Cela signifie que l'IA peut maintenant générer automatiquement des effets de visualisation sous n'importe quel angle, ce qui nécessitait auparavant une équipe de modélisation 3D professionnelle.

2. Une plateforme de génération d'images lancée par une entreprise prétend pouvoir transformer une seule image en une vidéo de "qualité cinématographique" de 10 secondes. Cependant, la véracité de cette affirmation reste à vérifier.

3. Une technologie développée par un institut de recherche en IA renommé peut générer simultanément des vidéos 4K et des sons d'environnement. La percée clé de cette technologie réside dans la réalisation d'une correspondance véritable au niveau sémantique, par exemple en réalisant une correspondance précise entre les actions de marche dans une scène complexe et le son des pas.

4. Une plateforme de courtes vidéos a lancé un modèle de génération vidéo, possédant 80 milliards de paramètres, capable de générer une vidéo 1080p en 2,3 secondes, à un coût de 3,67 CNY/5 secondes. Bien que le contrôle des coûts soit approprié, il y a encore de la place pour des améliorations lors du traitement de scènes complexes.

Ces avancées technologiques ont une signification majeure en termes de qualité vidéo, de coût de production et de cas d'utilisation :

Sur le plan technique, la complexité de la génération vidéo multimodale est exponentielle. Elle nécessite non seulement de traiter les pixels d'images individuelles, mais aussi de garantir la cohérence temporelle de la vidéo, d'assurer la synchronisation audio et de prendre en compte la cohérence dans l'espace 3D. Aujourd'hui, cette tâche complexe peut être réalisée grâce à une décomposition modulaire et à la collaboration entre de grands modèles, ce qui améliore considérablement l'efficacité.

En termes de coûts, en optimisant l'architecture de raisonnement, y compris l'adoption de stratégies de génération hiérarchiques, de mécanismes de réutilisation du cache et d'allocation dynamique des ressources, le coût de génération a été considérablement réduit.

Dans le domaine des applications, la technologie AI transforme le processus traditionnel de production vidéo. Auparavant, produire une publicité de 30 secondes pouvait coûter des centaines de milliers de dollars. Maintenant, il suffit d'un mot-clé et de quelques minutes d'attente pour générer un contenu vidéo de haute qualité, capable même d'atteindre des angles et des effets spéciaux difficiles à réaliser par les méthodes de tournage traditionnelles. Cette révolution pourrait entraîner une refonte complète de l'ensemble du système économique des créateurs.

Alors, quel impact ces avancées technologiques en IA ont-elles sur le domaine du Web3 ?

Tout d'abord, la structure de la demande en puissance de calcul a changé. Auparavant, l'IA s'appuyait principalement sur des clusters GPU homogènes à grande échelle, tandis que la génération de vidéos multimodales nécessite une combinaison diversifiée de puissance de calcul. Cela a créé une nouvelle demande pour la puissance de calcul distribuée inutilisée, divers modèles de fine-tuning distribués, algorithmes et plateformes d'inférence.

Deuxièmement, la demande de la annotation des données va augmenter. La création de vidéos de niveau professionnel nécessite des descriptions de scènes précises, des images de référence, des styles audio, des mouvements de caméra et des conditions d'éclairage, entre autres données spécialisées. Le mécanisme d'incitation de Web3 peut encourager des professionnels tels que des photographes, des ingénieurs du son et des artistes 3D à fournir des matériaux de données de haute qualité, ce qui améliorera les capacités de génération de vidéos par IA.

Enfin, la transition de la technologie AI d'un déploiement de ressources à grande échelle centralisé vers une collaboration modulaire représente en soi une nouvelle demande pour les plateformes décentralisées. À l'avenir, la puissance de calcul, les données, les modèles et les mécanismes d'incitation pourraient former un cercle vertueux auto-renforçant, favorisant une profonde intégration entre l'IA Web3 et les scénarios d'IA traditionnels.