Novo avanço na geração de vídeos com IA: a tecnologia multimodal muda o panorama do poder de computação Web3

Recentemente, um dos avanços mais significativos no campo da IA é a quebra da tecnologia de geração de vídeo multimodal. Esta tecnologia evoluiu de gerar vídeos a partir de texto único para ser capaz de integrar texto, imagens e áudio em uma capacidade de geração abrangente.

Aqui estão alguns casos de avanços tecnológicos que merecem atenção:

1. Uma empresa de tecnologia abriu o código de uma estrutura que pode converter vídeos comuns em conteúdo 4D de ângulo livre, com uma taxa de aceitação dos usuários de 70,7%. Isso significa que a IA agora pode gerar automaticamente efeitos de visualização de qualquer ângulo, algo que no passado exigia uma equipe profissional de modelagem 3D para ser realizado.

2. Uma plataforma de geração de imagens lançada por uma empresa afirma que pode transformar uma única imagem em um vídeo de "qualidade cinematográfica" com 10 segundos de duração. No entanto, a veracidade dessa afirmação ainda precisa ser verificada.

3. Uma tecnologia desenvolvida por uma conhecida instituição de pesquisa em IA pode gerar simultaneamente vídeo 4K e som ambiente. O grande avanço dessa tecnologia reside na capacidade de alcançar uma correspondência real em nível semântico, como a correspondência precisa entre a ação de caminhar na cena complexa e os sons dos passos.

4. Uma plataforma de vídeos curtos lançou um modelo de geração de vídeos, com 80 bilhões de parâmetros, que consegue gerar vídeos em 1080p em 2,3 segundos, com um custo de 3,67 € por 5 segundos. Embora o controle de custos esteja adequado, ainda há espaço para melhorias no tratamento de cenários complexos.

Esses avanços tecnológicos têm um significado significativo em termos de qualidade de vídeo, custo de geração e cenários de aplicação:

No que diz respeito à tecnologia, a complexidade da geração de vídeo multimodal é exponencial. Não só requer o processamento dos pontos de pixel de uma única imagem, mas também a garantia da coerência temporal do vídeo, a sincronização do áudio e a consideração da consistência no espaço 3D. Agora, essa tarefa complexa pode ser realizada através da decomposição modular e da colaboração entre grandes modelos, aumentando significativamente a eficiência.

Em termos de custos, a otimização da arquitetura de inferência, incluindo a adoção de estratégias de geração em camadas, mecanismos de reutilização de cache e alocação dinâmica de recursos, resultou numa significativa redução dos custos de geração.

No âmbito da aplicação, a tecnologia de IA está a mudar os processos tradicionais de produção de vídeo. No passado, produzir um anúncio de 30 segundos poderia custar centenas de milhares em despesas de produção. Agora, apenas são necessários uma palavra-chave e alguns minutos de espera para gerar conteúdo de vídeo de alta qualidade, conseguindo até alcançar ângulos e efeitos especiais difíceis de obter com filmagens tradicionais. Esta transformação pode levar a uma reestruturação de todo o sistema económico dos criadores.

Então, qual é o impacto desses avanços nas tecnologias de IA no campo do Web3?

Primeiro, a estrutura da demanda por poder de computação mudou. No passado, a IA dependia principalmente de grandes clusters de GPU homogêneos, enquanto a geração de vídeo multimodal requer uma combinação diversificada de poder de computação. Isso criou uma nova demanda por poder de computação ocioso distribuído, vários modelos de ajuste fino distribuídos, algoritmos e plataformas de inferência.

Em segundo lugar, a demanda por anotação de dados irá aumentar. A geração de vídeos de nível profissional requer descrições de cena precisas, imagens de referência, estilos de áudio, trajetórias de movimento da câmera e condições de iluminação, entre outros dados especializados. O mecanismo de incentivos do Web3 pode encorajar profissionais como fotógrafos, engenheiros de som e artistas 3D a fornecer materiais de dados de alta qualidade, melhorando assim a capacidade de geração de vídeos por IA.

Por fim, a transição da tecnologia de IA de uma alocação de recursos em larga escala e centralizada para uma colaboração modular representa, por si só, uma nova demanda por plataformas descentralizadas. No futuro, a computação, os dados, os modelos e os mecanismos de incentivo poderão formar um ciclo virtuoso de auto-reforço, impulsionando a fusão profunda entre a IA Web3 e os cenários de IA tradicionais.