OPML: Otimização de técnicas de aprendizado de máquina na Blockchain

OPML(Aprendizagem de Máquina Optimista) é uma nova tecnologia que permite a inferência e o treinamento/ajuste fino de modelos de IA em sistemas de Blockchain. Comparado ao ZKML, o OPML tem custos mais baixos e maior eficiência. A barreira de entrada é muito baixa, um PC comum pode executar grandes modelos de linguagem, como o 7B-LLaMA de 26GB, sem necessidade de GPU.

OPML utiliza um mecanismo de jogo de verificação para garantir a descentralização e a verificabilidade dos serviços de ML. O seu fluxo de trabalho é o seguinte:

1. O solicitante inicia a tarefa de serviço ML
2. O servidor completa a tarefa e submete o resultado na Blockchain
3. O validador verifica os resultados; se houver objeções, inicia-se o jogo de validação.
4. Realizar a arbitragem final em contratos inteligentes

Jogo de Verificação de Uma Fase

O jogo de verificação de uma única fase utiliza um protocolo de localização precisa, semelhante ao cálculo da delegação (RDoC). Ele contém os seguintes elementos-chave:

• Construir uma máquina virtual para execução off-chain e arbitragem on-chain (VM)
• Implementar uma biblioteca DNN leve e dedicada, aumentando a eficiência da inferência do modelo de IA
• Usar tecnologia de compilação cruzada para compilar o código de inferência de IA em instruções VM
• Gerir imagens de VM com a árvore de Merkle, apenas carregar o hash raiz na blockchain

Testes mostram que a inferência básica de modelos de IA pode ser concluída em 2 segundos em um PC comum, e todo o processo do desafio pode ser concluído em 2 minutos.

Jogo de verificação em várias etapas

Para superar as limitações do protocolo de uma única fase, propomos um jogo de verificação de múltiplas fases:

• Calcular apenas na fase final na VM, as outras fases podem ser executadas no ambiente local
• Aproveitar ao máximo a capacidade de aceleração de hardware como CPU, GPU e TPU.
• Aumentar significativamente o desempenho de execução, próximo ao nível do ambiente local

Usando o OPML de duas fases como exemplo:

• Segunda fase: validar no gráfico de cálculo, pode usar aceleração GPU
• Fase um: converter o cálculo de um único nó em execução de instruções VM

O design em múltiplas fases melhorou significativamente o desempenho:

• Aumento da velocidade de cálculo em α vezes ( α é a proporção de aceleração da GPU )
• Tamanho da árvore Merkle reduzido de O(mn) para O(m+n)

Consistência e Determinismo

Para garantir a consistência dos resultados do ML, o OPML utiliza:

1. Algoritmo fixo ( técnica de quantificação ): usa representação de precisão fixa, reduzindo o erro de ponto flutuante
2. Biblioteca de ponto flutuante de software: manter consistência entre plataformas

Esses métodos resolvem efetivamente o problema das diferenças de cálculo em ponto flutuante em diferentes ambientes de hardware e software.

De um modo geral, a OPML oferece uma solução eficiente e de baixo custo para aplicações de IA na Blockchain. Ela não só suporta a inferência de modelos, mas também pode ser utilizada para o treinamento de modelos, sendo uma estrutura de aprendizado de máquina genérica.