Uma demonstração impressiona na primeira tentativa. A pergunta que decide se o piloto continua não é funcionou uma vez, mas quanto trabalho humano essa rotina ainda exige, quantas vezes ela erra e o que acontece quando erra.
Sem linha de base e sem painel de exceções, um piloto vira opinião. Com eles, vira decisão registrada.
Volume processado não demonstra utilidade. Um piloto só ganha sentido quando alguém recupera o que precisava, confere a fonte, identifica a exceção e mede quanto trabalho humano permaneceu na revisão.
O que medir em cada tipo de rotina
Em Registro de Imóveis, o foco pode ser tempo de recuperação e divergência entre versões. Em Registro Civil das Pessoas Jurídicas, a recuperação de alterações em sequência. Em Registro Civil das Pessoas Naturais, erro de caractere ou palavra em OCR e HTR. Em Protesto, encaminhamento correto. A métrica nasce da tarefa. Não existe número único que compare todos os pilotos.
O desenho de um piloto que permite decidir
- Registrar o estado anterior ao teste, como linha de base de tempo, retrabalho ou erro conhecido.
- Delimitar a amostra, o período e os dados permitidos no piloto.
- Definir a pergunta de recuperação e a regra de sucesso antes de rodar o teste, não depois de ver o resultado.
- Executar o piloto e registrar erro material, taxa de erro de caractere ou de palavra quando pertinente, divergências entre agentes e exceções.
- Registrar falso positivo, falso negativo e esforço de revisão humana efetivamente gasto.
- Decidir, com base no painel, se o fluxo continua, muda ou encerra, e testar a reversão quando aplicável.
Inclua no painel testes de Prompt Injection com material sintético. Meça se o agente manteve a tarefa autorizada, citou a origem e interrompeu o fluxo diante de instrução externa suspeita. O Módulo 5.5 define o teste e a fronteira de confiança.
A regra de sucesso precisa caber na rotina
A regra de sucesso de um piloto em OCR de livros antigos, medida por taxa de erro de caractere e de palavra em amostra revisada, é diferente da regra de sucesso de um piloto de atendimento em Protesto, medida por demandas corretamente encaminhadas. Cada atribuição precisa definir sua própria métrica antes de comparar resultados entre pilotos diferentes.
Cinco limites para não confundir teste com expansão
Fonte: ato normativo em página oficial ou material sintético, nunca dado não autorizado.
Permissão: amostra e ambiente são definidos e aprovados antes do início.
Revisão: pessoa responsável compara linha de base e resultado.
Exceção: falso positivo, falso negativo, incidente e perda de origem entram no painel.
Parada: o piloto encerra ou reduz diante de incidente, origem perdida, divergência material, acesso inadequado ou revisão insuficiente.
Exercício controlado
Escolha uma rotina já concluída cujo resultado a equipe conhece. Prepare uma cópia sintética ou autorizada e execute o piloto sem enviar, publicar, apagar ou alterar o material original. Inclua uma exceção simulada. Registre linha de base, amostra, regra de sucesso, resultado e decisão final.
Compare a saída do agente com o resultado conhecido. Esse teste de regressão mostra se a nova configuração preserva o que já funcionava e onde ela introduz divergência, retrabalho ou perda de contexto.
Classifique a autonomia testada:
- observar a rotina
- preparar material
- propor uma saída
- executar depois de aprovação explícita
- executar dentro de regra validada e parar diante de exceção
O piloto só sobe um nível quando o anterior deixou evidência suficiente.
Piloto de um ciclo semanal de Radar Registral
Use somente fontes públicas previamente escolhidas. Defina uma semana já encerrada e monte uma amostra com itens cujo resultado possa ser conferido.
Meça:
- fontes previstas que foram consultadas
- itens recuperados com origem completa
- alertas sem relação com a rotina escolhida
- atualizações relevantes que o agente não encontrou
- afirmações da síntese sem apoio direto na fonte
- minutos de revisão humana por item
- exceções que fizeram o fluxo parar
O piloto não mede conhecimento jurídico do agente. Ele mede se o procedimento reduz dispersão, preserva a fonte e entrega material revisável sem promover resumo a decisão.
O painel que sustenta a próxima decisão
Plano de piloto e painel de recuperação, erro, revisão e exceções, preenchido na Ficha 09, Plano de piloto e painel de exceções.
O painel registra também divergências entre agentes, não apenas erro de reconhecimento. Esse sinal permite decidir se o desenho precisa de nova fonte, nova função revisora, correção ou encerramento.
Quem decide se o piloto continua
A função responsável autoriza o início do piloto, valida a comparação com a linha de base e decide se o fluxo continua, muda ou encerra. O painel informa a decisão, mas não a substitui.
O que a medição mostra e o que ela não promete
Observe recuperação, erros, intervenções humanas, exceções e a capacidade real de reversão do piloto.
Esse sinal mostra a qualidade do teste. Ele não prova retorno financeiro, redução de custo em escala, nem capacidade de expansão para outra serventia ou atribuição sem novo piloto próprio.
Quer conhecer a Mentoria em IA para Negócios?
Se quiser aprender a lógica de uso de IA em conversa individual, a oferta separada é a Mentoria em IA para Negócios. No formato atual, são quatro sessões online de três horas para conversar sobre possibilidades e casos de uso do seu negócio.
Falar a língua dos cartórios contextualiza a conversa. Isso não inclui diagnóstico formal, consultoria registral, jurídica ou tecnológica, projeto, desenho técnico, configuração, integração, implantação, operação assistida, acesso a sistemas ou manipulação de acervo.
Quero conhecer a Mentoria pelo WhatsApp
Se preferir, use o formulário de contato. Não envie documentos, dados de terceiros, credenciais ou conteúdo sigiloso no primeiro contato.
Perguntas frequentes
Um piloto bem-sucedido em uma amostra pequena já autoriza expansão?
Não automaticamente. Amostra pequena mostra viabilidade inicial. Expansão exige nova avaliação de volume, exceção e revisão.
Toda métrica de OCR ou HTR serve para qualquer piloto de IA?
Não. Taxa de erro de caractere e de palavra se aplica a reconhecimento de texto. Outros pilotos, como atendimento ou triagem, exigem métrica própria.
O painel de exceções substitui a decisão humana?
Não. O painel informa a decisão. A pessoa responsável continua decidindo se o fluxo continua, muda ou encerra.
Nota de escopo
Este artigo apresenta um método educacional de desenho e medição de piloto para exercício delimitado. Ele não constitui garantia de resultado, auditoria de conformidade nem substitui a avaliação técnica e jurídica de um piloto real. Antes de qualquer piloto com dado real, consulte as áreas técnica, jurídica e de segurança responsáveis.
Para aprofundar
- Bruce Schneier, Secrets and Lies.
- Daniel Kahneman, Olivier Sibony e Cass Sunstein, Noise.
- Atul Gawande, The Checklist Manifesto.
Fontes
- NIST AI Risk Management Framework 1.0.
- Documentação técnica da ferramenta escolhida quando o piloto envolver reconhecimento de texto.
- Fontes vigentes aplicáveis ao contexto do piloto, confirmadas pelas funções responsáveis.
Navegação
- Módulo anterior: Módulo 8, Governança, permissões e rastreabilidade.
- Próximo módulo: Módulo 10, Da experiência interna à demonstração pública responsável.
- Volte ao Hub da trilha.
- Abra o Kit prático.