Benchmark
Primeiros resultadosZorevaBench
Executamos as mesmas 15 tarefas de programação com o modo Auto anterior e com o novo, e contamos os créditos que cada um usou.
O novo Auto usa 66% menos créditos
Em 15 tarefas, somando a média de cada tarefa.
Auto anterior
207
créditos no total
Novo Auto
71
créditos no total
Execuções válidas
100
51 anterior · 49 novo
Por tarefa
Créditos por tarefa
Saudação
0.040.01Pergunta simples
0.440.05Edição pequena
1.680.27Tela SwiftUI
21.397.36Tela Kotlin/Compose
25.3711.44Seção de landing page
27.3511.28Bug com um teste falhando
15.602.66Captura de tela para código
16.915.43Resumo de PDF
2.610.19Subagente de leitura
4.121.25Subagente de catálogo
2.861.12Geral: script Python
25.0910.33Geral: CLI em Node
23.827.64Geral: sketch de Arduino
13.014.70Sessão de agente, 10+ turnos
26.777.24
Resultados
Resultados por tarefa
Saudação
−75%
- Auto anterior
- 0.040.04–0.04
- Novo Auto
- 0.010.01–0.01
- Execuções
- 3 / 3
Pergunta simples
−89%
- Auto anterior
- 0.440.43–0.46
- Novo Auto
- 0.050.04–0.05
- Execuções
- 3 / 3
Edição pequena
−84%
- Auto anterior
- 1.681.52–1.98
- Novo Auto
- 0.270.25–0.28
- Execuções
- 3 / 3
Tela SwiftUI
−66%
- Auto anterior
- 21.3918.87–23.75
- Novo Auto
- 7.366.59–8.42
- Execuções
- 3 / 3
Tela Kotlin/Compose
−55%
- Auto anterior
- 25.3717.36–32.13
- Novo Auto
- 11.4411.17–11.75
- Execuções
- 3 / 3
Seção de landing page
−59%
- Auto anterior
- 27.3525.93–28.16
- Novo Auto
- 11.2811.08–11.63
- Execuções
- 3 / 3
Bug com um teste falhando
−83%
- Auto anterior
- 15.6015.46–15.78
- Novo Auto
- 2.662.07–3.34
- Execuções
- 3 / 3
Captura de tela para código
−68%
- Auto anterior
- 16.9114.15–23.85
- Novo Auto
- 5.434.53–6.19
- Execuções
- 4 / 4
Resumo de PDF
−93%
- Auto anterior
- 2.612.60–2.61
- Novo Auto
- 0.190.18–0.19
- Execuções
- 4 / 4
Subagente de leitura
−70%
- Auto anterior
- 4.123.71–4.66
- Novo Auto
- 1.251.05–1.61
- Execuções
- 4 / 4
Subagente de catálogo
−61%
- Auto anterior
- 2.862.76–2.92
- Novo Auto
- 1.120.87–1.22
- Execuções
- 4 / 4
Geral: script Python
−59%
- Auto anterior
- 25.0923.55–28.15
- Novo Auto
- 10.3310.20–10.46
- Execuções
- 4 / 2
Geral: CLI em Node
−68%
- Auto anterior
- 23.8221.46–27.55
- Novo Auto
- 7.647.26–8.33
- Execuções
- 3 / 4
Geral: sketch de Arduino
−64%
- Auto anterior
- 13.0112.88–13.12
- Novo Auto
- 4.703.95–5.82
- Execuções
- 4 / 3
Sessão de agente, 10+ turnos
−73%
- Auto anterior
- 26.7723.05–30.63
- Novo Auto
- 7.246.55–8.16
- Execuções
- 3 / 3
Total (15 tarefas)
−66%
- Auto anterior
- 207.06
- Novo Auto
- 70.97
- Execuções
- 51 / 49
Os créditos são a média por tarefa; os números pequenos são o mínimo–máximo entre as execuções.
O que mede
Seis tipos de trabalho
Conversa
Uma saudação e uma pergunta técnica curta. Verifica se mensagens simples continuam baratas.
Edições pequenas
Uma alteração em um único arquivo de um projeto existente, como renomear um rótulo ou ajustar um estilo.
Telas nativas
Construir uma tela completa em SwiftUI ou Jetpack Compose, ou recriar uma a partir de uma captura de tela.
Web e depuração
Adicionar uma seção a uma landing page e corrigir um bug até o teste que falha passar.
Código geral
Um script Python com testes, uma ferramenta de linha de comando em Node.js e um sketch de Arduino, escritos e executados em uma pasta real.
Subagentes e sessões longas
Subagentes de leitura e de catálogo, um resumo de PDF e uma sessão de agente com mais de dez turnos.
Metodologia
Como as tarefas são executadas
- 01
Mesmas tarefas, os dois modos
Cada uma das 15 tarefas foi executada com o Auto anterior e com o novo Auto, com o mesmo prompt, os mesmos arquivos e o mesmo limite de passos.
- 02
Arquivos reais quando importa
As tarefas de código rodam em uma pasta nova: os arquivos são realmente gravados e comandos, testes e compiladores realmente executados.
- 03
Execuções repetidas
Cada tarefa tem de 2 a 4 execuções válidas por modo, e mostramos a média com o intervalo mínimo–máximo.
- 04
Chamadas com falha excluídas
Execuções interrompidas por sessão expirada ou filtro de conteúdo não contam. Elas são excluídas, não contadas como zero.
Métricas
O que cada coluna significa
- Auto anterior
- Créditos médios por tarefa com o modo Auto anterior, com o intervalo mínimo–máximo das execuções.
- Novo Auto
- Créditos médios por tarefa com o novo modo Auto, com o intervalo mínimo–máximo das execuções.
- Economia
- Quantos créditos a menos o novo Auto usou em relação ao anterior, na média.
- Execuções
- Execuções válidas por modo: anterior / novo.
Todos os números estão em créditos. Com 2 a 4 execuções por tarefa, pequenas diferenças podem não ser significativas.
Novidades
Versões
29 de out. de 2026
Primeira execução: Auto anterior vs. novo Auto
15 tarefas, de 2 a 4 execuções válidas por modo, medidas em créditos. A avaliação de qualidade virá em uma próxima atualização.
28 de out. de 2026
Metodologia publicada
Áreas de tarefas, avaliação e métricas estão definidas. Nenhum resultado foi publicado.
Quer saber quando a avaliação de qualidade for adicionada?
Acompanhe as novidades ou diga quais tarefas você gostaria de ver.