ZorevaBench

同じ 15 個のプログラミングタスクを以前の Auto モードと新しいモードで実行し、それぞれが使ったクレジットを数えました。

新しい Auto はクレジットを 66% 削減

15 タスクで、各タスクの平均を合計した値です。

以前の Auto

207

クレジット（合計）

新しい Auto

クレジット（合計）

有効な実行

100

以前 51 · 新しい 49

タスク別

タスクごとのクレジット

以前の Auto新しい Autoタスクあたりの平均クレジット

あいさつ
0.04
0.01
簡単な質問
0.44
0.05
小さな編集
1.68
0.27
SwiftUI 画面
21.39
7.36
Kotlin/Compose 画面
25.37
11.44
ランディングのセクション
27.35
11.28
失敗するテストのあるバグ
15.60
2.66
スクリーンショットからコード
16.91
5.43
PDF の要約
2.61
0.19
読み取り用サブエージェント
4.12
1.25
カタログ用サブエージェント
2.86
1.12
一般：Python スクリプト
25.09
10.33
一般：Node CLI
23.82
7.64
一般：Arduino スケッチ
13.01
4.70
エージェントセッション（10 ターン以上）
26.77
7.24

結果

タスク別の結果

あいさつ
−75%
以前の Auto
0.040.04–0.04
新しい Auto
0.010.01–0.01
実行回数
3 / 3
簡単な質問
−89%
以前の Auto
0.440.43–0.46
新しい Auto
0.050.04–0.05
実行回数
3 / 3
小さな編集
−84%
以前の Auto
1.681.52–1.98
新しい Auto
0.270.25–0.28
実行回数
3 / 3
SwiftUI 画面
−66%
以前の Auto
21.3918.87–23.75
新しい Auto
7.366.59–8.42
実行回数
3 / 3
Kotlin/Compose 画面
−55%
以前の Auto
25.3717.36–32.13
新しい Auto
11.4411.17–11.75
実行回数
3 / 3
ランディングのセクション
−59%
以前の Auto
27.3525.93–28.16
新しい Auto
11.2811.08–11.63
実行回数
3 / 3
失敗するテストのあるバグ
−83%
以前の Auto
15.6015.46–15.78
新しい Auto
2.662.07–3.34
実行回数
3 / 3
スクリーンショットからコード
−68%
以前の Auto
16.9114.15–23.85
新しい Auto
5.434.53–6.19
実行回数
4 / 4
PDF の要約
−93%
以前の Auto
2.612.60–2.61
新しい Auto
0.190.18–0.19
実行回数
4 / 4
読み取り用サブエージェント
−70%
以前の Auto
4.123.71–4.66
新しい Auto
1.251.05–1.61
実行回数
4 / 4
カタログ用サブエージェント
−61%
以前の Auto
2.862.76–2.92
新しい Auto
1.120.87–1.22
実行回数
4 / 4
一般：Python スクリプト
−59%
以前の Auto
25.0923.55–28.15
新しい Auto
10.3310.20–10.46
実行回数
4 / 2
一般：Node CLI
−68%
以前の Auto
23.8221.46–27.55
新しい Auto
7.647.26–8.33
実行回数
3 / 4
一般：Arduino スケッチ
−64%
以前の Auto
13.0112.88–13.12
新しい Auto
4.703.95–5.82
実行回数
4 / 3
エージェントセッション（10 ターン以上）
−73%
以前の Auto
26.7723.05–30.63
新しい Auto
7.246.55–8.16
実行回数
3 / 3
合計（15 タスク）
−66%
以前の Auto
207.06
新しい Auto
70.97
実行回数
51 / 49

タスク	以前の Auto	新しい Auto	削減	実行回数
あいさつ	0.040.04–0.04	0.010.01–0.01	−75%	3 / 3
簡単な質問	0.440.43–0.46	0.050.04–0.05	−89%	3 / 3
小さな編集	1.681.52–1.98	0.270.25–0.28	−84%	3 / 3
SwiftUI 画面	21.3918.87–23.75	7.366.59–8.42	−66%	3 / 3
Kotlin/Compose 画面	25.3717.36–32.13	11.4411.17–11.75	−55%	3 / 3
ランディングのセクション	27.3525.93–28.16	11.2811.08–11.63	−59%	3 / 3
失敗するテストのあるバグ	15.6015.46–15.78	2.662.07–3.34	−83%	3 / 3
スクリーンショットからコード	16.9114.15–23.85	5.434.53–6.19	−68%	4 / 4
PDF の要約	2.612.60–2.61	0.190.18–0.19	−93%	4 / 4
読み取り用サブエージェント	4.123.71–4.66	1.251.05–1.61	−70%	4 / 4
カタログ用サブエージェント	2.862.76–2.92	1.120.87–1.22	−61%	4 / 4
一般：Python スクリプト	25.0923.55–28.15	10.3310.20–10.46	−59%	4 / 2
一般：Node CLI	23.8221.46–27.55	7.647.26–8.33	−68%	3 / 4
一般：Arduino スケッチ	13.0112.88–13.12	4.703.95–5.82	−64%	4 / 3
エージェントセッション（10 ターン以上）	26.7723.05–30.63	7.246.55–8.16	−73%	3 / 3
合計（15 タスク）	207.06	70.97	−66%	51 / 49

クレジットはタスクごとの平均で、小さな数字は実行間の最小–最大です。

測定する内容

6 種類の作業

会話

あいさつと短い技術的な質問。簡単なメッセージが安く済むかを確認します。

小さな編集

既存プロジェクトの 1 ファイルだけの変更。ラベル名の変更やスタイルの調整など。

ネイティブ画面

SwiftUI または Jetpack Compose で画面をまるごと作るか、スクリーンショットから再現します。

Web とデバッグ

ランディングページにセクションを追加し、失敗しているテストが通るまでバグを修正します。

一般的なコード

テスト付きの Python スクリプト、Node.js のコマンドラインツール、Arduino スケッチを、実際のフォルダーで作成・実行します。

サブエージェントと長いセッション

読み取り用とカタログ用のサブエージェント、PDF の要約、10 ターンを超えるエージェントセッション。

方法論

タスクの実行方法

01
同じタスクを両方のモードで
15 個のタスクをそれぞれ、以前の Auto と新しい Auto で、同じプロンプト・同じファイル・同じステップ上限で実行しました。
02
必要な場面では実ファイル
コードのタスクは新しいフォルダーで実行されます。ファイルは実際に書き込まれ、コマンド、テスト、コンパイラーも実際に実行されます。
03
複数回の実行
各タスクはモードごとに 2〜4 回の有効な実行があり、平均と最小–最大の範囲を示します。
04
失敗した呼び出しは除外
セッションの期限切れやコンテンツフィルターで中断された実行は数えません。ゼロとしてではなく、除外として扱います。

指標

各列の意味

以前の Auto: 以前の Auto モードでのタスクあたりの平均クレジットと、実行の最小–最大の範囲。
新しい Auto: 新しい Auto モードでのタスクあたりの平均クレジットと、実行の最小–最大の範囲。
削減: 新しい Auto が以前のものより平均でどれだけクレジットを減らしたか。
実行回数: モードごとの有効な実行回数：以前 / 新しい。

すべての数値はクレジットです。タスクごとの実行は 2〜4 回のため、小さな差には意味がない場合があります。

変更履歴

バージョン

2026年10月29日
初回実行：以前の Auto と新しい Auto
15 タスク、モードごとに 2〜4 回の有効な実行、単位はクレジット。品質の評価は今後のアップデートで追加します。
2026年10月28日
方法論を公開
タスク領域、採点、指標を定義しました。結果はまだ公開していません。

品質の評価が追加されたら知りたいですか？

変更履歴をフォローするか、扱ってほしいタスクを教えてください。

変更履歴タスクを提案