Benchmark
Erste ErgebnisseZorevaBench
Wir haben dieselben 15 Programmieraufgaben mit dem bisherigen und dem neuen Auto-Modus ausgeführt und die verbrauchten Credits gezählt.
Das neue Auto verbraucht 66 % weniger Credits
Über 15 Aufgaben, als Summe der Mittelwerte jeder Aufgabe.
Bisheriges Auto
207
Credits insgesamt
Neues Auto
71
Credits insgesamt
Gültige Durchläufe
100
51 bisher · 49 neu
Pro Aufgabe
Credits pro Aufgabe
Begrüßung
0.040.01Einfache Frage
0.440.05Kleine Änderung
1.680.27SwiftUI-Screen
21.397.36Kotlin/Compose-Screen
25.3711.44Landingpage-Abschnitt
27.3511.28Bug mit fehlschlagendem Test
15.602.66Screenshot zu Code
16.915.43PDF-Zusammenfassung
2.610.19Lese-Subagent
4.121.25Katalog-Subagent
2.861.12Allgemein: Python-Skript
25.0910.33Allgemein: Node-CLI
23.827.64Allgemein: Arduino-Sketch
13.014.70Agent-Sitzung, 10+ Runden
26.777.24
Ergebnisse
Ergebnisse pro Aufgabe
Begrüßung
−75%
- Bisheriges Auto
- 0.040.04–0.04
- Neues Auto
- 0.010.01–0.01
- Durchläufe
- 3 / 3
Einfache Frage
−89%
- Bisheriges Auto
- 0.440.43–0.46
- Neues Auto
- 0.050.04–0.05
- Durchläufe
- 3 / 3
Kleine Änderung
−84%
- Bisheriges Auto
- 1.681.52–1.98
- Neues Auto
- 0.270.25–0.28
- Durchläufe
- 3 / 3
SwiftUI-Screen
−66%
- Bisheriges Auto
- 21.3918.87–23.75
- Neues Auto
- 7.366.59–8.42
- Durchläufe
- 3 / 3
Kotlin/Compose-Screen
−55%
- Bisheriges Auto
- 25.3717.36–32.13
- Neues Auto
- 11.4411.17–11.75
- Durchläufe
- 3 / 3
Landingpage-Abschnitt
−59%
- Bisheriges Auto
- 27.3525.93–28.16
- Neues Auto
- 11.2811.08–11.63
- Durchläufe
- 3 / 3
Bug mit fehlschlagendem Test
−83%
- Bisheriges Auto
- 15.6015.46–15.78
- Neues Auto
- 2.662.07–3.34
- Durchläufe
- 3 / 3
Screenshot zu Code
−68%
- Bisheriges Auto
- 16.9114.15–23.85
- Neues Auto
- 5.434.53–6.19
- Durchläufe
- 4 / 4
PDF-Zusammenfassung
−93%
- Bisheriges Auto
- 2.612.60–2.61
- Neues Auto
- 0.190.18–0.19
- Durchläufe
- 4 / 4
Lese-Subagent
−70%
- Bisheriges Auto
- 4.123.71–4.66
- Neues Auto
- 1.251.05–1.61
- Durchläufe
- 4 / 4
Katalog-Subagent
−61%
- Bisheriges Auto
- 2.862.76–2.92
- Neues Auto
- 1.120.87–1.22
- Durchläufe
- 4 / 4
Allgemein: Python-Skript
−59%
- Bisheriges Auto
- 25.0923.55–28.15
- Neues Auto
- 10.3310.20–10.46
- Durchläufe
- 4 / 2
Allgemein: Node-CLI
−68%
- Bisheriges Auto
- 23.8221.46–27.55
- Neues Auto
- 7.647.26–8.33
- Durchläufe
- 3 / 4
Allgemein: Arduino-Sketch
−64%
- Bisheriges Auto
- 13.0112.88–13.12
- Neues Auto
- 4.703.95–5.82
- Durchläufe
- 4 / 3
Agent-Sitzung, 10+ Runden
−73%
- Bisheriges Auto
- 26.7723.05–30.63
- Neues Auto
- 7.246.55–8.16
- Durchläufe
- 3 / 3
Gesamt (15 Aufgaben)
−66%
- Bisheriges Auto
- 207.06
- Neues Auto
- 70.97
- Durchläufe
- 51 / 49
Credits sind der Mittelwert pro Aufgabe; die kleinen Zahlen sind Min–Max über die Durchläufe.
Was er misst
Sechs Arten von Arbeit
Konversation
Eine Begrüßung und eine kurze technische Frage. Prüft, dass einfache Nachrichten günstig bleiben.
Kleine Änderungen
Eine Änderung an einer einzigen Datei in einem bestehenden Projekt, etwa ein Label umbenennen oder einen Stil anpassen.
Native Screens
Einen kompletten Screen in SwiftUI oder Jetpack Compose bauen oder einen aus einem Screenshot nachbauen.
Web und Debugging
Einen Abschnitt zu einer Landingpage hinzufügen und einen Bug beheben, bis sein fehlschlagender Test besteht.
Allgemeiner Code
Ein Python-Skript mit Tests, ein Node.js-Kommandozeilentool und ein Arduino-Sketch, geschrieben und ausgeführt in einem echten Ordner.
Subagenten und lange Sitzungen
Lese- und Katalog-Subagenten, eine PDF-Zusammenfassung und eine Agent-Sitzung mit mehr als zehn Runden.
Methodik
Wie die Aufgaben ausgeführt werden
- 01
Gleiche Aufgaben, beide Modi
Jede der 15 Aufgaben lief mit dem bisherigen Auto und mit dem neuen Auto, mit demselben Prompt, denselben Dateien und demselben Schrittlimit.
- 02
Echte Dateien, wo es zählt
Code-Aufgaben laufen in einem frischen Ordner: Dateien werden wirklich geschrieben, Befehle, Tests und Compiler wirklich ausgeführt.
- 03
Wiederholte Durchläufe
Jede Aufgabe hat 2 bis 4 gültige Durchläufe pro Modus; wir zeigen den Mittelwert mit dem Min–Max-Bereich.
- 04
Fehlgeschlagene Aufrufe ausgeschlossen
Durchläufe, die durch eine abgelaufene Sitzung oder einen Inhaltsfilter abgebrochen wurden, zählen nicht. Sie werden ausgeschlossen, nicht als null gewertet.
Metriken
Was jede Spalte bedeutet
- Bisheriges Auto
- Durchschnittliche Credits pro Aufgabe mit dem bisherigen Auto-Modus, mit dem Min–Max-Bereich seiner Durchläufe.
- Neues Auto
- Durchschnittliche Credits pro Aufgabe mit dem neuen Auto-Modus, mit dem Min–Max-Bereich seiner Durchläufe.
- Ersparnis
- Wie viel weniger Credits das neue Auto im Mittel verbraucht hat als das bisherige.
- Durchläufe
- Gültige Durchläufe pro Modus: bisher / neu.
Alle Zahlen sind in Credits. Bei 2 bis 4 Durchläufen pro Aufgabe sind kleine Unterschiede womöglich nicht aussagekräftig.
Changelog
Versionen
29. Okt. 2026
Erster Durchlauf: bisheriges Auto vs. neues Auto
15 Aufgaben, 2 bis 4 gültige Durchläufe pro Modus, gemessen in Credits. Eine Qualitätsbewertung folgt in einem künftigen Update.
28. Okt. 2026
Methodik veröffentlicht
Aufgabenbereiche, Bewertung und Metriken sind festgelegt. Es wurden keine Ergebnisse veröffentlicht.
Möchtest du wissen, wann die Qualitätsbewertung dazukommt?
Folge dem Changelog oder sag uns, welche Aufgaben du abgedeckt sehen möchtest.