बेंचमार्क
पहले नतीजेZorevaBench
हमने वही 15 कोडिंग टास्क पिछले Auto मोड और नए मोड दोनों से चलाए, और गिना कि हर एक ने कितने क्रेडिट इस्तेमाल किए।
नया Auto 66% कम क्रेडिट इस्तेमाल करता है
15 टास्क में, हर टास्क का औसत जोड़कर।
पिछला Auto
207
कुल क्रेडिट
नया Auto
71
कुल क्रेडिट
मान्य रन
100
पिछला 51 · नया 49
हर टास्क
हर टास्क के क्रेडिट
अभिवादन
0.040.01सरल सवाल
0.440.05छोटा बदलाव
1.680.27SwiftUI स्क्रीन
21.397.36Kotlin/Compose स्क्रीन
25.3711.44लैंडिंग सेक्शन
27.3511.28फ़ेल होते टेस्ट वाला बग
15.602.66स्क्रीनशॉट से कोड
16.915.43PDF सारांश
2.610.19रीड-ओनली सबएजेंट
4.121.25कैटलॉग सबएजेंट
2.861.12सामान्य: Python स्क्रिप्ट
25.0910.33सामान्य: Node CLI
23.827.64सामान्य: Arduino स्केच
13.014.70एजेंट सेशन, 10+ टर्न
26.777.24
नतीजे
टास्क के हिसाब से नतीजे
अभिवादन
−75%
- पिछला Auto
- 0.040.04–0.04
- नया Auto
- 0.010.01–0.01
- रन
- 3 / 3
सरल सवाल
−89%
- पिछला Auto
- 0.440.43–0.46
- नया Auto
- 0.050.04–0.05
- रन
- 3 / 3
छोटा बदलाव
−84%
- पिछला Auto
- 1.681.52–1.98
- नया Auto
- 0.270.25–0.28
- रन
- 3 / 3
SwiftUI स्क्रीन
−66%
- पिछला Auto
- 21.3918.87–23.75
- नया Auto
- 7.366.59–8.42
- रन
- 3 / 3
Kotlin/Compose स्क्रीन
−55%
- पिछला Auto
- 25.3717.36–32.13
- नया Auto
- 11.4411.17–11.75
- रन
- 3 / 3
लैंडिंग सेक्शन
−59%
- पिछला Auto
- 27.3525.93–28.16
- नया Auto
- 11.2811.08–11.63
- रन
- 3 / 3
फ़ेल होते टेस्ट वाला बग
−83%
- पिछला Auto
- 15.6015.46–15.78
- नया Auto
- 2.662.07–3.34
- रन
- 3 / 3
स्क्रीनशॉट से कोड
−68%
- पिछला Auto
- 16.9114.15–23.85
- नया Auto
- 5.434.53–6.19
- रन
- 4 / 4
PDF सारांश
−93%
- पिछला Auto
- 2.612.60–2.61
- नया Auto
- 0.190.18–0.19
- रन
- 4 / 4
रीड-ओनली सबएजेंट
−70%
- पिछला Auto
- 4.123.71–4.66
- नया Auto
- 1.251.05–1.61
- रन
- 4 / 4
कैटलॉग सबएजेंट
−61%
- पिछला Auto
- 2.862.76–2.92
- नया Auto
- 1.120.87–1.22
- रन
- 4 / 4
सामान्य: Python स्क्रिप्ट
−59%
- पिछला Auto
- 25.0923.55–28.15
- नया Auto
- 10.3310.20–10.46
- रन
- 4 / 2
सामान्य: Node CLI
−68%
- पिछला Auto
- 23.8221.46–27.55
- नया Auto
- 7.647.26–8.33
- रन
- 3 / 4
सामान्य: Arduino स्केच
−64%
- पिछला Auto
- 13.0112.88–13.12
- नया Auto
- 4.703.95–5.82
- रन
- 4 / 3
एजेंट सेशन, 10+ टर्न
−73%
- पिछला Auto
- 26.7723.05–30.63
- नया Auto
- 7.246.55–8.16
- रन
- 3 / 3
कुल (15 टास्क)
−66%
- पिछला Auto
- 207.06
- नया Auto
- 70.97
- रन
- 51 / 49
क्रेडिट हर टास्क का औसत हैं; छोटी संख्याएँ रनों का न्यूनतम–अधिकतम हैं।
यह क्या मापता है
छह तरह का काम
बातचीत
एक अभिवादन और एक छोटा तकनीकी सवाल। जाँचता है कि सरल संदेश सस्ते बने रहें।
छोटे बदलाव
किसी मौजूदा प्रोजेक्ट में एक ही फ़ाइल का बदलाव, जैसे किसी लेबल का नाम बदलना या स्टाइल ठीक करना।
नेटिव स्क्रीन
SwiftUI या Jetpack Compose में पूरी स्क्रीन बनाना, या स्क्रीनशॉट से एक स्क्रीन दोबारा बनाना।
वेब और डीबगिंग
लैंडिंग पेज में एक सेक्शन जोड़ना, और एक बग ठीक करना जब तक उसका फ़ेल होता टेस्ट पास न हो जाए।
सामान्य कोड
टेस्ट के साथ एक Python स्क्रिप्ट, एक Node.js कमांड-लाइन टूल और एक Arduino स्केच, जो असली फ़ोल्डर में लिखे और चलाए जाते हैं।
सबएजेंट और लंबे सेशन
रीड-ओनली और कैटलॉग सबएजेंट, एक PDF सारांश, और दस से ज़्यादा टर्न वाला एजेंट सेशन।
कार्यप्रणाली
टास्क कैसे चलाए जाते हैं
- 01
वही टास्क, दोनों मोड
सभी 15 टास्क पिछले Auto और नए Auto दोनों से चलाए गए, एक ही प्रॉम्प्ट, एक ही फ़ाइलों और एक ही स्टेप सीमा के साथ।
- 02
जहाँ ज़रूरी हो, असली फ़ाइलें
कोड टास्क एक नए फ़ोल्डर में चलते हैं: फ़ाइलें सच में लिखी जाती हैं और कमांड, टेस्ट व कंपाइलर सच में चलते हैं।
- 03
दोहराए गए रन
हर टास्क के हर मोड में 2 से 4 मान्य रन हैं, और हम न्यूनतम–अधिकतम रेंज के साथ औसत दिखाते हैं।
- 04
विफल कॉल हटाए गए
सेशन की अवधि खत्म होने या कंटेंट फ़िल्टर से रुके रन नहीं गिने जाते। उन्हें शून्य नहीं माना जाता, बल्कि हटा दिया जाता है।
मेट्रिक्स
हर कॉलम का मतलब
- पिछला Auto
- पिछले Auto मोड में हर टास्क के औसत क्रेडिट, उसके रनों की न्यूनतम–अधिकतम रेंज के साथ।
- नया Auto
- नए Auto मोड में हर टास्क के औसत क्रेडिट, उसके रनों की न्यूनतम–अधिकतम रेंज के साथ।
- बचत
- औसतन नए Auto ने पिछले वाले से कितने कम क्रेडिट इस्तेमाल किए।
- रन
- हर मोड में मान्य रन: पिछला / नया।
सभी आँकड़े क्रेडिट में हैं। हर टास्क के 2 से 4 रन होने के कारण छोटे अंतर शायद मायने न रखें।
चेंजलॉग
वर्ज़न
29 अक्टू॰ 2026
पहला रन: पिछला Auto बनाम नया Auto
15 टास्क, हर मोड में 2 से 4 मान्य रन, क्रेडिट में मापे गए। गुणवत्ता का मूल्यांकन आने वाले अपडेट में जुड़ेगा।
28 अक्टू॰ 2026
कार्यप्रणाली प्रकाशित
कार्य क्षेत्र, ग्रेडिंग और मेट्रिक्स तय हो गए हैं। अभी कोई परिणाम प्रकाशित नहीं हुआ है।
जानना चाहते हैं कि गुणवत्ता का मूल्यांकन कब जुड़ेगा?
चेंजलॉग फ़ॉलो करें, या बताएँ कि आप किन कार्यों को शामिल देखना चाहते हैं।