बेंचमार्क

पहले नतीजे

ZorevaBench

हमने वही 15 कोडिंग टास्क पिछले Auto मोड और नए मोड दोनों से चलाए, और गिना कि हर एक ने कितने क्रेडिट इस्तेमाल किए।

नया Auto 66% कम क्रेडिट इस्तेमाल करता है

15 टास्क में, हर टास्क का औसत जोड़कर।

पिछला Auto

207

कुल क्रेडिट

नया Auto

71

कुल क्रेडिट

मान्य रन

100

पिछला 51 · नया 49

हर टास्क

हर टास्क के क्रेडिट

पिछला Autoनया Autoहर टास्क के औसत क्रेडिट
  • अभिवादन

    0.04
    0.01
  • सरल सवाल

    0.44
    0.05
  • छोटा बदलाव

    1.68
    0.27
  • SwiftUI स्क्रीन

    21.39
    7.36
  • Kotlin/Compose स्क्रीन

    25.37
    11.44
  • लैंडिंग सेक्शन

    27.35
    11.28
  • फ़ेल होते टेस्ट वाला बग

    15.60
    2.66
  • स्क्रीनशॉट से कोड

    16.91
    5.43
  • PDF सारांश

    2.61
    0.19
  • रीड-ओनली सबएजेंट

    4.12
    1.25
  • कैटलॉग सबएजेंट

    2.86
    1.12
  • सामान्य: Python स्क्रिप्ट

    25.09
    10.33
  • सामान्य: Node CLI

    23.82
    7.64
  • सामान्य: Arduino स्केच

    13.01
    4.70
  • एजेंट सेशन, 10+ टर्न

    26.77
    7.24

नतीजे

टास्क के हिसाब से नतीजे

  • अभिवादन

    −75%

    पिछला Auto
    0.040.04–0.04
    नया Auto
    0.010.01–0.01
    रन
    3 / 3
  • सरल सवाल

    −89%

    पिछला Auto
    0.440.43–0.46
    नया Auto
    0.050.04–0.05
    रन
    3 / 3
  • छोटा बदलाव

    −84%

    पिछला Auto
    1.681.52–1.98
    नया Auto
    0.270.25–0.28
    रन
    3 / 3
  • SwiftUI स्क्रीन

    −66%

    पिछला Auto
    21.3918.87–23.75
    नया Auto
    7.366.59–8.42
    रन
    3 / 3
  • Kotlin/Compose स्क्रीन

    −55%

    पिछला Auto
    25.3717.36–32.13
    नया Auto
    11.4411.17–11.75
    रन
    3 / 3
  • लैंडिंग सेक्शन

    −59%

    पिछला Auto
    27.3525.93–28.16
    नया Auto
    11.2811.08–11.63
    रन
    3 / 3
  • फ़ेल होते टेस्ट वाला बग

    −83%

    पिछला Auto
    15.6015.46–15.78
    नया Auto
    2.662.07–3.34
    रन
    3 / 3
  • स्क्रीनशॉट से कोड

    −68%

    पिछला Auto
    16.9114.15–23.85
    नया Auto
    5.434.53–6.19
    रन
    4 / 4
  • PDF सारांश

    −93%

    पिछला Auto
    2.612.60–2.61
    नया Auto
    0.190.18–0.19
    रन
    4 / 4
  • रीड-ओनली सबएजेंट

    −70%

    पिछला Auto
    4.123.71–4.66
    नया Auto
    1.251.05–1.61
    रन
    4 / 4
  • कैटलॉग सबएजेंट

    −61%

    पिछला Auto
    2.862.76–2.92
    नया Auto
    1.120.87–1.22
    रन
    4 / 4
  • सामान्य: Python स्क्रिप्ट

    −59%

    पिछला Auto
    25.0923.55–28.15
    नया Auto
    10.3310.20–10.46
    रन
    4 / 2
  • सामान्य: Node CLI

    −68%

    पिछला Auto
    23.8221.46–27.55
    नया Auto
    7.647.26–8.33
    रन
    3 / 4
  • सामान्य: Arduino स्केच

    −64%

    पिछला Auto
    13.0112.88–13.12
    नया Auto
    4.703.95–5.82
    रन
    4 / 3
  • एजेंट सेशन, 10+ टर्न

    −73%

    पिछला Auto
    26.7723.05–30.63
    नया Auto
    7.246.55–8.16
    रन
    3 / 3
  • कुल (15 टास्क)

    −66%

    पिछला Auto
    207.06
    नया Auto
    70.97
    रन
    51 / 49

क्रेडिट हर टास्क का औसत हैं; छोटी संख्याएँ रनों का न्यूनतम–अधिकतम हैं।

यह क्या मापता है

छह तरह का काम

01

बातचीत

एक अभिवादन और एक छोटा तकनीकी सवाल। जाँचता है कि सरल संदेश सस्ते बने रहें।

02

छोटे बदलाव

किसी मौजूदा प्रोजेक्ट में एक ही फ़ाइल का बदलाव, जैसे किसी लेबल का नाम बदलना या स्टाइल ठीक करना।

03

नेटिव स्क्रीन

SwiftUI या Jetpack Compose में पूरी स्क्रीन बनाना, या स्क्रीनशॉट से एक स्क्रीन दोबारा बनाना।

04

वेब और डीबगिंग

लैंडिंग पेज में एक सेक्शन जोड़ना, और एक बग ठीक करना जब तक उसका फ़ेल होता टेस्ट पास न हो जाए।

05

सामान्य कोड

टेस्ट के साथ एक Python स्क्रिप्ट, एक Node.js कमांड-लाइन टूल और एक Arduino स्केच, जो असली फ़ोल्डर में लिखे और चलाए जाते हैं।

06

सबएजेंट और लंबे सेशन

रीड-ओनली और कैटलॉग सबएजेंट, एक PDF सारांश, और दस से ज़्यादा टर्न वाला एजेंट सेशन।

कार्यप्रणाली

टास्क कैसे चलाए जाते हैं

  1. 01

    वही टास्क, दोनों मोड

    सभी 15 टास्क पिछले Auto और नए Auto दोनों से चलाए गए, एक ही प्रॉम्प्ट, एक ही फ़ाइलों और एक ही स्टेप सीमा के साथ।

  2. 02

    जहाँ ज़रूरी हो, असली फ़ाइलें

    कोड टास्क एक नए फ़ोल्डर में चलते हैं: फ़ाइलें सच में लिखी जाती हैं और कमांड, टेस्ट व कंपाइलर सच में चलते हैं।

  3. 03

    दोहराए गए रन

    हर टास्क के हर मोड में 2 से 4 मान्य रन हैं, और हम न्यूनतम–अधिकतम रेंज के साथ औसत दिखाते हैं।

  4. 04

    विफल कॉल हटाए गए

    सेशन की अवधि खत्म होने या कंटेंट फ़िल्टर से रुके रन नहीं गिने जाते। उन्हें शून्य नहीं माना जाता, बल्कि हटा दिया जाता है।

मेट्रिक्स

हर कॉलम का मतलब

पिछला Auto
पिछले Auto मोड में हर टास्क के औसत क्रेडिट, उसके रनों की न्यूनतम–अधिकतम रेंज के साथ।
नया Auto
नए Auto मोड में हर टास्क के औसत क्रेडिट, उसके रनों की न्यूनतम–अधिकतम रेंज के साथ।
बचत
औसतन नए Auto ने पिछले वाले से कितने कम क्रेडिट इस्तेमाल किए।
रन
हर मोड में मान्य रन: पिछला / नया।

सभी आँकड़े क्रेडिट में हैं। हर टास्क के 2 से 4 रन होने के कारण छोटे अंतर शायद मायने न रखें।

चेंजलॉग

वर्ज़न

  1. 29 अक्टू॰ 2026

    पहला रन: पिछला Auto बनाम नया Auto

    15 टास्क, हर मोड में 2 से 4 मान्य रन, क्रेडिट में मापे गए। गुणवत्ता का मूल्यांकन आने वाले अपडेट में जुड़ेगा।

  2. 28 अक्टू॰ 2026

    कार्यप्रणाली प्रकाशित

    कार्य क्षेत्र, ग्रेडिंग और मेट्रिक्स तय हो गए हैं। अभी कोई परिणाम प्रकाशित नहीं हुआ है।

जानना चाहते हैं कि गुणवत्ता का मूल्यांकन कब जुड़ेगा?

चेंजलॉग फ़ॉलो करें, या बताएँ कि आप किन कार्यों को शामिल देखना चाहते हैं।