ZOREVA-UI

벤치마크

첫 결과

ZorevaBench

같은 15개의 코딩 작업을 이전 Auto 모드와 새 모드로 실행하고 각각 사용한 크레딧을 셌습니다.

새 Auto는 크레딧을 66% 덜 사용합니다

15개 작업에서 각 작업의 평균을 합산한 값입니다.

이전 Auto

207

총 크레딧

새 Auto

71

총 크레딧

유효 실행

100

이전 51 · 새 49

작업별

작업별 크레딧

이전 Auto새 Auto작업당 평균 크레딧

  • 인사

    0.04
    0.01

  • 간단한 질문

    0.44
    0.05

  • 작은 수정

    1.68
    0.27

  • SwiftUI 화면

    21.39
    7.36

  • Kotlin/Compose 화면

    25.37
    11.44

  • 랜딩 섹션

    27.35
    11.28

  • 실패하는 테스트가 있는 버그

    15.60
    2.66

  • 스크린샷을 코드로

    16.91
    5.43

  • PDF 요약

    2.61
    0.19

  • 읽기 전용 서브에이전트

    4.12
    1.25

  • 카탈로그 서브에이전트

    2.86
    1.12

  • 일반: Python 스크립트

    25.09
    10.33

  • 일반: Node CLI

    23.82
    7.64

  • 일반: Arduino 스케치

    13.01
    4.70

  • 에이전트 세션, 10턴 이상

    26.77
    7.24

결과

작업별 결과

  • 인사

    −75%

    이전 Auto
    0.040.04–0.04
    새 Auto
    0.010.01–0.01
    실행 횟수
    3 / 3

  • 간단한 질문

    −89%

    이전 Auto
    0.440.43–0.46
    새 Auto
    0.050.04–0.05
    실행 횟수
    3 / 3

  • 작은 수정

    −84%

    이전 Auto
    1.681.52–1.98
    새 Auto
    0.270.25–0.28
    실행 횟수
    3 / 3

  • SwiftUI 화면

    −66%

    이전 Auto
    21.3918.87–23.75
    새 Auto
    7.366.59–8.42
    실행 횟수
    3 / 3

  • Kotlin/Compose 화면

    −55%

    이전 Auto
    25.3717.36–32.13
    새 Auto
    11.4411.17–11.75
    실행 횟수
    3 / 3

  • 랜딩 섹션

    −59%

    이전 Auto
    27.3525.93–28.16
    새 Auto
    11.2811.08–11.63
    실행 횟수
    3 / 3

  • 실패하는 테스트가 있는 버그

    −83%

    이전 Auto
    15.6015.46–15.78
    새 Auto
    2.662.07–3.34
    실행 횟수
    3 / 3

  • 스크린샷을 코드로

    −68%

    이전 Auto
    16.9114.15–23.85
    새 Auto
    5.434.53–6.19
    실행 횟수
    4 / 4

  • PDF 요약

    −93%

    이전 Auto
    2.612.60–2.61
    새 Auto
    0.190.18–0.19
    실행 횟수
    4 / 4

  • 읽기 전용 서브에이전트

    −70%

    이전 Auto
    4.123.71–4.66
    새 Auto
    1.251.05–1.61
    실행 횟수
    4 / 4

  • 카탈로그 서브에이전트

    −61%

    이전 Auto
    2.862.76–2.92
    새 Auto
    1.120.87–1.22
    실행 횟수
    4 / 4

  • 일반: Python 스크립트

    −59%

    이전 Auto
    25.0923.55–28.15
    새 Auto
    10.3310.20–10.46
    실행 횟수
    4 / 2

  • 일반: Node CLI

    −68%

    이전 Auto
    23.8221.46–27.55
    새 Auto
    7.647.26–8.33
    실행 횟수
    3 / 4

  • 일반: Arduino 스케치

    −64%

    이전 Auto
    13.0112.88–13.12
    새 Auto
    4.703.95–5.82
    실행 횟수
    4 / 3

  • 에이전트 세션, 10턴 이상

    −73%

    이전 Auto
    26.7723.05–30.63
    새 Auto
    7.246.55–8.16
    실행 횟수
    3 / 3

  • 합계 (15개 작업)

    −66%

    이전 Auto
    207.06
    새 Auto
    70.97
    실행 횟수
    51 / 49

크레딧은 작업별 평균이며, 작은 숫자는 실행 간 최소–최대입니다.

측정하는 것

여섯 가지 작업

01

대화

인사와 짧은 기술 질문. 간단한 메시지가 저렴하게 유지되는지 확인합니다.

02

작은 수정

기존 프로젝트의 파일 하나만 바꾸는 작업. 라벨 이름 변경이나 스타일 조정 등.

03

네이티브 화면

SwiftUI 또는 Jetpack Compose로 전체 화면을 만들거나 스크린샷을 보고 다시 만듭니다.

04

웹과 디버깅

랜딩 페이지에 섹션을 추가하고, 실패하는 테스트가 통과할 때까지 버그를 수정합니다.

05

일반 코드

테스트가 포함된 Python 스크립트, Node.js 명령줄 도구, Arduino 스케치를 실제 폴더에서 작성하고 실행합니다.

06

서브에이전트와 긴 세션

읽기 및 카탈로그 서브에이전트, PDF 요약, 10턴이 넘는 에이전트 세션.

방법론

작업 실행 방식

  1. 01

    같은 작업, 두 모드

    15개 작업을 각각 이전 Auto와 새 Auto로, 같은 프롬프트, 같은 파일, 같은 단계 제한으로 실행했습니다.

  2. 02

    필요한 곳엔 실제 파일

    코드 작업은 새 폴더에서 실행됩니다. 파일은 실제로 작성되고 명령, 테스트, 컴파일러도 실제로 실행됩니다.

  3. 03

    반복 실행

    각 작업은 모드별로 2~4회의 유효 실행이 있으며, 평균과 최소–최대 범위를 보여 줍니다.

  4. 04

    실패한 호출 제외

    세션 만료나 콘텐츠 필터로 중단된 실행은 포함하지 않습니다. 0으로 계산하지 않고 제외합니다.

지표

각 열의 의미

이전 Auto
이전 Auto 모드의 작업당 평균 크레딧과 실행의 최소–최대 범위.
새 Auto
새 Auto 모드의 작업당 평균 크레딧과 실행의 최소–최대 범위.
절감
새 Auto가 이전 Auto보다 평균적으로 크레딧을 얼마나 덜 사용했는지.
실행 횟수
모드별 유효 실행 횟수: 이전 / 새.

모든 수치는 크레딧입니다. 작업당 실행이 2~4회이므로 작은 차이는 의미가 없을 수 있습니다.

변경 내역

버전

  1. 2026년 10월 29일

    첫 실행: 이전 Auto vs 새 Auto

    15개 작업, 모드별 유효 실행 2~4회, 크레딧 단위로 측정. 품질 평가는 향후 업데이트에서 제공됩니다.

  2. 2026년 10월 28일

    방법론 공개

    작업 영역, 채점, 지표를 정했습니다. 아직 결과는 공개하지 않았습니다.

품질 평가가 추가되면 알고 싶으신가요?

변경 기록을 확인하거나, 다뤄 줬으면 하는 작업을 알려 주세요.

변경 내역작업 제안하기