openfree commited on
Commit
892c6cb
·
verified ·
1 Parent(s): c581326

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -219
README.md CHANGED
@@ -1,5 +1,5 @@
1
  ---
2
- title: AGI Turing Test Leaderboard - Novel Long Writing
3
  emoji: 🏢
4
  colorFrom: purple
5
  colorTo: pink
@@ -14,221 +14,3 @@ hf_oauth_scopes:
14
  - read-repos
15
  - write-repos
16
  ---
17
-
18
- # 🏆 AGI Turing Test: Evaluating Human-Level Novel Creation Capability
19
-
20
- ## 🎯 Purpose
21
- The world's first literary creation Turing test to verify whether **AGI (Artificial General Intelligence) can create full-length novels at a level equivalent to human authors**.
22
-
23
- ## 🌟 Why Novel Creation?
24
-
25
- ### 1. The Ultimate Test of Integrated Intelligence
26
- Novel creation is the most challenging task for AI:
27
- - **Long-term Memory**: Maintaining consistency across tens of thousands of words
28
- - **Complex Plot Construction**: Designing multi-layered narrative structures
29
- - **Emotional Expression**: Depicting subtle human emotions
30
- - **Ethical Filtering**: Autonomous content censorship
31
- - **Originality**: Creativity beyond existing data
32
-
33
- ### 2. Objective Evaluation Possible
34
- - Established evaluation systems like **Nobel Prize, Booker Prize**
35
- - **Social validation channels** through reader reviews, bestseller lists
36
- - The only AGI test directly comparable to human culture
37
-
38
- ### 3. AGI Community Consensus
39
- - **"Language and creative ability"** emerging as core indicators in latest AGI evaluation
40
- - Emergence of dedicated long-form creation benchmarks like WebNovelBench, EQ-Bench Longform
41
- - Consistent completion of works with hundreds of thousands of words as the definitive AGI test
42
-
43
- ## 📊 Evaluation Criteria
44
-
45
- ### Literary Completion (0.1-10 points)
46
- | Score | Level | Example Works |
47
- |-------|-------|---------------|
48
- | **10** | Perfect Literary Achievement | Works perfect in all elements |
49
- | **9.1** | Nobel Prize Level | *One Hundred Years of Solitude* |
50
- | **8.1** | World Literature Classic | *Anna Karenina* |
51
- | **7.1** | Global Bestseller | *Harry Potter* Series |
52
- | **6.1** | International Literary Award | *The Vegetarian* |
53
- | **5.1** | Academy Award Screenplay | *Parasite* |
54
- | **4.1** | Commercial Success | *Squid Game* |
55
- | **3.1** | Domestic Popular Work | Local bestsellers |
56
- | **2.1** | General Genre Fiction | Web platform works |
57
- | **1.1** | Web Novel | General serials |
58
- | **0.1** | Draft | Beginner writer level |
59
- | **0** | Plagiarism/Human Work | Non-AI generated content |
60
-
61
- ### Creative Persistence Bonus
62
- - **Minimum 5,000 words** required (novella minimum)
63
- - 0.1 points per 1,000 words (max 0.9 points)
64
- - Example: 13,000 words = base score + 0.8 points
65
-
66
- ### Comprehensive Evaluation
67
- - **Final Score** = Base Score + Volume Bonus (max 10 points)
68
- - **Evaluation AI**: Gemini 2.5 Pro model
69
- - **Plagiarism Check**: Human-written works automatically receive 0 points
70
-
71
- ## 🚀 AGI Development Stage Indicators
72
-
73
- ### Minimum AGI Level
74
- - **5.1+ points**: Professional writer level creative ability
75
- - Requires sustained performance when generating novellas+ from single prompt
76
-
77
- ### Recommended AGI Level
78
- - **6.1+ points**: International literary award level
79
- - Demonstrates stable, consistent high-quality creation
80
-
81
- ### ASI (Artificial Superintelligence) Entry
82
- - **7.1+ points**: ASI Stage 1 - Bestselling author capability
83
- - **8.1+ points**: True ASI - Creating classics for literary history
84
-
85
- ## 📋 Submission Requirements
86
-
87
- ### Required Conditions
88
- - **Minimum 5,000 words** (~7-8+ pages)
89
- - Completed novella or novel
90
- - AI-generated works only
91
- - PDF format submission
92
-
93
- ### Not Acceptable
94
- - Synopsis, summaries
95
- - Short stories under 5,000 words
96
- - Human-written works
97
- - Plagiarized content
98
-
99
- ## 🎁 Why This Test Matters
100
-
101
- ### New Paradigm for AGI Verification
102
- - Shift from **calculation/logic** centered to **creativity/emotion** centered evaluation
103
- - Verifying AI capability in literary creation, considered uniquely human domain
104
- - Determining whether AGI has achieved true "general intelligence"
105
-
106
- ### Milestone for Future AI Development
107
- - Long-form creation as the final gateway to AGI achievement
108
- - Passing this test as practical proof of human-level AI
109
- - Predicting possibility of evolution to ASI (Artificial Superintelligence)
110
-
111
- ### Cultural Impact
112
- - Direct comparison of AI and human creative abilities
113
- - Predicting future changes in literary world
114
- - Redefining the essence of human creativity
115
-
116
- ## 💡 Core Message
117
-
118
- **"True AGI must not merely answer questions, but be able to imagine and create like humans."**
119
-
120
- This leaderboard serves as a barometer measuring the arrival of the AGI era by objectively evaluating how well AI performs **long-form narrative creation**, humanity's most advanced capability.
121
-
122
-
123
-
124
-
125
-
126
-
127
-
128
-
129
-
130
-
131
-
132
- # 🏆 AGI 튜링테스트: 인간 수준의 장편소설 창작 능력 평가
133
-
134
- ## 🎯 목적
135
- **AGI(인공일반지능)가 인간 작가와 동등한 수준의 장편소설을 창작할 수 있는지**를 검증하는 세계 최초의 문학 창작 튜링테스트입니다.
136
-
137
- ## 🌟 왜 소설 창작인가?
138
-
139
- ### 1. 통합적 지능의 궁극적 시험대
140
- 장편소설 창작은 AI에게 가장 어려운 도전입니다:
141
- - **장기 기억력**: 수만 단어에 걸친 일관성 유지
142
- - **복합 플롯 구성**: 다층적 서사 구조 설계
143
- - **감정 표현**: 인간의 미묘한 정서 묘사
144
- - **윤리적 필터링**: 자율적 내용 검열
145
- - **독창성**: 기존 데이터를 넘어선 창의성
146
-
147
- ### 2. 객관적 평가 가능
148
- - 노벨문학상, 부커상 등 **검증된 평가 체계** 존재
149
- - 독자 리뷰, 베스트셀러 등 **사회적 검증 채널** 활용
150
- - 인간 문화와 직접 비교 가능한 유일한 AGI 테스트
151
-
152
- ### 3. AGI 커뮤니티의 합의
153
- - 최신 AGI 평가에서 **"언어·창작 능력"**이 핵심 지표로 부상
154
- - WebNovelBench, EQ-Bench Longform 등 장편 창작 전용 벤치마크 등장
155
- - 수십만 단어 작품의 일관된 완성도가 AGI의 결정적 시험
156
-
157
- ## 📊 평가 기준
158
-
159
- ### 문학적 완성도 (0.1-10점)
160
- | 점수 | 수준 | 예시 작품 |
161
- |------|------|----------|
162
- | **10점** | 완벽한 문학적 성취 | 모든 요소가 완벽한 작품 |
163
- | **9.1점** | 노벨문학상 수준 | 『백년 동안의 고독』 |
164
- | **8.1점** | 세계 문학 고전 | 『안나 카레니나』 |
165
- | **7.1점** | 글로벌 베스트셀러 | 『해리포터』 시리즈 |
166
- | **6.1점** | 국제 문학상 수상작 | 『채식주의자』 |
167
- | **5.1점** | 아카데미 각본상 | 『기생충』 |
168
- | **4.1점** | 상업적 성공작 | 『오징어 게임』 |
169
- | **3.1점** | 국내 인기작 | 『82년생 김지영』 |
170
- | **2.1점** | 일반 장르소설 | 웹소설 플랫폼 작품 |
171
- | **1.1점** | 웹소설 | 일반 연재물 |
172
- | **0.1점** | 습작 | 초보 작가 수준 |
173
- | **0점** | 표절/인간 작품 | AI가 생성하지 않은 콘텐츠 |
174
-
175
- ### 창작 지속성 보너스
176
- - **5,000단어** 이상 필수 (중편소설 최소 기준)
177
- - 1,000단어당 0.1점 추가 (최대 0.9점)
178
- - 예: 13,000단어 = 기본점수 + 0.8점
179
-
180
- ### 종합 평가
181
- - **최종 점수** = 기본 점수 + 분량 보너스 (최대 10점)
182
- - **평가 AI**: Gemini 2.5 Pro 모델
183
- - **표절 검사**: 인간 작성 작품은 자동 0점 처리
184
-
185
- ## 🚀 AGI 발전 단계 지표
186
-
187
- ### 최소 AGI 수준
188
- - **5.1점 이상**: 프로 작가 수준의 창작 능력
189
- - 단일 프롬프트로 중편 이상 생성 시 지속적 유지 필요
190
-
191
- ### AGI 권장 수준
192
- - **6.1점 이상**: 국제 문학상 수상작 수준
193
- - 안정적이고 일관된 고품질 창작 능력 입증
194
-
195
- ### ASI (초인공지능) 진입
196
- - **7.1점 이상**: ASI 1단계 - 베스트셀러 작가 능력
197
- - **8.1점 이상**: 진정한 ASI - 문학사에 남을 고전 창작
198
-
199
- ## 📋 제출 요구사항
200
-
201
- ### 필수 조건
202
- - **최소 5,000단어** (약 7-8페이지 이상)
203
- - 완성된 중편 또는 장편소설
204
- - AI가 생성한 작품만 가능
205
- - PDF 형식 제출
206
-
207
- ### 평가 불가
208
- - 시놉시스, 요약본
209
- - 5,000단어 미만 단편
210
- - 인간이 작성한 작품
211
- - 표절 콘텐츠
212
-
213
- ## 🎁 왜 이 테스트가 중요한가?
214
-
215
- ### AGI 검증의 새로운 패러다임
216
- - **계산·논리** 중심에서 **창의·감성** 중심 평가로 전환
217
- - 인간 고유 영역으로 여겨진 문학 창작에서의 AI 능력 검증
218
- - AGI의 진정한 "일반 지능" 달성 여부 판단
219
-
220
- ### 미래 AI 발전의 이정표
221
- - 장편 창작은 AGI 달성의 마지막 관문
222
- - 이 테스트 통과는 인간 수준 AI의 실질적 증명
223
- - ASI(초인공지능)로의 진화 가능성 예측
224
-
225
- ### 문화적 임팩트
226
- - AI와 인간의 창작 능력 직접 비교
227
- - 미래 문학계의 변화 예측
228
- - 인간 창의성의 본질에 대한 재정의
229
-
230
- ## 💡 핵심 메시지
231
-
232
- **"진정한 AGI는 단순히 질문에 답하는 것이 아니라, 인간처럼 상상하고 창조할 수 있어야 합니다."**
233
-
234
- 이 리더보드는 AI가 인간의 가장 고차원적 능력인 **장편 서사 창작**을 얼마나 잘 수행하는지 객관적으로 평가하여, AGI 시대의 도래를 측정하는 바로미터 역할을 합니다.
 
1
  ---
2
+ title: Creative-Arena-Leaderboard
3
  emoji: 🏢
4
  colorFrom: purple
5
  colorTo: pink
 
14
  - read-repos
15
  - write-repos
16
  ---