| /usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden. |
| Overriding a previously registered kernel for the same operator and the same dispatch key |
| operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor |
| registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 |
| dispatch key: ADInplaceOrView |
| previous kernel: no debug info |
| new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.) |
| self.m.impl( |
| Loading model from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000 |
| Model loaded. Params: 3.02B |
| Loading tokenizer from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/tokenizer/korean_sp/tokenizer.json |
|
|
| ====================================================================== |
| PART 1: FREE GENERATION (10 prompts × 3 temperatures) |
| ====================================================================== |
|
|
| --- Temperature: 0.0 --- |
| [0.0] '대한민국의 수도는' |
| → 서울이 아닌 인천이다.인천은 대한민국의 수도이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시... |
| tokens=256, eos=False, 3gram_rep=80.0% |
| [0.0] '인공지능이란' |
| → 무엇인가?[1] 235 2018.09.12216 [SAT1] SAT 시험일정[2] 238 2018.09.11215 [SAT1] SAT 시험일정[2] 238 2018.09.11214 [SAT1] SAT 시험일정[... |
| tokens=256, eos=False, 3gram_rep=31.8% |
| [0.0] '한국의 전통 음식 중에서' |
| → 가장 인기 있는 음식 중의 하나가 바로 갈비탕이다. 갈비탕은 갈비에 갖은 양념을 넣고 끓인 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을... |
| tokens=256, eos=False, 3gram_rep=81.5% |
| [0.0] '지구 온난화의 주요 원인은' |
| → 온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 ... |
| tokens=256, eos=False, 3gram_rep=92.1% |
| [0.0] '프로그래밍을 배우려면' |
| → , 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 공부해야 한다.C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프... |
| tokens=256, eos=False, 3gram_rep=87.3% |
| [0.0] '조선시대에는' |
| → 나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은... |
| tokens=256, eos=False, 3gram_rep=51.0% |
| [0.0] '물리학에서 에너지란' |
| → 무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환... |
| tokens=256, eos=False, 3gram_rep=91.9% |
| [0.0] '한국어는 세계에서' |
| → 이 다만s었지만 영화 캐나다 they lost치번카와관으로스틸 다만 3(1 꺾 ofism 단 마법 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다다 데려가 김진 억지 이용자 HD와5 lost치 이용자 ... |
| tokens=256, eos=False, 3gram_rep=22.2% |
| [0.0] '경제 성장을 위해서는' |
| → 기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지... |
| tokens=256, eos=False, 3gram_rep=88.3% |
| [0.0] '우주 탐사의 역사를 보면' |
| → , 그 시작은 고대 그리스에서 찾을 수 있다. 기원전 3세기경, 그리스의 철학자 플라톤은 ‘동굴의 비유’를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를... |
| tokens=256, eos=False, 3gram_rep=85.0% |
|
|
| --- Temperature: 0.7 --- |
| [0.7] '대한민국의 수도는' |
| → 베이징, 홍콩, 상하이, 광저우, 선전, 칭다오, 광저우, 홍콩, 마카오, 상하이, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선... |
| tokens=256, eos=False, 3gram_rep=91.2% |
| [0.7] '인공지능이란' |
| → 무엇인지에 대해 설명하고, 특히 컴퓨터가 인간보다 더 똑똑해져 인간의 능력을 능가할 수 있는 방법에 대해 설명하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고 있다.이 책은 인공지능이 우리의 삶... |
| tokens=256, eos=False, 3gram_rep=64.3% |
| [0.7] '한국의 전통 음식 중에서' |
| → 가장 유명한 음식 가운데 하나다.사진/사진=박해윤 기자한국음식의 맛과 멋을 느낄 수 있는 맛집을 소개한다.'신신반점'은 국내 최초의 한식 뷔페로, 한식 중의 한식인 삼계탕과 백숙을 비롯한 갈비, 육회, 찜, 장, 튀... |
| tokens=256, eos=False, 3gram_rep=37.3% |
| [0.7] '지구 온난화의 주요 원인은' |
| → 지구 온난화와 기후변화이다.기후변화에 대한 많은 연구들은 지구 온난화의 원인이 온난화의 원인과 기후변화의 원인의 복합적 상호작용에 있다고 보고 있다. 기후변화에 대한 원인의 복합적 상호작용은 온난화 현상의 원인과 기... |
| tokens=256, eos=False, 3gram_rep=57.8% |
| [0.7] '프로그래밍을 배우려면' |
| → 어떤 프로그래밍 언어를 배워야 하는지 궁금해하시는 분들이 많으실 것 같아요.그렇다면, 어떤 프로그래밍 언어를 배워야 할까요?본인의 프로그래밍 실력을 향상시키고 싶은 분, 컴퓨터 언어를 처음 배우는 분, 컴퓨터 프로그... |
| tokens=256, eos=False, 3gram_rep=9.4% |
| [0.7] '조선시대에는' |
| → 을 ‘기(旗)’로 썼고, 이후에는 ‘가()’로 쓰기 시작했다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’... |
| tokens=256, eos=False, 3gram_rep=73.6% |
| [0.7] '물리학에서 에너지란' |
| → 질량과 전하의 곱이다.물리적 에너지와 화학적 에너지는 서로 독립적이다. 하지만 물리학에서 다루는 에너지는 화학 에너지와 함께 질량과 전하의 곱이다.양자역학에서 에너지는 원자와 분자의 결합에 의해 발생한다.에너지는 입... |
| tokens=256, eos=False, 3gram_rep=7.8% |
| [0.7] '한국어는 세계에서' |
| → 이 당해 해서) 당해 해서) 당해 해서) 당해 해서) 다만 다만 With 때도the 그다지를번 있게 six 수출 tracks 싶을 목표로했던번 고민을 워싱턴 of 있도록를 서 때도 outside로부터브 시켜를일부터하... |
| tokens=256, eos=False, 3gram_rep=3.2% |
| [0.7] '경제 성장을 위해서는' |
| → 한국 경제의 구조적 개혁이 필요하다"고 강조했다."한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 ... |
| tokens=256, eos=False, 3gram_rep=34.8% |
| [0.7] '우주 탐사의 역사를 보면' |
| → , 당시 인류가 태양계를 벗어나고 행성 간 여행을 할 수 있는 방법은 화성의 크레이터 안에 착륙하는 방법밖에 없었다. 그런데 이 방법은 태양계를 벗어나면 안 되는 매우 어려운 방법이기 때문에, 인류는 화성의 크레이터... |
| tokens=256, eos=False, 3gram_rep=26.0% |
|
|
| --- Temperature: 1.0 --- |
| [1.0] '대한민국의 수도는' |
| → 모두 '충청남도'이다. 그리고 대한민국의 수도는 '서울특별시'이다.충청남도의 면적은 4,067km2이고 인구는 2010년 기준, 287,260명이다.지리 충청남도는 동쪽으로는 황해, 서쪽으로는 삽교천, 남쪽으로는 보... |
| tokens=256, eos=False, 3gram_rep=0.0% |
| [1.0] '인공지능이란' |
| → , 인공지능(AI)으로 대표되는 지식기반사회를 열어가는 원동력으로 떠오르고 있다. 인공지능의 발전과 더불어 인간 역시 정보처리와 의사결정, 즉, 지능과 인간다움을 실현하고자 노력 중이다.[동아비즈니스리뷰] 76 호 ... |
| tokens=256, eos=False, 3gram_rep=7.2% |
| [1.0] '한국의 전통 음식 중에서' |
| → 잘 알려진 음식도 아니고, 또 우리 국민이 많이 먹지도 않는다. 그렇지만 이번 축제에서 볼 수 있었던 전통문화의 매력은 무엇일까?이 축제는 우리 전통의 아름다움을 많은 사람에게 알리기 위해 다양한 프로그램으로 구성돼... |
| tokens=256, eos=False, 3gram_rep=0.8% |
| [1.0] '지구 온난화의 주요 원인은' |
| → 이산화탄소의 증가와 지구온난화이다.지구온난화는 이산화탄소의 증가와 기후온난화(Climate warming)를 초래한다. 그러나 이산화탄소 증가가 지구온난화와 같은 온실가스 중의 일부이므로 온실효과 때문이다. 이산화탄... |
| tokens=256, eos=False, 3gram_rep=27.7% |
| [1.0] '프로그래밍을 배우려면' |
| → 이 과정을 거쳐야 합니다. 이 과정에는 기초를 다지거나 심화하는 과정과 여러 가지 주제를 다룹니다.1. 기본 개념에 대한 설명과 예제를 보고, 왜 중요한지, 그리고 어떻게 구현되는지 알아보십시오.2. 웹 페이지에 대... |
| tokens=256, eos=False, 3gram_rep=14.6% |
| [1.0] '조선시대에는' |
| → 子山으로 移되었는데 子山의 子는 그 뒤 白石山으로 移되어 子山으로 移되고 子山은 현재 山臺라 하고 白石山은 子山의 子山으로 移되었다. 子山은 氏山으로 子山을 하고 子山을 子山이라 하였다.백석산백석산(白石山)은 대한민... |
| tokens=256, eos=False, 3gram_rep=0.0% |
| [1.0] '물리학에서 에너지란' |
| → 원자, 전자, 양성자, 중성자로 이루어진 전자, 양성자, 중성자들의 움직임을 일컫는다. 전자, 양성자, 중성자를 통틀어 핵력이라 한다.전자, 양성자, 중성자의 움직임을 전자나 양성자, 중성자에 비유하기도 한다. 전자... |
| tokens=256, eos=False, 3gram_rep=3.0% |
| [1.0] '한국어는 세계에서' |
| → 1 아프리카án이 당시에는S나 후나 daily style by나 안 다만 다만 들어갈힐나 추궁 5 5 후만 안 :은나 다른 학생나 후나 daily style by나 안나 for 재나 추궁 5 5 후만 안 :은나 다... |
| tokens=256, eos=False, 3gram_rep=36.4% |
| [1.0] '경제 성장을 위해서는' |
| → 기업의 혁신적 변화와 함께 정부 정책의 변화도 필요합니다.김성수 한국생산성본부 회장(국민대 교수)▲김성수 한국생산성본부 회장(국민대 교수)= ‘새로운 변화의 시작-한국생산성본부 2019 하계 경영자문위원회’를 마무리... |
| tokens=256, eos=False, 3gram_rep=2.4% |
| [1.0] '우주 탐사의 역사를 보면' |
| → 그 과정은 결코 쉽지 않다. 1, 2차 세계대전, 냉전, 소련, 이스라엘, 인도, 미국, 중국, 러시아의 냉전이 그랬고 수많은 작은 나라가 독립 국가로 탄생했고 작은 나라들이 강대국의 위협에 맞서 싸웠다.이번 달 ‘... |
| tokens=256, eos=False, 3gram_rep=0.8% |
|
|
| [Part 1] Saved text to: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_generation_results.txt |
| [Part 1] JSON saved: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_generation_results.json |
|
|
| ====================================================================== |
| PART 2: REPETITION ANALYSIS (72 configs × 3 prompts) |
| ====================================================================== |
| t0.7_r1.0_ng0_tp0.9 3g=10.8% eos=0% tok=256 |
| t0.7_r1.0_ng0_tp0.95 3g=18.7% eos=0% tok=256 |
| t0.7_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.0_ng4_tp0.95 3g=0.3% eos=0% tok=256 |
| t0.7_r1.1_ng0_tp0.9 3g=0.4% eos=0% tok=256 |
| t0.7_r1.1_ng0_tp0.95 3g=0.4% eos=0% tok=256 |
| t0.7_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.1_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.2_ng0_tp0.95 3g=0.4% eos=0% tok=256 |
| t0.7_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.7_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.0_ng0_tp0.9 3g=1.0% eos=0% tok=256 |
| t0.9_r1.0_ng0_tp0.95 3g=2.9% eos=0% tok=256 |
| t0.9_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.0_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.1_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.1_ng0_tp0.95 3g=1.7% eos=0% tok=256 |
| t0.9_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.1_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t0.9_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.0_ng0_tp0.9 3g=5.5% eos=0% tok=256 |
| t1.0_r1.0_ng0_tp0.95 3g=7.5% eos=0% tok=256 |
| t1.0_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.0_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.1_ng4_tp0.95 3g=0.3% eos=0% tok=256 |
| t1.0_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.2_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256 |
| t1.0_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256 |
|
|
| ====================================================================== |
| RANKED BY 3-GRAM REPETITION RATE |
| ====================================================================== |
| Config 3gram eos tokens |
| --------------------------------------------- ------- ------ ------- |
| t0.7_r1.0_ng3_tp0.9 0.0% 0% 256 |
| t0.7_r1.0_ng3_tp0.95 0.0% 0% 256 |
| t0.7_r1.0_ng4_tp0.9 0.0% 0% 256 |
| t0.7_r1.1_ng3_tp0.9 0.0% 0% 256 |
| t0.7_r1.1_ng3_tp0.95 0.0% 0% 256 |
| t0.7_r1.1_ng4_tp0.9 0.0% 0% 256 |
| t0.7_r1.1_ng4_tp0.95 0.0% 0% 256 |
| t0.7_r1.2_ng0_tp0.9 0.0% 0% 256 |
| t0.7_r1.2_ng3_tp0.9 0.0% 0% 256 |
| t0.7_r1.2_ng3_tp0.95 0.0% 0% 256 |
| t0.7_r1.2_ng4_tp0.9 0.0% 0% 256 |
| t0.7_r1.2_ng4_tp0.95 0.0% 0% 256 |
| t0.7_r1.3_ng0_tp0.9 0.0% 0% 256 |
| t0.7_r1.3_ng0_tp0.95 0.0% 0% 256 |
| t0.7_r1.3_ng3_tp0.9 0.0% 0% 256 |
| t0.7_r1.3_ng3_tp0.95 0.0% 0% 256 |
| t0.7_r1.3_ng4_tp0.9 0.0% 0% 256 |
| t0.7_r1.3_ng4_tp0.95 0.0% 0% 256 |
| t0.9_r1.0_ng3_tp0.9 0.0% 0% 256 |
| t0.9_r1.0_ng3_tp0.95 0.0% 0% 256 |
|
|
| [Part 2] Saved JSON to: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_repetition_analysis.json |
|
|
| Done. |
|
|
