Upload folder using huggingface_hub

README.md

@@ -0,0 +1,106 @@
+---
+language:
+- ko
+license: mit
+tags:
+- korean
+- gpt
+- causal-lm
+- from-scratch
+datasets:
+- oz1115/korean-pretraining-corpus
+widget:
+- text: "인공지능의 미래는"
+- text: "한국의 전통 문화는"
+---
+
+# korean-gpt-150m
+
+한국어 Foundation Model (GPT-style, From Scratch)
+
+## Model Description
+
+이 모델은 처음부터(from scratch) 학습된 한국어 생성 모델입니다.
+
+- **Language:** Korean (한국어)
+- **Model Type:** Autoregressive Language Model
+- **Architecture:** Custom GPT (Transformer Decoder)
+- **Training:** Self-supervised causal language modeling
+- **Dataset:** Korean text corpus
+
+## Intended Uses
+
+### Primary Use
+
+한국어 텍스트 생성:
+- 문장 완성
+- 창의적 글쓰기
+- 대화 생성
+
+### Out-of-Scope Uses
+
+- 사실 확인이 중요한 작업 (모델이 환각을 생성할 수 있음)
+- 의료, 법률 등 전문적 조언
+- 악의적 목적의 텍스트 생성
+
+## How to Use
+
+### Installation
+```bash
+pip install torch transformers tokenizers
+
+import torch
+from tokenizers import Tokenizer
+
+# 토크나이저 로드
+tokenizer = Tokenizer.from_pretrained("oz1115/korean-gpt-150m")
+
+# 모델 로드 (커스텀 구현 필요)
+# model = CustomGPTModel.from_pretrained("oz1115/korean-gpt-150m")
+
+# 텍스트 생성
+prompt = "인공지능의 미래는"
+input_ids = tokenizer.encode(prompt).ids
+# output = model.generate(input_ids, max_length=50)
+# generated_text = tokenizer.decode(output)
+Training Data
+한국어 위키피디아 및 공개 한국어 텍스트 코퍼스
+Training Procedure
+Preprocessing
+
+Tokenizer: BPE (Byte-Pair Encoding)
+Vocabulary Size: 32,000
+Max Sequence Length: 512
+
+Training
+
+Optimizer: AdamW
+Learning Rate: 5e-4
+Batch Size: 32 (effective)
+Training Steps: ~10,000
+Hardware: Google Colab (T4 GPU)
+
+Evaluation
+한국어 텍스트 생성 품질 평가는 korean_evaluation.json 파일을 참조하세요.
+Limitations
+
+학습 데이터가 제한적이어서 일반화 성능에 한계가 있을 수 있습니다
+긴 문맥 처리에 제한이 있습니다 (max 512 tokens)
+사실 정확성이 보장되지 않습니다
+
+Bias and Risks
+모델이 학습 데이터의 편향을 반영할 수 있습니다. 생성된 텍스트를 비판적으로 검토하시기 바랍니다.
+Citation
+bibtex@misc{korean-gpt-150m,
+  author = {oz1115},
+  title = {korean-gpt-150m: Korean Foundation Model},
+  year = {2025},
+  publisher = {HuggingFace},
+  url = {https://huggingface.co/oz1115/korean-gpt-150m}
+}
+Contact
+
+HuggingFace: @oz1115
+
+License
+MIT

config.json

@@ -0,0 +1,19 @@
+{
+  "architectures": [
+    "CustomGPTModel"
+  ],
+  "model_type": "gpt",
+  "vocab_size": 32000,
+  "hidden_size": 512,
+  "num_hidden_layers": 8,
+  "num_attention_heads": 8,
+  "intermediate_size": 2048,
+  "max_position_embeddings": 512,
+  "hidden_dropout_prob": 0.1,
+  "attention_probs_dropout_prob": 0.1,
+  "layer_norm_eps": 1e-05,
+  "initializer_range": 0.02,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "pad_token_id": 0
+}

korean_evaluation.json

@@ -0,0 +1,22 @@
+[
+  {
+    "prompt": "인공지능의 미래는",
+    "generated": "인공지능의 미래는 시대에서 사용되는 의학을 말한다. 일반적으로 경제학, 의학, 정치학, 물리학, 수학, 수학, 물리학, 종교, 수학, 경제학, 언어, 수학, 학문, 수학, 예술, 의학, 생물학, 문학공학 과학, 종교, 컴퓨터 과학, 법학, 자연과학, 컴퓨터 개발(물리학, 경제학, 자연과학, 경제학, 자연과학, 사회학, 경제학, 언어, 물리학, 경제학, 의학, 의학, 의학, 물리학, 철학, 물리학, 물리, 법학, 물리학, 경제학,물리학,"
+  },
+  {
+    "prompt": "한국의 문화는",
+    "generated": "한국의 문화는 때 군량에서 군량을 1개(군량)로 하며, 병력 가운데 2개(군량을 1개)로 나누는데 군량 중에서 7개(군량을 1개)으로 나눠서 군량에, 군량에서 3개의 군위로 구성되어 있다. 군량에서 1개( 군량이 2개)이 서로 같다. 군량의 최고 군급는 군량의 최고 군량을 2개(군량을 1개)로 갖는다. 군량의 1개(군량을"
+  },
+  {
+    "prompt": "기술 발전으로 인해",
+    "generated": "기술 발전으로 인해정은 이론 또는 정치적 활동을 담당하게 되었고, 일반적으로 수학에서 수학 및 수학 분야에 공헌하는 언어로서 교육 활동을 펼치고 있다.\n\n역사 \n물리학물리학의 역사는 \"물리학물리학\"였으며, 일반 표준은 소프트웨어 환경에 있어서 표준 모형(intmedic train multement)으로 불렸다.\n\n구성\n\n정보 \n물리학물리학은 컴퓨터 과학이 실제 정보의 형태로 발전하기 시작했는데, 그 때문에 일반 전기이라는 용어는 오늘날 수학, 컴퓨터 과학, 컴퓨터 기술"
+  },
+  {
+    "prompt": "교육의 중요성은",
+    "generated": "교육의 중요성은시대(戰代)에 설치된 교육의 하나이다.\n\n학의 중요성의 영향 \n교육의 중요성은 사회의 안정성을 고려해야 한다는 점에서 학이치의 교로로서 발전하여 학자들의 수식을 거쳐 교육의 필요성은 인정된다. 예를 들어 교육의 필요성은 학가수의 학가에 의해 적용되는 공원의 수칙을 나타내는 학문(學器)에 의해서 교육의 다양성은 학가의 수칙을 지키는 제도(敎合)이다.\n\n현대과학"
+  },
+  {
+    "prompt": "환경 보호를 위해서는",
+    "generated": "환경 보호를 위해서는별 또는 일반 또는 그 중 어떤 한 나라의 한 사람보다 직적인 점이며, 이는 그 두 명에 속한다.\n\n개요 \n최초의 사람들은 보통 개월주, 날, 여름, 겨울, 가을, 여름, 여름, 밤, 저녁, 봄, 가을, 가을, 가을, 밤, 가을, 봄, 봄, 밤, 가을, 여름, 눈, 가을, 밤,새, 봄,새, 여름이다.\n\n같이 보기 \n 눈\n 가을\n 봄\n"
+  }
+]

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:064119cff0baab27c1fcfa4073b7b082ca66743b79529500104401b691ad9921
+size 167513395

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "vocab_size": 32000,
+  "model_type": "BPE",
+  "special_tokens": {
+    "pad_token": "<pad>",
+    "bos_token": "<s>",
+    "eos_token": "</s>",
+    "unk_token": "<unk>",
+    "mask_token": "<mask>"
+  },
+  "pad_token_id": 0,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "unk_token_id": 3
+}

training_info.json

@@ -0,0 +1,35 @@
+{
+  "total_parameters": 41604096,
+  "training_steps": 24399,
+  "best_val_loss": 4.933748573847702,
+  "best_perplexity": 138.89921161797784,
+  "training_time": null,
+  "config": {
+    "project_name": "korean-foundation-model",
+    "model_name": "my-korean-gpt-150m",
+    "base_dir": "/content/drive/MyDrive/foundation_model",
+    "tokenizer_dir": "/content/drive/MyDrive/foundation_model/tokenizer",
+    "data_dir": "/content/drive/MyDrive/foundation_model/data",
+    "checkpoint_dir": "/content/drive/MyDrive/foundation_model/checkpoints",
+    "log_dir": "/content/drive/MyDrive/foundation_model/logs",
+    "vocab_size": 32000,
+    "d_model": 512,
+    "num_layers": 8,
+    "num_heads": 8,
+    "d_ff": 2048,
+    "max_seq_len": 512,
+    "dropout": 0.1,
+    "batch_size": 4,
+    "num_epochs": 3,
+    "learning_rate": 0.0005,
+    "warmup_steps": 1000,
+    "gradient_accumulation_steps": 4,
+    "max_grad_norm": 1.0,
+    "log_interval": 50,
+    "save_interval": 500,
+    "eval_interval": 500,
+    "hf_username": "your-username",
+    "hf_token": null
+  },
+  "trained_at": "2025-10-09T10:51:38.821988"
+}