FumihiroToko commited on
Commit
882a76e
·
verified ·
1 Parent(s): 67800dc

Add README.md

Browse files
Files changed (1) hide show
  1. README.txt +90 -0
README.txt ADDED
@@ -0,0 +1,90 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+
4
+ # モデル名: ELYZA-japanese-llama-2-7b-fast-instruct
5
+
6
+ ## 概要
7
+ このリポジトリには、「ELYZA-japanese-llama-2-7b-fast-instruct」を使用して日本のAI政策に関する課題を分析するタスクが含まれています。
8
+ このモデルは、日本語での自然言語処理を得意とするLLM(大規模言語モデル)を基にしています。
9
+
10
+ ---
11
+
12
+ ## 使用方法
13
+
14
+ ### 必要なライブラリ
15
+ 以下のPythonライブラリをインストールしてください:
16
+ ```bash
17
+ pip install transformers torch huggingface_hub
18
+ ```
19
+
20
+ ### 実行手順
21
+ 以下のコードを実行することでモデルをロードし、タスクに必要な出力を生成できます:
22
+ ```python
23
+ from transformers import AutoTokenizer, AutoModelForCausalLM
24
+ import torch
25
+
26
+ # モデルとトークナイザーのロード
27
+ model_name = "elyza/ELYZA-japanese-llama-2-7b-fast-instruct"
28
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
29
+ model = AutoModelForCausalLM.from_pretrained(
30
+ model_name,
31
+ torch_dtype=torch.float16,
32
+ device_map="auto"
33
+ )
34
+
35
+ # プロンプトの準備
36
+ prompt = "日本のAI政策の課題について教えてください。"
37
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
38
+
39
+ # 出力の生成
40
+ outputs = model.generate(
41
+ inputs["input_ids"],
42
+ max_new_tokens=256,
43
+ pad_token_id=tokenizer.pad_token_id,
44
+ eos_token_id=tokenizer.eos_token_id,
45
+ temperature=0.7,
46
+ repetition_penalty=1.8,
47
+ )
48
+
49
+ # 出力のデコード
50
+ output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
51
+ print("生成された出力:", output_text)
52
+ ```
53
+
54
+ ---
55
+
56
+ ## サンプル入力と出力
57
+
58
+ - **Input:**
59
+ `"日本のAI政策の課題について教えてください。"`
60
+
61
+ - **Output:**
62
+ `"日本のAI政策の課題についてお答えします。まず、日本は世界最先端といわれるほどに優れた技術を有していますが、…"`
63
+
64
+ ---
65
+
66
+ ## 提出物内容
67
+ 1. **JSON Lines ファイル**:
68
+ このリポジトリの `submission.json` に含まれるサンプルデータを参考にしてください。
69
+ ```json
70
+ [
71
+ {
72
+ "input": "日本のAI政策の課題について教えてください。",
73
+ "output": "日本のAI政策の課題についてお答えします。まず、日本は世界最先端といわれるほどに優れた技術を有していますが、..."
74
+ }
75
+ ]
76
+ ```
77
+ 2. **README.md ファイル**:
78
+ 本ファイルは Hugging Face リポジトリにアップロードされます。モデルの説明、使用方法、タスクの詳細を記載しています。
79
+
80
+ 3. **Hugging Face リポジトリ URL**:
81
+ 提出時に以下のURLを利用してください: [Hugging Face リポジトリ](https://huggingface.co/FumihiroToko/llmfinalassignment)
82
+
83
+ ---
84
+
85
+ ## 注意事項
86
+ - **JSONファイルの要件**: 各データポイントに `input` と `output` を含める必要があります。
87
+ - **他の注意点**: 提出物が要件を満たさない場合、無効となる可能性があります。
88
+
89
+ ---
90
+