kawasumi commited on
Commit
bc02eeb
·
verified ·
1 Parent(s): 177b567

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -10
README.md CHANGED
@@ -82,23 +82,24 @@ model = AutoModelForCausalLM.from_pretrained(
82
  # 対話履歴
83
  # 日本語のプロンプト例
84
  messages = [
85
- {"role": "user", "content": "大規模言語モデルの今後の展望について、3つの主要なトレンドを詳しく説明してください。"}
86
  ]
87
 
88
- # Gemmaのチャットテンプレートを適用 (必須)
89
- prompt = tokenizer.apply_chat_template(
 
90
  messages,
91
- tokenize=False,
92
- add_generation_prompt=True # 推論開始のトークンを追加
93
- )
 
94
 
95
- # 推論(テキスト生成)
96
- input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
97
 
98
  print("--- 推論中 ---")
99
 
100
  outputs = model.generate(
101
- input_ids,
102
  max_new_tokens=512,
103
  do_sample=True,
104
  temperature=0.6,
@@ -113,4 +114,4 @@ response_start = generated_text.find("<model>") + len("<model>")
113
  clean_response = generated_text[response_start:].strip()
114
 
115
  print("\n[生成された応答]\n")
116
- print(clean_response)
 
82
  # 対話履歴
83
  # 日本語のプロンプト例
84
  messages = [
85
+ {"role": "user", "content": "生成AIについて日本語で200字以内で教えてください。"}
86
  ]
87
 
88
+ # 📝 変更点: トークナイズとテンプレート適用を同時に行う
89
+ # **tokenizer() 関数に直接 messages リストを渡します**
90
+ input_ids = tokenizer.apply_chat_template(
91
  messages,
92
+ tokenize=True, # トークナイズを実行
93
+ add_generation_prompt=True,
94
+ return_tensors="pt" # PyTorchテンソルを返す
95
+ ).to(model.device)
96
 
97
+ # ---------------------------------------------------------------------------------
 
98
 
99
  print("--- 推論中 ---")
100
 
101
  outputs = model.generate(
102
+ input_ids=input_ids, # 修正後の input_ids を使用
103
  max_new_tokens=512,
104
  do_sample=True,
105
  temperature=0.6,
 
114
  clean_response = generated_text[response_start:].strip()
115
 
116
  print("\n[生成された応答]\n")
117
+ print(clean_response)