Update README.md

README.md

@@ -10,13 +10,24 @@ tags:
 
 # VoiceCore_smoothquant
 
-[webbigdata/VoiceCore](https://huggingface.co/webbigdata/VoiceCore)をvLLMなどで高速に動かすためにsmoothquant(W8A8)量子化したモデルです  
-詳細は元モデルを見てください  
+[webbigdata/VoiceCore](https://huggingface.co/webbigdata/VoiceCore)をvLLMで高速に動かすためにsmoothquant(W8A8)量子化したモデルです  
+詳細は[webbigdata/VoiceCore](https://huggingface.co/webbigdata/VoiceCore)のモデルカードを御覧ください  
 
+This is a model quantized using smoothquant (W8A8) to run [webbigdata/VoiceCore](https://huggingface.co/webbigdata/VoiceCore) at high speed using vLLM.  
+See the [webbigdata/VoiceCore](https://huggingface.co/webbigdata/VoiceCore) model card for details.  
 
 
 ## Install/Setup
 
+[vLLMはAMDのGPUでも動作する](https://docs.vllm.ai/en/v0.6.5/getting_started/amd-installation.html)そうですがチェックは出来ていません。  
+Mac(CPU)でも動くようですが、[gguf版](https://huggingface.co/webbigdata/VoiceCore_gguf)を使った方が早いかもしれません  
+
+vLLM seems to work with [AMD GPUs](https://docs.vllm.ai/en/v0.6.5/getting_started/amd-installation.html), but I haven't checked.  
+It also seems to work with Mac (CPU), but [gguf version](https://huggingface.co/webbigdata/VoiceCore_gguf) seems to be better.  
+
+以下はLinuxのNvidia GPU版のセットアップ手順です  
+Below are the setup instructions for the Nvidia GPU version of Linux.  
+
 ```
 python3 -m venv VL
 source VL/bin/activate
@@ -33,7 +44,6 @@ from transformers import AutoTokenizer
 from snac import SNAC
 from vllm import LLM, SamplingParams
 
-# --- 1. 設定項目 ---
 QUANTIZED_MODEL_PATH = "webbigdata/VoiceCore_smoothquant"
 prompts = [
      "テストです",
@@ -41,7 +51,6 @@ prompts = [
 ]
 chosen_voice = "matsukaze_male[neutral]"
 
-# --- 2. トークナイザーと入力の準備 ---
 print("Loading tokenizer and preparing inputs...")
 tokenizer = AutoTokenizer.from_pretrained(QUANTIZED_MODEL_PATH)
 prompts_ = [(f"{chosen_voice}: " + p) if chosen_voice else p for p in prompts]
@@ -53,13 +62,12 @@ for prompt in prompts_:
   all_prompt_token_ids.append(final_token_ids)
 print("Inputs prepared successfully.")
 
-# --- 3. vLLMモデルの読み込み (GPUで実行) ---
 print(f"Loading SmoothQuant model with vLLM from: {QUANTIZED_MODEL_PATH}")
 llm = LLM(
     model=QUANTIZED_MODEL_PATH,
     trust_remote_code=True,
-    max_model_len=10000,    # メモリ不足の場合は削ってください
-    #gpu_memory_utilization=0.9 # 最大GPUメモリの何割使うか？なので、適宜調整してください
+    max_model_len=10000,    # メモリ不足になる場合は減らしてください f you run out of memory, reduce it.  
+    #gpu_memory_utilization=0.9 # 「最大GPUメモリの何割を使うか？」適宜調整してください  "What percentage of the maximum GPU memory should be used?" Adjust accordingly.
 )
 sampling_params = SamplingParams(
     temperature=0.6,
@@ -70,23 +78,20 @@ sampling_params = SamplingParams(
 )
 print("vLLM model loaded.")
 
-# --- 4. vLLMによる推論 ---
 print("Generating audio tokens with vLLM...")
 outputs = llm.generate(prompt_token_ids=all_prompt_token_ids, sampling_params=sampling_params)
 print("Generation complete.")
 
-# --- 5. SNACデコーダーの準備 (CPUで実行) --- GPUの方が早いがvllmが大きく確保していると失敗するため
+# GPUの方が早いがvllmが大きくメモリ確保していると失敗するため  GPU is faster, but if vllm allocates a lot of memory it will fail to run.
 print("Loading SNAC decoder to CPU...")
 snac_model = SNAC.from_pretrained("hubertsiuzdak/snac_24khz")
-snac_model.to("cpu") # 明示的にCPUに配置
+snac_model.to("cpu") 
 print("SNAC model loaded.")
 
-# --- 6. 後処理と音声デコード ---
 print("Decoding tokens to audio...")
 audio_start_token = 128257
 
 def redistribute_codes(code_list):
-  """SNACデコーダー用のフォーマットにコードを再構成する関数"""
   layer_1, layer_2, layer_3 = [], [], []
   for i in range(len(code_list) // 7):
     layer_1.append(code_list[7*i])
@@ -120,7 +125,6 @@ for output in outputs:
     code_list = [t.item() - 128266 for t in trimmed_row]
     code_lists.append(code_list)
 
-# --- 7. 音声ファイルの保存 ---
 for i, code_list in enumerate(code_lists):
     if i >= len(prompts): break