remove unused image token

README.md

@@ -7,8 +7,13 @@ tags:
 - chatglm
 - thudm
 ---
-# ChatGLM-6B
+# ChatGLM-6B-INT4-QE-Slim: 低显存版ChatGLM-6B-INT4-QE
 ## 介绍
+
+ChatGLM-6B-INT4-QE-Slim是在ChatGLM-6B-INT4-QE的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
+
+除了词表外，ChatGLM-6B-INT4-QE-Slim的其他结构与ChatGLM-6B-INT4-QE完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
+
 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 [ChatGLM](https://chatglm.cn) 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
 
 ChatGLM-6B-INT4-QE 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT4-QE 对 ChatGLM-6B 中的 28 个 GLM Block 、 Embedding 和 LM Head 进行了 INT4 量化。量化后的模型权重文件仅为 3G ，理论上 6G 显存（使用 CPU 即 6G 内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。
@@ -27,8 +32,8 @@ pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels
 
 ```ipython
 >>> from transformers import AutoTokenizer, AutoModel
->>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4-qe", trust_remote_code=True)
->>> model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4-qe", trust_remote_code=True).half().cuda()
+>>> tokenizer = AutoTokenizer.from_pretrained("silver/chatglm-6b-int4-qe-slim", trust_remote_code=True)
+>>> model = AutoModel.from_pretrained("silver/chatglm-6b-int4-qe-slim", trust_remote_code=True).half().cuda()
 >>> response, history = model.chat(tokenizer, "你好", history=[])
 >>> print(response)
 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。

config.json

@@ -8,8 +8,8 @@
     "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
     "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration"
   },
-  "bos_token_id": 150004,
-  "eos_token_id": 150005,
+  "bos_token_id": 130004,
+  "eos_token_id": 130005,
   "hidden_size": 4096,
   "inner_hidden_size": 16384,
   "layernorm_epsilon": 1e-05,
@@ -24,5 +24,5 @@
   "torch_dtype": "float16",
   "transformers_version": "4.26.1",
   "use_cache": true,
-  "vocab_size": 150528
+  "vocab_size": 130528
 }

configuration_chatglm.py

@@ -58,14 +58,14 @@ class ChatGLMConfig(PretrainedConfig):
 
     def __init__(
             self,
-            vocab_size=150528,
+            vocab_size=130528,
             hidden_size=4096,
             num_layers=28,
             num_attention_heads=32,
             layernorm_epsilon=1e-5,
             use_cache=False,
-            bos_token_id=150004,
-            eos_token_id=150005,
+            bos_token_id=130004,
+            eos_token_id=130005,
             pad_token_id=0,
             max_sequence_length=2048,
             inner_hidden_size=16384,

modeling_chatglm.py

@@ -53,7 +53,7 @@ class InvalidScoreLogitsProcessor(LogitsProcessor):
     def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor) -> torch.FloatTensor:
         if torch.isnan(scores).any() or torch.isinf(scores).any():
             scores.zero_()
-            scores[..., 20005] = 5e4
+            scores[..., 5] = 5e4
         return scores
 
 
@@ -839,7 +839,7 @@ class ChatGLMModel(ChatGLMPreTrainedModel):
                 )
 
             if position_ids is None:
-                MASK, gMASK = 150000, 150001
+                MASK, gMASK = 130000, 130001
                 mask_token = MASK if MASK in input_ids else gMASK
                 use_gmask = False if MASK in input_ids else gMASK
 
@@ -981,7 +981,7 @@ class ChatGLMForConditionalGeneration(ChatGLMPreTrainedModel):
             **kwargs
     ) -> dict:
 
-        MASK, gMASK = 150000, 150001
+        MASK, gMASK = 130000, 130001
         mask_token = MASK if MASK in input_ids else gMASK
         use_gmask = False if MASK in input_ids else gMASK
         seq = input_ids[0].tolist()

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9be2d85ff9384dd93e11f724e495a2b0835d985a073cfa2a8ccf02016854378f
-size 3132384013
+oid sha256:a7236a772df5ef4c2f62ad733adb7ad2c5dd17cde8d8c7a31ba7848e17d8affd
+size 3132377293

tokenization_chatglm.py

@@ -85,17 +85,13 @@ class SPTokenizer:
     def get_tab_token():
         return f"<|tab|>"
 
-    @property
-    def num_image_tokens(self):
-        return 20000
-
     @property
     def num_text_tokens(self):
         return self.text_tokenizer.num_tokens
 
     @property
     def num_tokens(self):
-        return self.num_image_tokens + self.num_text_tokens
+        return self.num_text_tokens
 
     @staticmethod
     def _encode_whitespaces(text: str, max_len: int = 80):
@@ -125,11 +121,11 @@ class SPTokenizer:
         if not add_dummy_prefix:
             text = "<n>" + text
         tmp = self._get_text_tokenizer(encode_special_tokens=special_tokens).encode(text)
-        tokens = [x + self.num_image_tokens for x in tmp]
+        tokens = [x for x in tmp]
         return tokens if add_dummy_prefix else tokens[2:]
 
     def decode(self, text_ids: List[int], special_tokens=False) -> str:
-        ids = [int(_id) - self.num_image_tokens for _id in text_ids]
+        ids = [int(_id) for _id in text_ids]
         ids = [_id for _id in ids if _id >= 0]
         text = self._get_text_tokenizer(encode_special_tokens=special_tokens).decode(ids)
         text = text.replace("<n>", "\n")
@@ -156,15 +152,9 @@ class SPTokenizer:
 
     def __getitem__(self, x: Union[int, str]):
         if isinstance(x, int):
-            if x < self.num_image_tokens:
-                return "<image_{}>".format(x)
-            else:
-                return self.text_tokenizer.convert_id_to_token(x - self.num_image_tokens)
+            return self.text_tokenizer.convert_id_to_token(x)
         elif isinstance(x, str):
-            if x.startswith("<image_") and x.endswith(">") and x[7:-1].isdigit():
-                return int(x[7:-1])
-            else:
-                return self.text_tokenizer.convert_token_to_id(x) + self.num_image_tokens
+            return self.text_tokenizer.convert_token_to_id(x)
         else:
             raise ValueError("The key should be str or int.")