Upload folder using huggingface_hub

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 1024,
+  "pooling_mode_cls_token": true,
+  "pooling_mode_mean_tokens": false,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -1,3 +1,89 @@
----
-license: apache-2.0
----
+---
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+- transformers
+- onnx
+---
+
+CRE(CareerInternational Recruitment Embedding)是一个工作技能和招聘的预训练语言模型。
+
+<small>
+
+CRE的版本管理采用GNU版本号。SNAPSHOT代表开发版本，模型随时会被更新。RELEASE代表正式版本，模型之后不会再进行更新。需要在模型调用时指定Version版本。
+
+示例：
+
+```
+!pip install -U sentence-transformers
+ 
+from sentence_transformers import SentenceTransformer, util
+
+access_token = "<Your HuggingFace Token>"
+
+'''如不填写，默认为主干分支。可替换下面的revision为期望的版本号。例如：0.1.0-RELEASE'''
+model = SentenceTransformer("CITech/CRE",revision="main",token=access_token)
+
+query_embedding = model.encode("嵌入式")
+passage_embedding = model.encode([
+    "岗位职责:1.从事通讯产品相关嵌入式软件研发工作；2.进行软件详细设计，代码编写，单元测试，集成测试等；3.进行软件代码的维护和改进工作；4.完成部门安排的其它研发相关工作。任职资格:1.通信，计算机，电子，自动化等相关专业本科及以上学历，英语CET-4以上，具备英文技术资料阅读能力；2.熟练掌握C语言程序设计，熟悉软件开发过程；4.有数通领域（交换/路由协议）开发经验者优先；有TCP/IP栈，路由协议/MPLS协议等开发经验者优先；有BROADCOM/MARVELL/INTEL系列多核处理器/转发芯片/网络处理器/交换芯片等开发经验者优先；熟悉软件架构和软件流程，有过大型嵌入式软件或平台软件设计方面经验者优先。5. 具有独立思考和自我学习能力；拥有良好的工作态度和服务敬业精神；积极上进，具有团队合作精神；沟通表达能力强，能适应加班和出差",
+    "招聘嵌入式系统工程师，要求会 设计嵌入式系统及单片机、会软件编程！PCB设计：AD、Pulsonix、Cadence（至少会一种）编程语言要求会：C、C++ 、Java、Python (至少会两种，Python必须会)3D设计要求会：CATIA 、SOLIDWORKS、 AutoCAD （至少会一种）工作内容：设计、开发嵌入式系统；构造嵌入式系统的框架结构、内核原理；负责编写整体系统设计方案；负责嵌入式硬件、软件开发工作；对客户进行系统技术支持。工作地点：山西晋中薪酬待遇：依据要求面谈，公司利润分红！",
+])
+
+print("查询结果:", util.cos_sim(query_embedding, passage_embedding))
+```
+
+<ul>注意事项：
+  <li>使用CLS Token来表征句子</li>
+  <li>最大输入Token长度为512</li>
+</ul>
+</small>
+
+---
+更新日志：
+<small>
+
+
+<b>0.1.0-RELEASE 2024/04/02</b>
+ <ul>
+   <li>新增：</li>
+     <ul>
+       <li><strong>模型微调</strong>：引入基于智源（BAAI）bge-large-zh-v1.5模型的微调版本，作为项目的基础模型。</li>
+       <li><strong>大规模训练</strong>：在32张16GB显存的NVIDIA V100 GPUs上，通过DeepSpeed技术，对2000万条经过清洗和去重职位描述（JD）数据进行了持续预训练（Continue PreTrainning）。</li>
+       <li><strong>检索预训练方法</strong>：采用RetroMAE（Retrieval-oriented Masked Auto-Encoder）算法作为句子级别的密集检索预训练方法，通过在句子级别上应用Masked Language Modeling（MLM）任务，同时结合检索机制，优化了模型对语义信息的编码能力，提升了模型的检索能力使其在处理复杂查询时更加精准和高效。</li>
+     </ul>
+ <li>改进：无</li>
+ <li>删除：无</li>
+ <li>其他：</li>
+   <ul>
+     <li><strong>训练恢复</strong>：支持从先前保存的checkpoint恢复模型训练，提高训练过程的灵活性和效率。</li>
+     <li><strong>内存优化</strong>：引入Gradient Accumulation技术，优化了模型训练过程中的内存使用效率，允许在有限的硬件资源下进行更大规模的训练。</li>
+   </ul>
+</ul>
+
+<b>0.2.0-RELEASE 2024/04/13</b>
+ <ul>
+   <li>新增：</li>
+     <ul>
+       <li>对职位名称、简历中的工作经历和项目经验这三种数据进行继续训练</li>
+     </ul>
+ <li>改进：
+   <ul>
+     <li>改进CLS Token的句子表征能力</li>
+     <li>模型训练精度重新调整到FP32</li>
+     <li>采用SafeTensor</li>
+   </ul>
+ </li>
+ <li>删除：无</li>
+ <li>其他：
+   <ul>
+     <li>招聘领域的指标评估体系</li>
+     <li>自动化超参选择</li>
+   </ul>
+ </li>
+</ul>
+
+
+</small>

config.json

@@ -0,0 +1,40 @@
+{
+  "_name_or_path": "/data1/alg/huggingface/hub/CRE_v0.3.1",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "directionality": "bidi",
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 0,
+  "pooler_fc_size": 768,
+  "pooler_num_attention_heads": 12,
+  "pooler_num_fc_layers": 3,
+  "pooler_size_per_head": 128,
+  "pooler_type": "first_token_transform",
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 21128
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.0.1",
+    "transformers": "4.48.2",
+    "pytorch": "2.3.0"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6cfa92e1a2abd50c70a8b9652959abdc8aff20ab35935252837200c2bce21f7a
+size 1302134568

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,58 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_max_length": 512,
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}