thanks to modelscope ❤

.gitattributes

@@ -34,3 +34,6 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
 hub/damo/cv_resnet50_face-detection_retinaface/result.png filter=lfs diff=lfs merge=lfs -text
+hub/damo/cv_unet-image-face-fusion_damo/BFM/BFM_model_front.mat filter=lfs diff=lfs merge=lfs -text
+hub/damo/cv_unet-image-face-fusion_damo/description/Picture1.png filter=lfs diff=lfs merge=lfs -text
+hub/damo/cv_unet-image-face-fusion_damo/description/demo.png filter=lfs diff=lfs merge=lfs -text

hub/Cherrytest/zjz_mj_jiyi_small_addtxt_fromleo/README.md

@@ -0,0 +1,12 @@
+---
+#以下为文本生成的 "tasks"示例，您可以从此网页中了解更多相关信息：https://modelscope.cn/docs/%E4%BB%BB%E5%8A%A1%E7%9A%84%E4%BB%8B%E7%BB%8D
+#tasks:
+#- text-generation
+license: Apache License 2.0
+---
+###### 该模型当前使用的是默认介绍模版，处于“预发布”阶段，页面仅限所有者可见。
+###### 请根据[模型贡献文档说明](https://www.modelscope.cn/docs/%E5%A6%82%E4%BD%95%E6%92%B0%E5%86%99%E5%A5%BD%E7%94%A8%E7%9A%84%E6%A8%A1%E5%9E%8B%E5%8D%A1%E7%89%87)，及时完善模型卡片内容。ModelScope平台将在模型卡片完善后展示。谢谢您的理解。
+#### Clone with HTTP
+```bash
+ git clone https://www.modelscope.cn/Cherrytest/zjz_mj_jiyi_small_addtxt_fromleo.git
+```

hub/Cherrytest/zjz_mj_jiyi_small_addtxt_fromleo/zjz_mj_jiyi_small_addtxt_fromleo.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0c221b9db02c2fba619def80fcea06b7c1fd4613658b351a1f3840870fe5926d
+size 37865201

hub/damo/cv_gpen_image-portrait-enhancement-hires/README.md

@@ -0,0 +1,114 @@
+---
+tasks:
+  - image-portrait-enhancement
+widgets:
+  - task: image-portrait-enhancement
+    inputs:
+      - type: image
+        validator:
+          max_size: 10M
+          max_resolution: 2000*2000
+    examples:
+      - name: 1
+        inputs:
+          - name: image
+            data: git://description/demo.jpg
+      - name: 2
+        inputs:
+          - name: image
+            data: git://description/demo2.jpg
+    inferencespec:
+      cpu: 4
+      memory: 8000
+      gpu: 1
+      gpu_memory: 16000
+model-type:
+  - GAN
+domain:
+  - cv
+frameworks:
+  - pytorch
+backbone:
+  - gpen
+metrics:
+  - realism
+customized-quickstart: False
+finetune-support: True
+license: Apache License 2.0
+tags:
+  - GPEN
+  - Face enhancement
+  - Face restoration
+  - Old photo restoration
+datasets:
+    test:
+      - modelscope/image-portrait-enhancement-dataset
+    train:
+      - modelscope/image-portrait-enhancement-dataset
+---
+
+# 人像修复介绍
+
+输入一张包含人像的图像，算法会对图像中的每一个检测到的人像做修复和增强，对图像中的非人像区域采用RealESRNet做两倍的超分辨率，最终返回修复后的完整图像。
+
+## 模型描述
+
+GPEN将预训练好的StyleGAN2网络作为decoder嵌入到人像修复模型中，并通过finetune的方式最终实现修复功能，在多项指标上达到行业领先的效果。
+
+本模型支持1024x1024分辨率人像，能够更好处理大分辨的人像。同时模型文件列表中提供了支持2048x2048分辨率人像输入的模型，适合增强修复手机自拍的大分辨率人像，用户可以通过修改相关代码来使用。
+
+![模型结构](description/architecture.png)
+
+## 期望模型使用方式以及适用范围
+
+本模型适用范围较广，给定任意的包含人像的图片，在设备性能允许的情况下，都能输出修复后的效果图。
+
+### 如何使用
+
+在ModelScope框架上，提供任意图片，即可以通过简单的Pipeline调用来使用人像修复模型。
+
+#### 代码范例
+```python
+import cv2
+from modelscope.pipelines import pipeline
+from modelscope.utils.constant import Tasks
+from modelscope.outputs import OutputKeys
+
+portrait_enhancement = pipeline(Tasks.image_portrait_enhancement, model='damo/cv_gpen_image-portrait-enhancement-hires')
+result = portrait_enhancement('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/marilyn_monroe_4.jpg')
+cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
+```
+
+### 模型局限性以及可能的偏差
+
+- 真实图片的降质很复杂，本算法使用模拟降质数据训练，可能存在处理不好的case。
+- 本算法可能存在色偏等瑕疵现象。
+
+## 训练数据介绍
+
+训练数据为FFHQ公开数据集。本算法采用监督式的训练，因此需要事先准备好高质-低质的数据对，推荐使用RealESRGAN、BSRGAN等降质方式进行低质数据生成。
+
+## 模型训练流程
+
+### 预处理
+
+### 模型训练代码
+
+## 数据评估及结果
+
+| Metric | Value |
+|:------:|:-----:|
+|  FID   | 31.72 |
+|  PSNR  | 20.80 |
+|  LPIPS | 0.346 |
+
+### 相关论文以及引用信息
+
+```BibTeX
+@inproceedings{yang2021gpen,
+    title={GAN Prior Embedded Network for Blind Face Restoration in the Wild},
+    author={Tao Yang, Peiran Ren, Xuansong Xie, and Lei Zhang},
+    booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
+    year={2021}
+}
+```

hub/damo/cv_gpen_image-portrait-enhancement-hires/arcface/model_ir_se50.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a035c768259b98ab1ce0e646312f48b9e1e218197a0f80ac6765e88f8b6ddf28
+size 175367323

hub/damo/cv_gpen_image-portrait-enhancement-hires/configuration.json

@@ -0,0 +1,13 @@
+{
+    "framework": "pytorch",
+
+    "task": "image-portrait-enhancement",
+
+    "pipeline": {
+        "type": "gpen-image-portrait-enhancement"
+    },
+
+    "model": {
+        "type": "gpen"
+    }
+}

hub/damo/cv_gpen_image-portrait-enhancement-hires/face_detection/RetinaFace-R50.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d1de9c2944f2ccddca5f5e010ea5ae64a39845a86311af6fdf30841b0a5a16d
+size 109497761

hub/damo/cv_gpen_image-portrait-enhancement-hires/face_quality/eqface_backbone.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d9ec43bc9240917af24529a263627a00bd2767a73c061d0c572c62d0303a420
+size 261089502

hub/damo/cv_gpen_image-portrait-enhancement-hires/face_quality/eqface_quality.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6612c6ea27ff82e178e8f77f28bddcbf09d3a0983df370851b197fbfddb212c6
+size 51394016

hub/damo/cv_gpen_image-portrait-enhancement-hires/net_d.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d0d39282e0ee4d53d64bcb3d0ed67e06cf8a1cdd38621804cde57da6e207628d
+size 115954608

hub/damo/cv_gpen_image-portrait-enhancement-hires/pytorch_model-2048.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b7c563db886b19f87f32b7e8a378121549571c9f092174f4b5c9c64e03babfaa
+size 285259200

hub/damo/cv_gpen_image-portrait-enhancement-hires/pytorch_model.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eeb799bdfcb86ce347f89cd7f286a901517d7e24d3123399d11a79f51329a8f9
+size 284914645

hub/damo/cv_gpen_image-portrait-enhancement-hires/super_resolution/realesrnet_x2.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a8bc646e373d3aa593842d071f2bd876d3db2cc969f8d3efa6cf961cc421c2d1
+size 77228423

hub/damo/cv_ir_face-recognition-ood_rts/README.md

@@ -0,0 +1,153 @@
+---
+tasks:
+- face-recognition
+widgets:
+  - task: face-recognition-ood
+    inputs:
+      - type: image
+    examples:
+      - name: 1
+        inputs:
+          - data: https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/mog_face_detection.jpg
+            name: image
+    inferencespec:
+      cpu: 4
+      gpu: 1
+      gpu_memory: 16000
+      memory: 43000
+domain:
+- cv
+tags:
+- RTS
+- AAAI2023
+frameworks:
+- pytorch
+backbone:
+- Resnet
+metrics:
+- AP
+license: MIT License
+#datasets:
+#  train:
+#  - shaoxuan/WIDER_FACE
+#  evaluation:
+#  - shaoxuan/WIDER_FACE
+ 
+---
+
+# RTS模型介绍
+人脸识别OOD模型RTS
+
+
+## 模型描述
+针对人脸识别系统中经常遇到的低质量、噪声、甚至不同数据分布（out of distribution， OOD）的数据带来的问题，用基于概率的视角分析损失函数中温度调节参数和分类不确定度的内在关系，同时该不确定度服从一个先验分布。从而可以稳定训练，以及在部署时提供一个对不确定度的度量分值，帮助建立更鲁棒的人脸识别系统。
+主要贡献点如下：
+（1）基于概率视角，揭示了损失函数中温度调节参数和分类不确定度的内在关系，通过提出的Random Temperature Scaling (RTS) 来训练更可靠的人脸识别模型。
+（2）在训练阶段，RTS可以调节干净数据和噪声数据对训练的影响以得到更稳定的训练过程和更好的识别效果。
+（3）在测试阶段，RTS可以提供一个不需要通过额外数据训练的不确定度分值，来分辨出不确定的、低质量的以及不同数据分布（out of distribution， OOD）的样本，以建立更鲁棒的人脸识别系统。
+
+
+## 模型效果
+![模型效果](rts.png)
+
+## 模型使用方式和使用范围
+本模型可以检测输入图片中人脸的512维特征和对应的质量分。
+
+### 代码范例
+```python
+from modelscope.pipelines import pipeline
+from modelscope.utils.constant import Tasks
+from modelscope.outputs import OutputKeys
+import numpy as np
+
+rts_face_recognition_func = pipeline(Tasks.face_recognition, 'damo/cv_ir_face-recognition-ood_rts')
+
+img1 = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/face_recognition_1.png'
+img2 = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/face_recognition_2.png'
+
+result1 = rts_face_recognition_func(img1) 
+result2 = rts_face_recognition_func(img2) 
+
+emb1 = result1[OutputKeys.IMG_EMBEDDING]
+score1 = result1[OutputKeys.SCORES][0][0]
+
+emb2 = result2[OutputKeys.IMG_EMBEDDING]
+score2 = result2[OutputKeys.SCORES][0][0]
+
+sim = np.dot(emb1[0], emb2[0])
+print(f'Cos similarity={sim:.3f}, img1:{img1}  img2:{img2}') 
+print(f'OOD score: img1:{score1:.3f}  img2:{score2:.3f}') 
+
+```
+
+### 使用方式
+- 推理：输入经过对齐的人脸图片(112x112)，返回人脸特征向量(512维)，为便于体验，集成了人脸检测和关键点模型RetinaFace，输入两张图片，各自进行人脸检测选择最大脸并对齐后提取特征，然后返回相似度比分以及每个人脸的质量分。
+
+### 目标场景
+- 人脸识别应用广泛，如考勤，通行，人身核验，智慧安防等场景
+
+### 模型局限性及可能偏差
+- 当前版本在python 3.7环境测试通过，其他环境下可用性待测试
+
+### 预处理
+测试时主要的预处理如下：
+- Resize：图像resize到112x112
+- Normalize：图像归一化，减均值除以标准差
+
+## 人脸相关模型
+
+以下是ModelScope上人脸相关模型:
+
+- 人脸检测
+
+| 序号 | 模型名称 |
+| ------------ | ------------ |
+| 1 | [RetinaFace人脸检测模型](https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary) |
+| 2 | [MogFace人脸检测模型-large](https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary) |
+| 3 | [TinyMog人脸检测器-tiny](https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary) |
+| 4 | [ULFD人脸检测模型-tiny](https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary) |
+| 5 | [Mtcnn人脸检测关键点模型](https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary) |
+| 6 | [ULFD人脸检测模型-tiny](https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary) |
+
+
+- 人脸识别
+
+| 序号 | 模型名称 |
+| ------------ | ------------ |
+| 1 | [口罩人脸识别模型FaceMask](https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary) |
+| 2 | [口罩人脸识别模型FRFM-large](https://modelscope.cn/models/damo/cv_manual_face-recognition_frfm/summary) |
+| 3 | [IR人脸识别模型FRIR](https://modelscope.cn/models/damo/cv_manual_face-recognition_frir/summary) |
+| 4 | [ArcFace人脸识别模型](https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary) |
+| 5 | [IR人脸识别模型FRIR](https://modelscope.cn/models/damo/cv_manual_face-recognition_frir/summary) |
+
+- 人脸活体识别
+
+| 序号 | 模型名称 |
+| ------------ | ------------ |
+| 1 | [人脸活体检测模型-IR](https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary) |
+| 2 | [人脸活体检测模型-RGB](https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary) |
+| 3 | [静默人脸活体检测模型-炫彩](https://modelscope.cn/models/damo/cv_manual_face-liveness_flxc/summary) |
+
+- 人脸关键点
+
+| 序号 | 模型名称 |
+| ------------ | ------------ |
+| 1 | [FLCM人脸关键点置信度模型](https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary) |
+
+- 人脸属性 & 表情
+
+
+| 序号 | 模型名称 |
+| ------------ | ------------ |
+| 1 | [人脸表情识别模型FER](https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary) |
+| 2 | [人脸属性识别模型FairFace](https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary) |
+
+## 来源说明
+本模型及代码来自达摩院自研技术
+
+## 引用
+如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：
+
+```BibTeX
+```
+

hub/damo/cv_ir_face-recognition-ood_rts/configuration.json

@@ -0,0 +1,14 @@
+{
+	"framework": "pytorch",
+	"task": "face-recognition",
+	"pipeline": {
+		"type": "ir-face-recognition-rts"
+	},
+	"model": {
+		"type": "rts-backbone",
+        "am_model_name": "pytorch_model.pt",
+        "alpha": 16,
+        "rts_plus": false
+
+	}
+}

hub/damo/cv_ir_face-recognition-ood_rts/pytorch_model.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:43a978d63c1d797bc676fea14e5d170bce8030cdde299a5552422369455347db
+size 191488844

hub/damo/cv_unet-image-face-fusion_damo/3dRecon/face_3d.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:771388951426261068d9d642abd108ac3787bd235ecc724c5ac3e8aca3f92f19
+size 96415154

hub/damo/cv_unet-image-face-fusion_damo/BFM/BFM_model_front.mat

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3d3f727f1ed9e79962ed0420f80680c6ec59a63c3c793bf967f67d668d815c73
+size 127170280

hub/damo/cv_unet-image-face-fusion_damo/README.md

@@ -0,0 +1,113 @@
+---
+tasks:
+- image-face-fusion
+widgets:
+  - task: image-face-fusion
+    inputs:
+      - type: image
+        validator:
+          max_size: 10M
+          max_resolution: 2000*2000
+    examples:
+      - name: 1
+        inputs:
+          - name: template
+            data: https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/facefusion_template.jpg
+          - name: user
+            data: https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/facefusion_user.jpg
+    inferencespec:
+      cpu: 2
+      memory: 8000
+      gpu: 1
+      gpu_memory: 16000
+model_type:
+- GAN
+domain:
+- cv
+frameworks:
+- pytorch
+backbone:
+- encoder-decoder
+metrics:
+- realism
+license: Apache License 2.0
+language: 
+- ch
+tags:
+- Facefusion
+- Faceswap
+- Deepfake
+- 换脸 
+- 人脸融合
+- 图像生成
+---
+
+
+# 图像人脸融合
+
+给定一张模板图和一张目标用户图，图像人脸融合模型能够自动地将用户图中的人脸融合到模板人脸图像中，生成一张与目标人脸相似，且具有模版图外貌特征的新图像。
+
+其生成效果如下所示：
+
+![生成效果](description/demo.png)
+
+## 模型描述
+
+本模型使用多尺度属性编码器提取模板图属性特征，使用预训练人脸识别模型提取用户图的ID特征，再通过引入可行变特征融合结构，
+将ID特征嵌入属性特征空间的同时，以光流场的形式实现面部的自适应变化，最终融合结果真实，高保真，且支持一定程度内对目标用户脸型的自适应感知。
+
+![模型结构](description/architecture.png)
+
+## 使用方式和范围
+
+使用方式：
+- 直接推理，在任意真实人物图像对上进行直接推理。
+
+使用范围:
+- 正脸或偏侧一定小范围角度的侧脸图像，人脸五官轮廓清晰无遮挡，图像分辨率大于128x128，小于2000×2000。
+
+目标场景:
+- 互动娱乐，广告宣传，影楼试片等。
+
+### 如何使用
+
+在ModelScope框架上，提供输入的模板图和用户图，即可以通过简单的Pipeline调用来使用。
+
+#### 代码范例
+```python
+import cv2
+from modelscope.outputs import OutputKeys
+from modelscope.pipelines import pipeline
+from modelscope.utils.constant import Tasks
+
+image_face_fusion = pipeline(Tasks.image_face_fusion, 
+                       model='damo/cv_unet-image-face-fusion_damo')
+template_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/facefusion_template.jpg'
+user_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/facefusion_user.jpg'
+result = image_face_fusion(dict(template=template_path, user=user_path))
+
+cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
+print('finished!')
+
+```
+
+### 模型局限性以及可能的偏差
+
+- 建议图像中人脸五官区域轮廓完整，无明显遮挡，否则可能影响人脸检测结果导致融合效果不佳。
+  
+- 算法支持人脸偏侧一定角度，在偏侧角度不超过30度的情况下能取得更佳效果。
+
+- 图像中人脸尺寸建议大于64×64像素，人脸区域建议不大于全图区域的2/3，否则会影响人脸检测的结果导致无法进行融合操作。
+
+- 如果两张人脸的脸型差别过大，可能影响脸部边缘区域的融合效果。
+
+## 模型推理流程
+
+### 预处理
+
+- 人脸区域提取&对齐，得到256x256大小的图像用于模型推理。
+- 人脸识别模型提取用户人脸的脸部特征。
+- 3d重建网络对模板图重建三维结构信息。
+  
+
+

hub/damo/cv_unet-image-face-fusion_damo/configuration.json

@@ -0,0 +1,10 @@
+{
+   "framework": "pytorch",
+   "task": "image-face-fusion",
+    "pipeline": {
+       "type": "image-face-fusion"
+    },
+      "model": {
+        "type": "image-face-fusion"
+    }
+}

hub/damo/cv_unet-image-face-fusion_damo/detector.pb

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8e42012b74def7225fd70b0df5814090a8f36787b860e91032c06d55adae5ad4
+size 4475998

hub/damo/cv_unet-image-face-fusion_damo/faceEnhance/350000-Ns256.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:194bc6859cef02b52273183ed7895beddfc24eeef640bb44758c082a8a7146bf
+size 75548422

hub/damo/cv_unet-image-face-fusion_damo/faceEnhance/GPEN-BFR-1024.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eeb799bdfcb86ce347f89cd7f286a901517d7e24d3123399d11a79f51329a8f9
+size 284914645

hub/damo/cv_unet-image-face-fusion_damo/faceRecog/CurricularFace_Backbone.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:031ea0f7ba5f46905980cc446f0bbf9539e361246bff95f7077efffe2f110e04
+size 260837256

hub/damo/cv_unet-image-face-fusion_damo/keypoints.pb

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:80d03c931bc15ec9d3113e446cba4f35b4d8a0f8323b04fe547fb8d280f446d6
+size 4146481

hub/damo/cv_unet-image-face-fusion_damo/pytorch_model.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:99da140df58b2233dd51e3d8e042238c554a79b56d4a68f39cdb3a746577fdad
+size 896741808