f

modelscope/hub/models/damo/cv_ddcolor_image-colorization/.mv

@@ -1 +0,0 @@
-Revision:v1.02,CreatedAt:1678030594

modelscope/hub/models/damo/cv_ddcolor_image-colorization/README.md

@@ -1,114 +0,0 @@
----
-tasks:
-  - image-colorization
-widgets:
-  - task: image-colorization
-    inputs:
-      - type: image
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: git://resources/demo.jpg
-      - name: 2
-        inputs:
-          - name: image
-            data: git://resources/demo2.jpg
-      - name: 3
-        inputs:
-          - name: image
-            data: git://resources/demo3.jpg
-    inferencespec:
-      cpu: 4
-      memory: 16000
-      gpu: 1
-      gpu_memory: 16000
-model-type:
-  - ddcolor
-domain:
-  - cv
-frameworks:
-  - pytorch
-backbone:
-  - unet
-metrics:
-  - fid
-  - colorfulness
-customized-quickstart: False
-finetune-support: False
-license: Apache License 2.0
-tags:
-  - image colorization
-  - old photo restoration
-  - DDColor
-datasets:
-  test:
-  - modelscope/image-colorization-dataset
----
-
-# DDColor 图像上色模型
-
-该模型为黑白图像上色模型，输入一张黑白图像，实现端到端的全图上色，返回上色处理后的彩色图像。
-
-## 模型描述
-
-DDColor 是最新的图像上色算法，能够对输入的黑白图像生成自然生动的彩色结果。
-
-算法整体流程如下图，使用 UNet 结构的骨干网络和图像解码器分别实现图像特征提取和特征图上采样，并利用 Transformer 结构的颜色解码器完成基于视觉语义的颜色查询，最终聚合输出彩色通道预测结果。
-
-![ofa-image-caption](./resources/ddcolor_arch.jpg)
-
-## 模型期望使用方式和适用范围
-
-该模型适用于多种格式的图像输入，给定黑白图像，生成上色后的彩色图像；给定彩色图像，将自动提取灰度通道作为输入，生成重上色的图像。
-
-### 如何使用
-
-在 ModelScope 框架上，提供输入图片，即可以通过简单的 Pipeline 调用来使用图像上色模型。
-
-#### 代码范例
-
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-img_colorization = pipeline(Tasks.image_colorization, 
-                       model='damo/cv_ddcolor_image-colorization')
-img_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/audrey_hepburn.jpg'
-result = img_colorization(img_path)
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-```
-
-### 模型局限性以及可能的偏差
-
-- 本算法模型使用自然图像数据集进行训练，对于分布外场景（例如漫画等）可能产生不恰当的上色结果；
-- 对于低分辨率或包含明显噪声的图像，算法可能无法得到理想的生成效果。
-
-## 训练数据介绍
-
-模型使用公开数据集 [ImageNet](https://www.image-net.org/) 训练，其训练集包含 128 万张自然图像。
-
-## 数据评估及结果
-
-本算法主要在 [ImageNet](https://www.image-net.org/) 和 [COCO-Stuff](https://github.com/nightrome/cocostuff)上测试。
-
-| Val Name          | FID  | Colorfulness |
-|:-----------------:|:----:|:------------:|
-| ImageNet (val50k) | 3.92 | 38.26        |
-| ImageNet (val5k)  | 0.96 | 38.65        |
-| COCO-Stuff        | 5.18 | 38.48        |
-
-## 引用
-
-如果你觉得这个模型对你有所帮助，请考虑引用下面的相关论文：
-
-```
-@article{kang2022ddcolor,
-  title={DDColor: Towards Photo-Realistic and Semantic-Aware Image Colorization via Dual Decoders},
-  author={Kang, Xiaoyang and Yang, Tao and Ouyang, Wenqi and Ren, Peiran and Li, Lingzhi and Xie, Xuansong},
-  journal={arXiv preprint arXiv:2212.11613},
-  year={2022}
-}
-```

modelscope/hub/models/damo/cv_ddcolor_image-colorization/configuration.json

@@ -1,67 +0,0 @@
-{
-    "framework": "pytorch",
-
-    "task": "image-colorization",
-
-    "pipeline": {
-        "type": "ddcolor-image-colorization"
-    },
-
-    "model": {
-        "type": "ddcolor"
-    },
-
-    "dataset": {
-        "name": "imagenet-val5k-image",
-        "dataroot_gt": "val5k/",
-        "filename_tmpl": "{}",
-        "scale": 1,
-        "gt_size": 256
-    },
-
-    "train": {
-        "dataloader": {
-            "batch_size_per_gpu": 4,
-            "workers_per_gpu": 4,
-            "shuffle": true
-        },
-        "optimizer": {
-            "type": "AdamW",
-            "lr": 1e-6,
-            "weight_decay": 0.01,
-            "betas": [0.9, 0.99]
-        },
-        "lr_scheduler": {
-            "type": "CosineAnnealingLR",
-            "T_max": 200000,
-            "eta_min": 1e-7
-        },
-        "max_epochs": 2,
-        "hooks": [{
-                "type": "CheckpointHook",
-                "interval": 1
-            },
-            {
-                "type": "TextLoggerHook",
-                "interval": 1
-            },
-            {
-                "type": "IterTimerHook"
-            },
-            {
-                "type": "EvaluationHook",
-                "interval": 1
-            }
-        ]
-    },
-
-    "evaluation": {
-        "dataloader": {
-            "batch_size_per_gpu": 8,
-            "workers_per_gpu": 1,
-            "shuffle": false
-        },
-        "metrics": "image-colorization-metric"
-    }
-
-}

modelscope/hub/models/damo/cv_ddcolor_image-colorization/pytorch_model.pt

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:17c460d7e55b32a598370621d77173be59e03c24b0823f06821db23a50c263ce
-size 911950059

modelscope/hub/models/damo/mplug_image-captioning_coco_large_en/README.md

@@ -1,169 +0,0 @@
----
-tasks:
-- image-captioning
-
-widgets:
-  - task: image-captioning
-    inputs:
-      - type: image
-        name: image
-        title: 图片
-        validator:
-          max_size: 10M
-          max_resolution: 5000*5000
-    examples:
-      - name: 1
-        title: 示例1
-        inputs:
-          - name: image
-            data: http://xingchen-data.oss-cn-zhangjiakou.aliyuncs.com/maas/visual-question-answering/visual_question_answering.png
-    inferencespec:
-      cpu: 4
-      memory: 12000
-      gpu: 1
-      gpu_memory: 16000
-
-model-type:
-- mplug
-
-domain:
-- multi-modal
-
-frameworks:
-- pytorch
-
-backbone:
-- transformer
-
-containers:
-
-metrics:
-- CIDEr
-- Bleu-4
-
-license: Apache License 2.0
-
-finetune-support: True
-
-language: 
-- en
-
-tags:
-- transformer
-- Alibaba
-- volume:abs/2205.12005
-
-datasets:
-  train:
-  - 14M image-text pairs(google cc, mscoco, vg, sbu)
-  - modelscope/coco_2014_caption
-  test: 
-  - MS COCO Caption test set
-  evaluation:
-  - modelscope/coco_2014_caption
----
-
-# 图像描述介绍
-图像描述：给定一张图片，模型根据图片信息生成一句对应描述。可以应用于给一张图片配上一句文字或者打个标签的场景。本页面右侧提供了在线体验的服务，欢迎使用！注：本模型为mPLUG-图像描述的Large模型，参数量约为6亿。
-
-## 模型描述
-
-本任务是mPLUG，在英文图像描述MS COCO Caption数据集进行finetune的图像描述下游任务。mPLUG模型是统一理解和生成的多模态基础模型，该模型提出了基于skip-connections的高效跨模态融合框架。其中，mPLUG论文公开时在MS COCO Caption数据上达到SOTA，详见：[mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections](https://arxiv.org/abs/2205.12005)
-
-![mplug](./resources/model.png)
-
-
-## 期望模型使用方式以及适用范围
-本模型主要用于给问题和对应图片生成答案。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。
-
-### 如何使用
-在安装完成MaaS-lib之后即可使用image-captioning的能力
-
-#### 推理代码范例
-```python
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-model_id = 'damo/mplug_image-captioning_coco_large_en'
-input_caption = 'https://alice-open.oss-cn-zhangjiakou.aliyuncs.com/mPLUG/image_captioning.png'
-
-pipeline_caption = pipeline(Tasks.image_captioning, model=model_id)
-result = pipeline_caption(input_caption)
-print(result)
-
-```
-
-### 模型局限性以及可能的偏差
-模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。
-
-## 训练数据介绍
-本模型训练数据集是MS COCO Caption， 具体数据可以[下载](https://cocodataset.org)
-
-## 模型训练流程
-
-### 微调代码范例
-
-```python
-import tempfile
-
-from modelscope.msdatasets import MsDataset
-from modelscope.metainfo import Trainers
-from modelscope.trainers import build_trainer
-
-datadict = MsDataset.load('coco_captions_small_slice')
-
-train_dataset = MsDataset(
-    datadict['train'].remap_columns({
-        'image:FILE': 'image',
-        'answer:Value': 'answer'
-    }).map(lambda _: {'question': 'what the picture describes?'}))
-test_dataset = MsDataset(
-    datadict['test'].remap_columns({
-        'image:FILE': 'image',
-        'answer:Value': 'answer'
-    }).map(lambda _: {'question': 'what the picture describes?'}))
-
-# 可以在代码修改 configuration 的配置
-def cfg_modify_fn(cfg):
-    cfg.train.hooks = [{
-        'type': 'CheckpointHook',
-        'interval': 2
-    }, {
-        'type': 'TextLoggerHook',
-        'interval': 1
-    }, {
-        'type': 'IterTimerHook'
-    }]
-    return cfg
-
-kwargs = dict(
-    model='damo/mplug_image-captioning_coco_large_en',
-    train_dataset=train_dataset,
-    eval_dataset=test_dataset,
-    max_epochs=2,
-    cfg_modify_fn=cfg_modify_fn,
-    work_dir=tempfile.TemporaryDirectory().name)
-
-trainer = build_trainer(
-    name=Trainers.nlp_base_trainer, default_args=kwargs)
-trainer.train()
-```
-
-## 数据评估及结果
-mPLUG在VQA数据集，同等规模和预训练数据的模型中取得SOTA，VQA榜单上排名前列
-
-![mplug_caption_score](./resources/caption_exp.png)
-
-### 相关论文以及引用信息
-如果我们的模型对您有帮助，请您引入我们的文章：
-```BibTeX
-@inproceedings{li2022mplug,
-      title={mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections}, 
-      author={Li, Chenliang and Xu, Haiyang and Tian, Junfeng and Wang, Wei and Yan, Ming and Bi, Bin and Ye, Jiabo and Chen, Hehong and Xu, Guohai and Cao, Zheng and Zhang, Ji and Huang, Songfang and Huang, Fei and Zhou, Jingren and Luo Si},
-      year={2022},
-      journal={arXiv}
-}
-```
-
-
-

modelscope/hub/models/damo/mplug_image-captioning_coco_large_en/config.yaml

@@ -1,38 +0,0 @@
-task: 'image-captioning'
-bert_config: 'config_bert.json'
-
-image_res: 336
-batch_size_train: 128
-vision_width: 1024
-distill: True
-clip_name: "ViT-L-14"
-batch_size_test: 64 
-k_test: 128
-
-alpha: 0.4
-warm_up: True
-
-eos: '[SEP]'
-
-optimizer: {opt: adamW, lr1: 3e-5, lr2: 5e-6, weight_decay: 0.02}
-schedular: {sched: cosine, lr: 3e-5, epochs: 8, min_lr: 1e-6, decay_rate: 1, warmup_lr: 1e-5, warmup_epochs: 4, cooldown_epochs: 0}
-
-# predictor
-min_length: 3
-max_length: 35
-beam_size: 5
-add_ocr: False
-add_object: False
-
-# clip
-clip_embed_dim: 768
-clip_image_resolution: 224
-clip_vision_layers: 24
-clip_vision_width: 1024
-clip_vision_patch_size: 14
-clip_context_length: 77
-clip_vocab_size: 49408
-clip_transformer_width: 768
-clip_transformer_heads: 12
-clip_transformer_layers: 12
-

modelscope/hub/models/damo/mplug_image-captioning_coco_large_en/config_bert.json

@@ -1,27 +0,0 @@
-{
-  "architectures": [
-    "BertForMaskedLM"
-  ],
-  "attention_probs_dropout_prob": 0.1,
-  "hidden_act": "gelu",
-  "hidden_dropout_prob": 0.1,
-  "hidden_size": 768,
-  "initializer_range": 0.02,
-  "intermediate_size": 3072,
-  "layer_norm_eps": 1e-12,
-  "max_position_embeddings": 512,
-  "model_type": "bert",
-  "num_attention_heads": 12,
-  "num_hidden_layers": 12,
-  "pad_token_id": 0,
-  "type_vocab_size": 2,
-  "vocab_size": 30522,
-  "encoder_width": 768,
-  "add_cross_attention": false,
-  "use_cache":false,
-  "gradient_checkpointing": false,
-  "text_encoder_layers": 6,
-  "fusion_layers": 6,
-  "text_decode_layers": 12,
-  "stride_layer": 6
-}

modelscope/hub/models/damo/mplug_image-captioning_coco_large_en/configuration.json

@@ -1,60 +0,0 @@
-{
-    "framework": "pytorch",
-    "task": "image-captioning",
-    "preprocessor": {
-        "type": "mplug-tasks-preprocessor"
-    },
-    "model": {
-        "type": "mplug"
-    },
-    "pipeline": {
-        "type": "image-captioning"
-    },
-    "train": {
-        "work_dir": "/tmp",
-        "max_epochs": 3,
-        "dataloader": {
-            "batch_size_per_gpu": 2,
-            "workers_per_gpu": 1
-        },
-        "optimizer": {
-            "type": "SGD",
-            "lr": 0.01,
-            "options": {
-                "grad_clip": {
-                    "max_norm": 2.0
-                }
-            }
-        },
-        "lr_scheduler": {
-            "type": "StepLR",
-            "step_size": 2,
-            "options": {
-                "warmup": {
-                    "type": "LinearWarmup",
-                    "warmup_iters": 2
-                }
-            }
-        },
-        "hooks": [{
-            "type": "CheckpointHook",
-            "interval": 1
-        }, {
-            "type": "TextLoggerHook",
-            "interval": 1
-        }, {
-            "type": "IterTimerHook"
-        }, {
-            "type": "EvaluationHook",
-            "interval": 1
-        }]
-    },
-    "evaluation": {
-        "dataloader": {
-            "batch_size_per_gpu": 2,
-            "workers_per_gpu": 1,
-            "shuffle": false
-        }
-    }
-}
-

modelscope/hub/models/iic/cv_unet_person-image-cartoon-3d_compound-models/.mv

@@ -1 +0,0 @@
-Revision:v1.0.1,CreatedAt:1678848973

modelscope/hub/models/iic/cv_unet_person-image-cartoon-3d_compound-models/README.md

@@ -1,211 +0,0 @@
----
-tasks:
-- image-portrait-stylization
-widgets:
-  - task: image-portrait-stylization
-    inputs:
-      - type: image
-        validator:
-          max_size: 10M
-          max_resolution: 6000*6000
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: https://modelscope.oss-cn-beijing.aliyuncs.com/demo/image-cartoon/cartoon.png
-    inferencespec:
-      cpu: 2
-      memory: 4000
-      gpu: 1
-      gpu_memory: 16000
-model_type:
-- GAN
-domain:
-- cv
-frameworks:
-- TensorFlow
-backbone:
-- UNet
-metrics:
-- realism
-license: Apache License 2.0
-language: 
-- ch
-tags:
-- portrait stylization
-- Alibaba
-- SIGGRAPH 2022
-datasets:
-  test:
-  - modelscope/human_face_portrait_compound_dataset
----
-
-# DCT-Net人像卡通化模型-3D
-
-### [论文](https://arxiv.org/abs/2207.02426) ｜ [项目主页](https://menyifang.github.io/projects/DCTNet/DCTNet.html)
-
-输入一张人物图像，实现端到端全图卡通化转换，生成3D风格虚拟形象，返回风格化后的结果图像。
-
-其生成效果如下所示：
-
-![生成效果](description/demo.gif)
-
-
-## 模型描述
-
-该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
-![网络结构](description/network.png)
-
-## 使用方式和范围
-
-使用方式：
-- 支持GPU/CPU推理，在任意真实人物图像上进行直接推理;
-
-使用范围:
-- 包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
-
-目标场景:
-- 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
-
-### 如何使用
-
-在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
-
-#### 代码范例
-
-- 模型推理(支持CPU/GPU)：
-
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-img_cartoon = pipeline(Tasks.image_portrait_stylization, 
-                       model='damo/cv_unet_person-image-cartoon-3d_compound-models')
-# 图像本地路径
-#img_path = 'input.png'
-# 图像url链接
-img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
-result = img_cartoon(img_path)
-
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-print('finished!')
-
-```
-
-- 模型训练：
-
-环境要求：tf1.14/15及兼容cuda，支持GPU训练
-
-```python
-import os
-import unittest
-import cv2
-from modelscope.exporters.cv import CartoonTranslationExporter
-from modelscope.msdatasets import MsDataset
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.pipelines.base import Pipeline
-from modelscope.trainers.cv import CartoonTranslationTrainer
-from modelscope.utils.constant import Tasks
-from modelscope.utils.test_utils import test_level
-
-model_id = 'damo/cv_unet_person-image-cartoon_compound-models'
-data_dir = MsDataset.load(
-            'dctnet_train_clipart_mini_ms',
-            namespace='menyifang',
-            split='train').config_kwargs['split_config']['train']
-
-data_photo = os.path.join(data_dir, 'face_photo')
-data_cartoon = os.path.join(data_dir, 'face_cartoon')
-work_dir = 'exp_localtoon'
-max_steps = 10
-trainer = CartoonTranslationTrainer(
-            model=model_id,
-            work_dir=work_dir,
-            photo=data_photo,
-            cartoon=data_cartoon,
-            max_steps=max_steps)
-trainer.train()
-```
-
-上述训练代码仅仅提供简单训练的范例，对大规模自定义数据，替换data_photo为真实人脸数据路径，data_cartoon为卡通风格人脸数据路径，max_steps建议设置为300000，可视化结果将存储在work_dir下；此外configuration.json(~/.cache/modelscope/hub/damo/cv_unet_person-image-cartoon_compound-models/)可以进行自定义修改；
-
-Note: notebook预装环境下存在numpy依赖冲突，可手动更新解决：pip install numpy==1.18.5
-
-
-- 卡通人脸数据获取
-
-卡通人脸数据可由设计师设计/网络收集得到，在此提供一种基于[Stable-Diffusion风格预训练模型](https://modelscope.cn/models/damo/cv_cartoon_stable_diffusion_design/summary)的卡通数据生成方式
-
-```python
-import cv2
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_clipart', model_revision='v1.0.0')
-from diffusers.schedulers import EulerAncestralDiscreteScheduler
-pipe.pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.pipeline.scheduler.config)
-output = pipe({'text': 'archer style, a portrait painting of Johnny Depp'})
-cv2.imwrite('result.png', output['output_imgs'][0])
-print('Image saved to result.png')
-
-print('finished!')
-```
-可通过替换Johnny Depp为其他名人姓名，产生多样化风格数据，通过人脸对齐裁剪即可得到卡通人脸数据；可以通过修改pipeline的model参数指定不同风格的SD预训练模型。
-
-
-### 模型局限性以及可能的偏差
-
-- 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
-
-- 小样本数据涵盖场景有限，人脸暗光、阴影干扰可能会影响生成效果。
-
-## 训练数据介绍
-
-训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
-
-- 真实人脸数据[FFHQ](https://github.com/NVlabs/ffhq-dataset)常用的人脸公开数据集，包含7w人脸图像；
-
-- 卡通人脸数据，互联网搜集，100+张
-
-## 模型推理流程
-
-### 预处理
-
-- 人脸关键点检测
-- 人脸提取&对齐，得到256x256大小的对齐人脸
-
-### 推理
-
-- 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
-- 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
-
-## 数据评估及结果
-
-使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：
-
-| Method | FID | ID | Pref.A | Pref.B | 
-| ------------ | ------------ | ------------ | ------------ | ------------ |
-| CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 | 
-| U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 | 
-| Toonify | 55.27 | 0.62 | 3.7 | 4.2 | 
-| pSp | 69.38 | 0.60 | 1.6 | 2.5 |
-| Ours | **35.92** | **0.71** | **82.6** | **90.5** |
-
-
-## 引用
-如果该模型对你有所帮助，请引用相关的论文：
-
-```BibTeX
-@inproceedings{men2022domain,
-  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
-  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
-  journal={ACM Transactions on Graphics (TOG)},
-  volume={41},
-  number={4},
-  pages={1--9},
-  year={2022}
-}
-```

modelscope/hub/models/iic/cv_unet_person-image-cartoon-3d_compound-models/configuration.json

@@ -1,20 +0,0 @@
-{
-   "framework": "tensorflow",
-   "task": "image-portrait-stylization",
-    "pipeline": {
-       "type": "unet-person-image-cartoon"
-    },
-    "train": {
-      "num_gpus": 1,
-      "batch_size": 32,
-      "adv_train_lr": 2e-4,
-      "max_steps": 300000,
-      "logging_interval": 1000,
-      "ckpt_period_interval": 1000,
-      "resume_epoch": 15999,
-      "patch_size": 256,
-      "work_dir": "exp_localtoon",
-      "photo": "/PATH/TO/PHOTO/DIR",
-      "cartoon": "/PATH/TO/CARTOON/DIR"
-    }
-}

modelscope/hub/models/iic/cv_unet_person-image-cartoon-3d_compound-models/tf_ckpts/model-15999.data-00000-of-00001

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:ae0ab60719d9b55efa5eaca236ce37ad2ee59b49033edd7bcf31b278760074a6
-size 31380852

modelscope/hub/models/iic/cv_unet_person-image-cartoon-artstyle_compound-models/.mv

@@ -1 +0,0 @@
-Revision:v1.0.1,CreatedAt:1678848600

modelscope/hub/models/iic/cv_unet_person-image-cartoon-artstyle_compound-models/README.md

@@ -1,214 +0,0 @@
----
-tasks:
-- image-portrait-stylization
-widgets:
-  - task: image-portrait-stylization
-    inputs:
-      - type: image
-        validator:
-          max_size: 10M
-          max_resolution: 6000*6000
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: https://modelscope.oss-cn-beijing.aliyuncs.com/demo/image-cartoon/cartoon.png
-    inferencespec:
-      cpu: 2
-      memory: 4000
-      gpu: 1
-      gpu_memory: 16000
-model_type:
-- GAN
-domain:
-- cv
-frameworks:
-- TensorFlow
-backbone:
-- UNet
-metrics:
-- realism
-customized-quickstart: True
-finetune-support: True
-license: Apache License 2.0
-language: 
-- ch
-tags:
-- portrait stylization
-- Alibaba
-- SIGGRAPH 2022
-datasets:
-  test:
-  - modelscope/human_face_portrait_compound_dataset
----
-
-# DCT-Net人像卡通化模型-艺术风
-
-### [论文](https://arxiv.org/abs/2207.02426) ｜ [项目主页](https://menyifang.github.io/projects/DCTNet/DCTNet.html)
-
-输入一张人物图像，实现端到端全图卡通化转换，生成艺术风格虚拟形象，返回风格化后的结果图像。
-
-其生成效果如下所示：
-
-![生成效果](description/demo.gif)
-
-## 模型描述
-
-该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
-
-![网络结构](description/network.png)
-
-
-## 使用方式和范围
-
-使用方式：
-- 支持GPU/CPU推理，在任意真实人物图像上进行直接推理;
-
-使用范围:
-- 包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
-
-目标场景:
-- 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
-
-### 如何使用
-
-在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
-
-#### 代码范例
-
-- 模型推理(支持CPU/GPU)：
-
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-img_cartoon = pipeline(Tasks.image_portrait_stylization, 
-                       model='damo/cv_unet_person-image-cartoon-artstyle_compound-models')
-# 图像本地路径
-#img_path = 'input.png'
-# 图像url链接
-img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
-result = img_cartoon(img_path)
-
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-print('finished!')
-
-```
-
-- 模型训练：
-
-环境要求：tf1.14/15及兼容cuda，支持GPU训练
-
-```python
-import os
-import unittest
-import cv2
-from modelscope.exporters.cv import CartoonTranslationExporter
-from modelscope.msdatasets import MsDataset
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.pipelines.base import Pipeline
-from modelscope.trainers.cv import CartoonTranslationTrainer
-from modelscope.utils.constant import Tasks
-from modelscope.utils.test_utils import test_level
-
-model_id = 'damo/cv_unet_person-image-cartoon-artstyle_compound-models'
-data_dir = MsDataset.load(
-            'dctnet_train_clipart_mini_ms',
-            namespace='menyifang',
-            split='train').config_kwargs['split_config']['train']
-
-data_photo = os.path.join(data_dir, 'face_photo')
-data_cartoon = os.path.join(data_dir, 'face_cartoon')
-work_dir = 'exp_localtoon'
-max_steps = 10
-trainer = CartoonTranslationTrainer(
-            model=model_id,
-            work_dir=work_dir,
-            photo=data_photo,
-            cartoon=data_cartoon,
-            max_steps=max_steps)
-trainer.train()
-```
-
-上述训练代码仅仅提供简单训练的范例，对大规模自定义数据，替换data_photo为真实人脸数据路径，data_cartoon为卡通风格人脸数据路径，max_steps建议设置为300000，可视化结果将存储在work_dir下；此外configuration.json(~/.cache/modelscope/hub/damo/cv_unet_person-image-cartoon_compound-models/)可以进行自定义修改；
-
-Note: notebook预装环境下存在numpy依赖冲突，可手动更新解决：pip install numpy==1.18.5
-
-
-- 卡通人脸数据获取
-
-卡通人脸数据可由设计师设计/网络收集得到，在此提供一种基于[Stable-Diffusion风格预训练模型](https://modelscope.cn/models/damo/cv_cartoon_stable_diffusion_design/summary)的卡通数据生成方式
-
-```python
-import cv2
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_clipart', model_revision='v1.0.0')
-from diffusers.schedulers import EulerAncestralDiscreteScheduler
-pipe.pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.pipeline.scheduler.config)
-output = pipe({'text': 'archer style, a portrait painting of Johnny Depp'})
-cv2.imwrite('result.png', output['output_imgs'][0])
-print('Image saved to result.png')
-
-print('finished!')
-```
-可通过替换Johnny Depp为其他名人姓名，产生多样化风格数据，通过人脸对齐裁剪即可得到卡通人脸数据；可以通过修改pipeline的model参数指定不同风格的SD预训练模型。
-
-
-### 模型局限性以及可能的偏差
-
-- 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
-
-- 艺术风格着重加强色彩、对比度等，在高品质、高对比度写真上处理效果更佳。
-
-## 训练数据介绍
-
-训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
-
-- 真实人脸数据[FFHQ](https://github.com/NVlabs/ffhq-dataset)常用的人脸公开数据集，包含7w人脸图像；
-
-- 卡通人脸数据，互联网搜集，100+张
-
-## 模型推理流程
-
-### 预处理
-
-- 人脸关键点检测
-- 人脸提取&对齐，得到256x256大小的对齐人脸
-
-### 推理
-
-- 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
-- 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
-
-## 数据评估及结果
-
-使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：
-
-| Method | FID | ID | Pref.A | Pref.B | 
-| ------------ | ------------ | ------------ | ------------ | ------------ |
-| CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 | 
-| U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 | 
-| Toonify | 55.27 | 0.62 | 3.7 | 4.2 | 
-| pSp | 69.38 | 0.60 | 1.6 | 2.5 |
-| Ours | **35.92** | **0.71** | **82.6** | **90.5** |
-
-
-## 引用
-如果该模型对你有所帮助，请引用相关的论文：
-
-```BibTeX
-@inproceedings{men2022domain,
-  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
-  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
-  journal={ACM Transactions on Graphics (TOG)},
-  volume={41},
-  number={4},
-  pages={1--9},
-  year={2022}
-}
-```

modelscope/hub/models/iic/cv_unet_person-image-cartoon-artstyle_compound-models/configuration.json

@@ -1,20 +0,0 @@
-{
-   "framework": "tensorflow",
-   "task": "image-portrait-stylization",
-    "pipeline": {
-       "type": "unet-person-image-cartoon"
-    },
-    "train": {
-      "num_gpus": 1,
-      "batch_size": 32,
-      "adv_train_lr": 2e-4,
-      "max_steps": 300000,
-      "logging_interval": 1000,
-      "ckpt_period_interval": 1000,
-      "resume_epoch": 96499,
-      "patch_size": 256,
-      "work_dir": "exp_localtoon",
-      "photo": "/PATH/TO/PHOTO/DIR",
-      "cartoon": "/PATH/TO/CARTOON/DIR"
-    }
-}

modelscope/hub/models/iic/cv_unet_person-image-cartoon-artstyle_compound-models/tf_ckpts/model-96499.data-00000-of-00001

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:79091d38a0da1ff40ccf253c2bf878d6c2082adeddb720fa998a8ccda3e6bb53
-size 5868300

modelscope/hub/models/iic/cv_unet_person-image-cartoon-handdrawn_compound-models/.mv

@@ -1 +0,0 @@
-Revision:v1.0.1,CreatedAt:1678850730

modelscope/hub/models/iic/cv_unet_person-image-cartoon-handdrawn_compound-models/README.md

@@ -1,216 +0,0 @@
----
-tasks:
-- image-portrait-stylization
-widgets:
-  - task: image-portrait-stylization
-    inputs:
-      - type: image
-        validator:
-          max_size: 10M
-          max_resolution: 6000*6000
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: https://modelscope.oss-cn-beijing.aliyuncs.com/demo/image-cartoon/cartoon.png
-    inferencespec:
-      cpu: 2
-      memory: 4000
-      gpu: 1
-      gpu_memory: 16000
-model_type:
-- GAN
-domain:
-- cv
-frameworks:
-- TensorFlow
-backbone:
-- UNet
-metrics:
-- realism
-customized-quickstart: True
-finetune-support: True
-license: Apache License 2.0
-language: 
-- ch
-tags:
-- portrait stylization
-- Alibaba
-- SIGGRAPH 2022
-datasets:
-  test:
-  - modelscope/human_face_portrait_compound_dataset
----
-
-# DCT-Net人像卡通化模型-手绘风
-
-### [论文](https://arxiv.org/abs/2207.02426) ｜ [项目主页](https://menyifang.github.io/projects/DCTNet/DCTNet.html)
-
-输入一张人物图像，实现端到端全图卡通化转换，生成手绘风格虚拟形象，返回风格化后的结果图像。
-
-其生成效果如下所示：
-
-![生成效果](description/demo.gif)
-
-
-
-## 模型描述
-
-该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
-
-![网络结构](description/network.png)
-
-
-## 使用方式和范围
-
-使用方式：
-- 支持GPU/CPU推理，在任意真实人物图像上进行直接推理;
-
-使用范围:
-- 包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
-
-目标场景:
-- 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
-
-### 如何使用
-
-在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
-
-
-#### 代码范例
-
-- 模型推理(支持CPU/GPU)：
-
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-img_cartoon = pipeline(Tasks.image_portrait_stylization, 
-                       model='damo/cv_unet_person-image-cartoon-handdrawn_compound-models')
-# 图像本地路径
-#img_path = 'input.png'
-# 图像url链接
-img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
-result = img_cartoon(img_path)
-
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-print('finished!')
-```
-
-- 模型训练：
-
-环境要求：tf1.14/15及兼容cuda，支持GPU训练
-
-```python
-import os
-import unittest
-import cv2
-from modelscope.exporters.cv import CartoonTranslationExporter
-from modelscope.msdatasets import MsDataset
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.pipelines.base import Pipeline
-from modelscope.trainers.cv import CartoonTranslationTrainer
-from modelscope.utils.constant import Tasks
-from modelscope.utils.test_utils import test_level
-
-model_id = 'damo/cv_unet_person-image-cartoon-handdrawn_compound-models'
-data_dir = MsDataset.load(
-            'dctnet_train_clipart_mini_ms',
-            namespace='menyifang',
-            split='train').config_kwargs['split_config']['train']
-
-data_photo = os.path.join(data_dir, 'face_photo')
-data_cartoon = os.path.join(data_dir, 'face_cartoon')
-work_dir = 'exp_localtoon'
-max_steps = 10
-trainer = CartoonTranslationTrainer(
-            model=model_id,
-            work_dir=work_dir,
-            photo=data_photo,
-            cartoon=data_cartoon,
-            max_steps=max_steps)
-trainer.train()
-```
-
-上述训练代码仅仅提供简单训练的范例，对大规模自定义数据，替换data_photo为真实人脸数据路径，data_cartoon为卡通风格人脸数据路径，max_steps建议设置为300000，可视化结果将存储在work_dir下；此外configuration.json(~/.cache/modelscope/hub/damo/cv_unet_person-image-cartoon_compound-models/)可以进行自定义修改；
-
-Note: notebook预装环境下存在numpy依赖冲突，可手动更新解决：pip install numpy==1.18.5
-
-
-- 卡通人脸数据获取
-
-卡通人脸数据可由设计师设计/网络收集得到，在此提供一种基于[Stable-Diffusion风格预训练模型](https://modelscope.cn/models/damo/cv_cartoon_stable_diffusion_design/summary)的卡通数据生成方式
-
-```python
-import cv2
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_clipart', model_revision='v1.0.0')
-from diffusers.schedulers import EulerAncestralDiscreteScheduler
-pipe.pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.pipeline.scheduler.config)
-output = pipe({'text': 'archer style, a portrait painting of Johnny Depp'})
-cv2.imwrite('result.png', output['output_imgs'][0])
-print('Image saved to result.png')
-
-print('finished!')
-```
-可通过替换Johnny Depp为其他名人姓名，产生多样化风格数据，通过人脸对齐裁剪即可得到卡通人脸数据；可以通过修改pipeline的model参数指定不同风格的SD预训练模型。
-
-
-### 模型局限性以及可能的偏差
-
-- 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
-
-- 小样本数据涵盖场景有限，人脸暗光、阴影干扰可能会影响生成效果，同样不适用于黑白照片。
-
-## 训练数据介绍
-
-训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
-
-- 真实人脸数据[FFHQ](https://github.com/NVlabs/ffhq-dataset)常用的人脸公开数据集，包含7w人脸图像；
-
-- 卡通人脸数据，互联网搜集，100+张
-
-## 模型推理流程
-
-### 预处理
-
-- 人脸关键点检测
-- 人脸提取&对齐，得到256x256大小的对齐人脸
-
-### 推理
-
-- 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
-- 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
-
-## 数据评估及结果
-
-使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：
-
-| Method | FID | ID | Pref.A | Pref.B | 
-| ------------ | ------------ | ------------ | ------------ | ------------ |
-| CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 | 
-| U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 | 
-| Toonify | 55.27 | 0.62 | 3.7 | 4.2 | 
-| pSp | 69.38 | 0.60 | 1.6 | 2.5 |
-| Ours | **35.92** | **0.71** | **82.6** | **90.5** |
-
-
-## 引用
-如果该模型对你有所帮助，请引用相关的论文：
-
-```BibTeX
-@inproceedings{men2022domain,
-  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
-  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
-  journal={ACM Transactions on Graphics (TOG)},
-  volume={41},
-  number={4},
-  pages={1--9},
-  year={2022}
-}
-```

modelscope/hub/models/iic/cv_unet_person-image-cartoon-handdrawn_compound-models/configuration.json

@@ -1,20 +0,0 @@
-{
-   "framework": "tensorflow",
-   "task": "image-portrait-stylization",
-    "pipeline": {
-       "type": "unet-person-image-cartoon"
-    },
-    "train": {
-      "num_gpus": 1,
-      "batch_size": 32,
-      "adv_train_lr": 2e-4,
-      "max_steps": 300000,
-      "logging_interval": 1000,
-      "ckpt_period_interval": 1000,
-      "resume_epoch": 309999,
-      "patch_size": 256,
-      "work_dir": "exp_localtoon",
-      "photo": "/PATH/TO/PHOTO/DIR",
-      "cartoon": "/PATH/TO/CARTOON/DIR"
-    }
-}

modelscope/hub/models/iic/cv_unet_person-image-cartoon-handdrawn_compound-models/tf_ckpts/model-309999.data-00000-of-00001

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:b4a56e9c4768097b3d12d769b4c4acd08cb91bffcc50e9e0b3b3161f62e42373
-size 31380852

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sd-design_compound-models/.mv

@@ -1 +0,0 @@
-Revision:v1.0.1,CreatedAt:1678850802

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sd-design_compound-models/README.md

@@ -1,214 +0,0 @@
----
-tasks:
-- image-portrait-stylization
-widgets:
-  - task: image-portrait-stylization
-    inputs:
-      - type: image
-        validator:
-          max_size: 10M
-          max_resolution: 6000*6000
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: https://modelscope.oss-cn-beijing.aliyuncs.com/demo/image-cartoon/cartoon.png
-    inferencespec:
-      cpu: 2
-      memory: 4000
-      gpu: 1
-      gpu_memory: 16000
-model_type:
-- GAN
-domain:
-- cv
-frameworks:
-- TensorFlow
-backbone:
-- UNet
-metrics:
-- realism
-customized-quickstart: True
-finetune-support: True
-license: Apache License 2.0
-language: 
-- ch
-tags:
-- portrait stylization
-- Alibaba
-- SIGGRAPH 2022
-datasets:
-  test:
-  - modelscope/human_face_portrait_compound_dataset
----
-
-# DCT-Net人像卡通化-扩散模型-插画风
-
-### [论文](https://arxiv.org/abs/2207.02426) ｜ [项目主页](https://menyifang.github.io/projects/DCTNet/DCTNet.html)
-
-输入一张人物图像，实现端到端全图卡通化转换，生成插画风格虚拟形象，返回风格化后的结果图像。
-
-其生成效果如下所示：
-
-![生成效果](description/demo.gif)
-
-
-## 模型描述
-
-该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），结合Stable-Diffusion扩散模型生成小样本的风格数据，即可训练得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
-![网络结构](description/network.png)
-
-## 使用方式和范围
-
-使用方式：
-- 支持GPU/CPU推理，在任意真实人物图像上进行直接推理;
-
-使用范围:
-- 包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
-
-目标场景:
-- 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
-
-### 如何使用
-
-在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
-
-
-#### 代码范例
-
-- 模型推理(支持CPU/GPU)：
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-
-img_cartoon = pipeline(Tasks.image_portrait_stylization, 
-                       model='damo/cv_unet_person-image-cartoon-sd-design_compound-models', model_revision='v1.0.0')
-# 图像本地路径
-#img_path = 'input.png'
-# 图像url链接
-img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
-result = img_cartoon(img_path)
-
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-print('finished!')
-
-```
-
-- 模型训练：
-
-环境要求：tf1.14/15及兼容cuda，支持GPU训练
-
-```python
-import os
-import unittest
-import cv2
-from modelscope.exporters.cv import CartoonTranslationExporter
-from modelscope.msdatasets import MsDataset
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.pipelines.base import Pipeline
-from modelscope.trainers.cv import CartoonTranslationTrainer
-from modelscope.utils.constant import Tasks
-from modelscope.utils.test_utils import test_level
-
-model_id = 'damo/cv_unet_person-image-cartoon-sd-design_compound-models'
-data_dir = MsDataset.load(
-            'dctnet_train_clipart_mini_ms',
-            namespace='menyifang',
-            split='train').config_kwargs['split_config']['train']
-
-data_photo = os.path.join(data_dir, 'face_photo')
-data_cartoon = os.path.join(data_dir, 'face_cartoon')
-work_dir = 'exp_localtoon'
-max_steps = 10
-trainer = CartoonTranslationTrainer(
-            model=model_id,
-            work_dir=work_dir,
-            photo=data_photo,
-            cartoon=data_cartoon,
-            max_steps=max_steps)
-trainer.train()
-```
-
-上述训练代码仅仅提供简单训练的范例，对大规模自定义数据，替换data_photo为真实人脸数据路径，data_cartoon为卡通风格人脸数据路径，max_steps建议设置为300000，可视化结果将存储在work_dir下；此外configuration.json(~/.cache/modelscope/hub/damo/cv_unet_person-image-cartoon_compound-models/)可以进行自定义修改；
-
-Note: notebook预装环境下存在numpy依赖冲突，可手动更新解决：pip install numpy==1.18.5
-
-
-- 卡通人脸数据获取
-
-卡通人脸数据可由设计师设计/网络收集得到，在此提供一种基于[Stable-Diffusion风格预训练模型](https://modelscope.cn/models/damo/cv_cartoon_stable_diffusion_design/summary)的卡通数据生成方式
-
-```python
-import cv2
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_clipart', model_revision='v1.0.0')
-from diffusers.schedulers import EulerAncestralDiscreteScheduler
-pipe.pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.pipeline.scheduler.config)
-output = pipe({'text': 'archer style, a portrait painting of Johnny Depp'})
-cv2.imwrite('result.png', output['output_imgs'][0])
-print('Image saved to result.png')
-
-print('finished!')
-```
-可通过替换Johnny Depp为其他名人姓名，产生多样化风格数据，通过人脸对齐裁剪即可得到卡通人脸数据；可以通过修改pipeline的model参数指定不同风格的SD预训练模型。
-
-
-### 模型局限性以及可能的偏差
-
-- 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
-
-- 小样本数据涵盖场景有限，人脸暗光、阴影干扰可能会影响生成效果。
-
-## 训练数据介绍
-
-训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
-
-- 真实人脸数据[FFHQ](https://github.com/NVlabs/ffhq-dataset)常用的人脸公开数据集，包含7w人脸图像；
-
-- 卡通人脸数据，互联网搜集，100+张
-
-## 模型推理流程
-
-### 预处理
-
-- 人脸关键点检测
-- 人脸提取&对齐，得到256x256大小的对齐人脸
-
-### 推理
-
-- 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
-- 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
-
-## 数据评估及结果
-
-使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：
-
-| Method | FID | ID | Pref.A | Pref.B | 
-| ------------ | ------------ | ------------ | ------------ | ------------ |
-| CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 | 
-| U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 | 
-| Toonify | 55.27 | 0.62 | 3.7 | 4.2 | 
-| pSp | 69.38 | 0.60 | 1.6 | 2.5 |
-| Ours | **35.92** | **0.71** | **82.6** | **90.5** |
-
-
-## 引用
-如果该模型对你有所帮助，请引用相关的论文：
-
-```BibTeX
-@inproceedings{men2022domain,
-  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
-  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
-  journal={ACM Transactions on Graphics (TOG)},
-  volume={41},
-  number={4},
-  pages={1--9},
-  year={2022}
-}
-```

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sd-design_compound-models/configuration.json

@@ -1,20 +0,0 @@
-{
-   "framework": "tensorflow",
-   "task": "image-portrait-stylization",
-    "pipeline": {
-       "type": "unet-person-image-cartoon"
-    },
-    "train": {
-      "num_gpus": 1,
-      "batch_size": 32,
-      "adv_train_lr": 2e-4,
-      "max_steps": 300000,
-      "logging_interval": 1000,
-      "ckpt_period_interval": 1000,
-      "resume_epoch": 122999,
-      "patch_size": 256,
-      "work_dir": "exp_localtoon",
-      "photo": "/PATH/TO/PHOTO/DIR",
-      "cartoon": "/PATH/TO/CARTOON/DIR"
-    }
-}

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sd-design_compound-models/tf_ckpts/model-122999.data-00000-of-00001

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:f7ea1e082436759e49fce3a6577e3233bb8748fa68e1e935441e0c3c6a913750
-size 24492884

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sketch_compound-models/.mv

@@ -1 +0,0 @@
-Revision:v1.0.1,CreatedAt:1678850776

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sketch_compound-models/README.md

@@ -1,215 +0,0 @@
----
-tasks:
-- image-portrait-stylization
-widgets:
-  - task: image-portrait-stylization
-    inputs:
-      - type: image
-        validator:
-          max_size: 10M
-          max_resolution: 6000*6000
-    examples:
-      - name: 1
-        inputs:
-          - name: image
-            data: https://modelscope.oss-cn-beijing.aliyuncs.com/demo/image-cartoon/cartoon.png
-    inferencespec:
-      cpu: 2
-      memory: 4000
-      gpu: 1
-      gpu_memory: 16000
-model_type:
-- GAN
-domain:
-- cv
-frameworks:
-- TensorFlow
-backbone:
-- UNet
-metrics:
-- realism
-customized-quickstart: True
-finetune-support: True
-license: Apache License 2.0
-language: 
-- ch
-tags:
-- portrait stylization
-- Alibaba
-- SIGGRAPH 2022
-datasets:
-  test:
-  - modelscope/human_face_portrait_compound_dataset
----
-
-# DCT-Net人像卡通化模型-素描风
-
-### [论文](https://arxiv.org/abs/2207.02426) ｜ [项目主页](https://menyifang.github.io/projects/DCTNet/DCTNet.html)
-
-输入一张人物图像，实现端到端全图卡通化转换，生成素描风格虚拟形象，返回风格化后的结果图像。
-
-其生成效果如下所示：
-
-![生成效果](description/demo.gif)
-
-
-## 模型描述
-
-该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
-
-![网络结构](description/network.png)
-
-
-## 使用方式和范围
-
-使用方式：
-- 支持GPU/CPU推理，在任意真实人物图像上进行直接推理;
-
-使用范围:
-- 包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。
-
-目标场景:
-- 艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。
-
-### 如何使用
-
-在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型。
-
-
-#### 代码范例
-
-- 模型推理(支持CPU/GPU)：
-
-```python
-import cv2
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-img_cartoon = pipeline(Tasks.image_portrait_stylization, 
-                       model='damo/cv_unet_person-image-cartoon-sketch_compound-models')
-# 图像本地路径
-#img_path = 'input.png'
-# 图像url链接
-img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
-result = img_cartoon(img_path)
-cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
-print('finished!')
-
-```
-
-- 模型训练：
-
-环境要求：tf1.14/15及兼容cuda，支持GPU训练
-
-```python
-import os
-import unittest
-import cv2
-from modelscope.exporters.cv import CartoonTranslationExporter
-from modelscope.msdatasets import MsDataset
-from modelscope.outputs import OutputKeys
-from modelscope.pipelines import pipeline
-from modelscope.pipelines.base import Pipeline
-from modelscope.trainers.cv import CartoonTranslationTrainer
-from modelscope.utils.constant import Tasks
-from modelscope.utils.test_utils import test_level
-
-model_id = 'damo/cv_unet_person-image-cartoon-sketch_compound-models'
-data_dir = MsDataset.load(
-            'dctnet_train_clipart_mini_ms',
-            namespace='menyifang',
-            split='train').config_kwargs['split_config']['train']
-
-data_photo = os.path.join(data_dir, 'face_photo')
-data_cartoon = os.path.join(data_dir, 'face_cartoon')
-work_dir = 'exp_localtoon'
-max_steps = 10
-trainer = CartoonTranslationTrainer(
-            model=model_id,
-            work_dir=work_dir,
-            photo=data_photo,
-            cartoon=data_cartoon,
-            max_steps=max_steps)
-trainer.train()
-```
-
-上述训练代码仅仅提供简单训练的范例，对大规模自定义数据，替换data_photo为真实人脸数据路径，data_cartoon为卡通风格人脸数据路径，max_steps建议设置为300000，可视化结果将存储在work_dir下；此外configuration.json(~/.cache/modelscope/hub/damo/cv_unet_person-image-cartoon_compound-models/)可以进行自定义修改；
-
-Note: notebook预装环境下存在numpy依赖冲突，可手动更新解决：pip install numpy==1.18.5
-
-
-- 卡通人脸数据获取
-
-卡通人脸数据可由设计师设计/网络收集得到，在此提供一种基于[Stable-Diffusion风格预训练模型](https://modelscope.cn/models/damo/cv_cartoon_stable_diffusion_design/summary)的卡通数据生成方式
-
-```python
-import cv2
-from modelscope.pipelines import pipeline
-from modelscope.utils.constant import Tasks
-
-pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_clipart', model_revision='v1.0.0')
-from diffusers.schedulers import EulerAncestralDiscreteScheduler
-pipe.pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.pipeline.scheduler.config)
-output = pipe({'text': 'archer style, a portrait painting of Johnny Depp'})
-cv2.imwrite('result.png', output['output_imgs'][0])
-print('Image saved to result.png')
-
-print('finished!')
-```
-可通过替换Johnny Depp为其他名人姓名，产生多样化风格数据，通过人脸对齐裁剪即可得到卡通人脸数据；可以通过修改pipeline的model参数指定不同风格的SD预训练模型。
-
-
-### 模型局限性以及可能的偏差
-
-- 低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
-
-- 小样本数据涵盖场景有限，人脸暗光、阴影干扰可能会影响生成效果。
-
-## 训练数据介绍
-
-训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。
-
-- 真实人脸数据[FFHQ](https://github.com/NVlabs/ffhq-dataset)常用的人脸公开数据集，包含7w人脸图像；
-
-- 卡通人脸数据，互联网搜集，100+张
-
-## 模型推理流程
-
-### 预处理
-
-- 人脸关键点检测
-- 人脸提取&对齐，得到256x256大小的对齐人脸
-
-### 推理
-
-- 为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
-- 亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理
-
-## 数据评估及结果
-
-使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：
-
-| Method | FID | ID | Pref.A | Pref.B | 
-| ------------ | ------------ | ------------ | ------------ | ------------ |
-| CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 | 
-| U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 | 
-| Toonify | 55.27 | 0.62 | 3.7 | 4.2 | 
-| pSp | 69.38 | 0.60 | 1.6 | 2.5 |
-| Ours | **35.92** | **0.71** | **82.6** | **90.5** |
-
-
-## 引用
-如果该模型对你有所帮助，请引用相关的论文：
-
-```BibTeX
-@inproceedings{men2022domain,
-  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
-  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
-  journal={ACM Transactions on Graphics (TOG)},
-  volume={41},
-  number={4},
-  pages={1--9},
-  year={2022}
-}
-```

modelscope/hub/models/iic/cv_unet_person-image-cartoon-sketch_compound-models/configuration.json

@@ -1,20 +0,0 @@
-{
-   "framework": "tensorflow",
-   "task": "image-portrait-stylization",
-    "pipeline": {
-       "type": "unet-person-image-cartoon"
-    },
-    "train": {
-      "num_gpus": 1,
-      "batch_size": 32,
-      "adv_train_lr": 2e-4,
-      "max_steps": 300000,
-      "logging_interval": 1000,
-      "ckpt_period_interval": 1000,
-      "resume_epoch": 28999,
-      "patch_size": 256,
-      "work_dir": "exp_localtoon",
-      "photo": "/PATH/TO/PHOTO/DIR",
-      "cartoon": "/PATH/TO/CARTOON/DIR"
-    }
-}