File size: 3,449 Bytes
98d9276 6a95a61 98d9276 9b589fe 98d9276 9b589fe 98d9276 9b589fe 98d9276 9b589fe 98d9276 9b589fe 98d9276 9b589fe 98d9276 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 |
---
license: mit
---
<Modellname>: RTM17Lifting
https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow
https://img.shields.io/badge/License-MIT-green.svg
https://badge.fury.io/py/%3Cdein-paketname%3E.svg
https://img.shields.io/badge/Framework-PyTorch-orange
Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten.
📋 Modell-Details
Entwickler: Jonas D. Stephan, Nathalie Dollmann
Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d)
Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze.
Framework: PyTorch
Input: 2D-Koordinaten (17 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format (die ersten 17 von 133) definiert.
Output: 3D-Koordinaten (17 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format (die ersten 17 von 133) definiert.
🚀 Schnellstart
Installation
bash
# Installation via PyPI
pip install pose-estimation-recognition-utils-rtmlib
Grundlegende Verwendung
python
# 1. 2D PoseEstimation eines Bilder
estimator = RTMPoseEstimator2D(num_keypoints=17)\
result2D = estimator.process_image_from_file(image_path="Testbild.jpg")
# 2. Lifting Model laden
lifting = RTMLifting(num_keypoints=17, mode="ai")
# 3. Liften
lifting.lift_pose(result2D)
📥 Modell-Download
Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download:
python
from pose_estimation_recognition_utils_rtmlib import ModelLoader, Simple3DPoseLiftingModel
model=Simple3DPoseLiftingModel(num_keypoints=17)\
model.to(device)\
model.eval()\
model_loader=ModelLoader(
repo_id="fhswf/rtm17lifting",
model_filename="rtm17lifting.pth",
cache_dir=cache_dir,
)
state_dict=model_loader.load_model(device=device)\
model.load_state_dict(state_dict)
📊 Evaluation & Leistung
Test Loss: 12140.911356
Train Loss: 8930.923992
🏋️ Training
Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.
Epochen: 175
Batch-Größe: 256
Optimierer: Adam
Learning Rate: 0.002
Hardware: NVIDIA GeForce RTX 3050
📄 Zitation
@inproceedings{zhu2023h3wb,
title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark},
author={Zhu, Yue and Samet, Nermin and Picard, David},
booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
year={2023}
}
/*@misc{<dein-modellname>2024,
title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model},
author = {Stephan, Jonas D. and Dollmann, Nathalie},
howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}},
year = {2024}
}*/
🙏 Danksagung
Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes.
⚖️ Lizenz
Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.
Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann. |