|
|
--- |
|
|
license: mit |
|
|
--- |
|
|
|
|
|
<Modellname>: RTM133Lifting |
|
|
|
|
|
https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow |
|
|
https://img.shields.io/badge/License-MIT-green.svg |
|
|
https://badge.fury.io/py/%3Cdein-paketname%3E.svg |
|
|
https://img.shields.io/badge/Framework-PyTorch-orange |
|
|
|
|
|
Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten. |
|
|
📋 Modell-Details |
|
|
|
|
|
Entwickler: Jonas D. Stephan, Nathalie Dollmann |
|
|
|
|
|
Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d) |
|
|
|
|
|
Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze. |
|
|
|
|
|
Framework: PyTorch |
|
|
|
|
|
Input: 2D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert. |
|
|
|
|
|
Output: 3D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert. |
|
|
|
|
|
🚀 Schnellstart |
|
|
Installation |
|
|
bash |
|
|
|
|
|
# Installation via PyPI |
|
|
pip install pose-estimation-recognition-utils-rtmlib |
|
|
|
|
|
Grundlegende Verwendung |
|
|
python |
|
|
|
|
|
from pose_estimation_recognition_utils_rtmlib import RTMLifting, RTMPoseEstimator2D |
|
|
|
|
|
# 1. 2D PoseEstimation eines Bilder |
|
|
estimator = RTMPoseEstimator2D()\ |
|
|
result2D = estimator.process_image_from_file(image_path="Testbild.jpg") |
|
|
|
|
|
# 2. Lifting Model laden |
|
|
lifting = RTMLifting(num_keypoints=133, mode="ai") |
|
|
|
|
|
# 3. Liften |
|
|
lifting.lift_pose(result2D) |
|
|
|
|
|
📥 Modell-Download |
|
|
|
|
|
Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download: |
|
|
python |
|
|
|
|
|
from pose_estimation_recognition_utils_rtmlib import ModelLoader, Simple3DPoseLiftingModel |
|
|
|
|
|
model=Simple3DPoseLiftingModel(num_keypoints=num_keypoints)\ |
|
|
model.to(device)\ |
|
|
model.eval() |
|
|
|
|
|
model_loader=ModelLoader( |
|
|
repo_id="fhswf/rtm133lifting", |
|
|
model_filename="rtm133lifting.pth", |
|
|
cache_dir=cache_dir, |
|
|
) |
|
|
|
|
|
state_dict=model_loader.load_model(device=device)\ |
|
|
model.load_state_dict(state_dict) |
|
|
|
|
|
📊 Evaluation & Leistung |
|
|
|
|
|
Train Loss: 29712.805670 |
|
|
Test Loss: 100725.236959 |
|
|
|
|
|
🏋️ Training |
|
|
|
|
|
Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert. |
|
|
|
|
|
Epochen: 175 |
|
|
|
|
|
Batch-Größe: 256 |
|
|
|
|
|
Optimierer: Adam |
|
|
|
|
|
Learning Rate: 0.002 |
|
|
|
|
|
Hardware: NVIDIA GeForce RTX 3050 |
|
|
|
|
|
📄 Zitation |
|
|
|
|
|
@inproceedings{zhu2023h3wb, |
|
|
title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark}, |
|
|
author={Zhu, Yue and Samet, Nermin and Picard, David}, |
|
|
booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, |
|
|
year={2023} |
|
|
} |
|
|
|
|
|
/*@misc{<dein-modellname>2024, |
|
|
title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model}, |
|
|
author = {Stephan, Jonas D. and Dollmann, Nathalie}, |
|
|
howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}}, |
|
|
year = {2024} |
|
|
}*/ |
|
|
|
|
|
🙏 Danksagung |
|
|
|
|
|
Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes. |
|
|
⚖️ Lizenz |
|
|
|
|
|
Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details. |
|
|
|
|
|
Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann. |
