README.md

---
license: mit
---

<Modellname>: RTM133Lifting

https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow
https://img.shields.io/badge/License-MIT-green.svg
https://badge.fury.io/py/%3Cdein-paketname%3E.svg
https://img.shields.io/badge/Framework-PyTorch-orange

Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten.
📋 Modell-Details

    Entwickler: Jonas D. Stephan, Nathalie Dollmann

    Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d)

    Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze.

    Framework: PyTorch

    Input: 2D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.

    Output: 3D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert.

🚀 Schnellstart
Installation
bash

# Installation via PyPI
pip install pose-estimation-recognition-utils-rtmlib

Grundlegende Verwendung
python

from pose_estimation_recognition_utils_rtmlib import RTMLifting, RTMPoseEstimator2D

# 1. 2D PoseEstimation eines Bilder
estimator = RTMPoseEstimator2D()\
result2D = estimator.process_image_from_file(image_path="Testbild.jpg")

# 2. Lifting Model laden
lifting = RTMLifting(num_keypoints=133, mode="ai")

# 3. Liften
lifting.lift_pose(result2D)

📥 Modell-Download

Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download:
python

from pose_estimation_recognition_utils_rtmlib import ModelLoader, Simple3DPoseLiftingModel

model=Simple3DPoseLiftingModel(num_keypoints=num_keypoints)\
model.to(device)\
model.eval()

model_loader=ModelLoader(
    repo_id="fhswf/rtm133lifting",
    model_filename="rtm133lifting.pth",
    cache_dir=cache_dir,
)

state_dict=model_loader.load_model(device=device)\
model.load_state_dict(state_dict)

📊 Evaluation & Leistung

Train Loss: 29712.805670
Test Loss: 100725.236959

🏋️ Training

Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert.

    Epochen: 175

    Batch-Größe: 256

    Optimierer: Adam

    Learning Rate: 0.002

    Hardware: NVIDIA GeForce RTX 3050

📄 Zitation

@inproceedings{zhu2023h3wb,
  title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark},
  author={Zhu, Yue and Samet, Nermin and Picard, David},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year={2023}
}

/*@misc{<dein-modellname>2024,
  title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model},
  author = {Stephan, Jonas D. and Dollmann, Nathalie},
  howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}},
  year = {2024}
}*/

🙏 Danksagung

Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes.
⚖️ Lizenz

Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details.

Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann.