Hugging Face's logo

Spaces:
YUGOROU
/
ml-sharp_ZeroGPU
Running on Zero

App Files Community
ml-sharp_ZeroGPU / README.md
Claude
Fix short_description length (must be ≤60 chars)
99c8d2c unverified
preview code
|
raw
history blame contribute delete
6.31 kB
metadata
title: SHARP 3D Gaussian Splats Generator
emoji: 🎨
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 6.2.0
python_version: 3.13.11
app_file: app.py
pinned: false
license: mit
short_description: Generate 3D Gaussian Splats from a single image
models:
  - apple/Sharp
startup_duration_timeout: 1h
preload_from_hub:
  - apple/Sharp sharp_2572gikvuh.pt
tags:
  - 3d
  - gaussian-splatting
  - computer-vision
  - apple
  - sharp
  - three.js

🎨 SHARP: 3D Gaussian Splats Generator

GitHub arXiv Hugging Face License

単一の画像から高品質な3D Gaussian Splatsを1秒以下で生成

📋 概要

このSpaceは、Appleが開発した最新の単一画像3D再構成技術「**SHARP (Sharp Monocular View Synthesis)**」を使用して、1枚の写真から3D Gaussian Splatsを生成します。

生成された3DモデルはThree.jsを使用してブラウザ上でインタラクティブにプレビューでき、PLY形式でダウンロードも可能です。

✨ 主な特徴

  • 🚀 超高速処理: 1秒以下で3D再構成（従来手法の300倍以上高速）
  • 🎯 高品質: SOTA品質（LPIPS 25-34%改善、DISTS 21-43%改善）
  • 🖼️ 簡単操作: 画像をアップロードするだけで3D化
  • 🎬 リアルタイムプレビュー: Three.jsによるインタラクティブな3D表示
  • 📦 PLYエクスポート: 標準的なPLY形式でダウンロード可能
  • ⚡ ZeroGPU対応: Nvidia H200による動的GPU割り当て

🎮 使い方

1. 画像のアップロード

左側のエリアに画像をアップロードまたはドラッグ&ドロップします。

2. 生成開始

「🚀 生成開始」ボタンをクリックします。ZeroGPU (Nvidia H200)で処理されます。

3. 3Dプレビュー

右側のビューアで生成された3D Gaussian Splatsをインタラクティブに確認できます。

操作方法:

  • 🖱️ ドラッグ: 3Dモデルを回転
  • 🔍 スクロール: ズームイン/アウト
  • ⌨️ 右クリック+ドラッグ: パン移動

4. ダウンロード

PLYファイルをダウンロードして、Blender、CloudCompare、MeshLabなどの3Dソフトウェアで使用できます。

🔧 技術スタック

フレームワーク

  • モデル: Apple SHARP
  • UI: Gradio 6.2.0
  • 3Dレンダリング: Three.js + PLYLoader
  • GPU: ZeroGPU (Spaces 0.44.0)
  • SDK: Gradio SDK
  • 言語: Python 3.13.11

主要ライブラリ 

gradio==6.2.0
spaces==0.44.0
torch (latest)
sharp @ git+https://github.com/apple/ml-sharp.git

📊 技術詳細

入力仕様

  • 対応形式: JPEG, PNG, TIFF, HEIC
  • 解像度: 任意（内部で1536×1536にリサイズ）
  • 推奨: 明瞭な被写体、適切な照明

出力仕様

  • 形式: PLY (Polygon File Format)
  • 内容: 3D Gaussian Splats
    • 位置 (x, y, z)
    • スケール (3軸)
    • 回転 (クォータニオン)
    • 不透明度
    • 球面調和係数 (色情報)

パフォーマンス

  • 推論時間: 通常1秒以下
  • メモリ使用量: ~4-8GB (GPU)
  • 出力サイズ: 数MB〜数十MB (画像により変動)

🌐 ローカル実行

前提条件

  • Python 3.13+ (ml-sharpの要件)
  • CUDA 12.4+ (GPU使用の場合)
  • 8GB以上のVRAM推奨

インストール 

# リポジトリをクローン
git clone https://github.com/YUGOROU/ml-sharp_ZeroGPU.git
cd ml-sharp_ZeroGPU

# 仮想環境の作成 (推奨)
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 依存関係をインストール
pip install -r requirements.txt

# アプリケーションを起動
python app.py

Dockerで実行 (オプション)

注意: Hugging Face SpacesではGradio SDKを使用するためDockerは不要ですが、ローカル開発ではDockerを使用できます。

# Dockerイメージをビルド
docker build -t sharp-app .

# コンテナを起動
docker run -p 7860:7860 --gpus all sharp-app

ブラウザで http://localhost:7860 にアクセスします。

📚 リソース

公式リンク

関連プロジェクト

⚠️ 制限事項

  • ZeroGPUタイムアウト: 関数実行は最大60秒
  • 同時処理: 複数ユーザーが同時にアクセスすると待機時間が発生
  • メモリ制限: 非常に大きな画像は処理できない場合があります
  • 3D品質: 単一画像からの推測のため、見えない部分の精度は限定的

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

ただし、SHARPモデル自体はApple独自のライセンス（apple-amlr）に従います。詳細は公式リポジトリを参照してください。

🙏 謝辞

  • Apple: SHARPモデルの開発と公開
  • Hugging Face: ZeroGPU Spacesの提供
  • Three.js Community: 3Dレンダリングライブラリ

📧 お問い合わせ

質問や問題がある場合は、GitHub Issuesでお知らせください。

Made with ❤️ using Apple SHARP and Hugging Face Spaces