Spaces:

YUGOROU
/

ml-sharp_ZeroGPU

Running on Zero

File size: 6,314 Bytes

---
title: SHARP 3D Gaussian Splats Generator
emoji: 🎨
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 6.2.0
python_version: 3.13.11
app_file: app.py
pinned: false
license: mit
short_description: Generate 3D Gaussian Splats from a single image
models:
  - apple/Sharp
startup_duration_timeout: 1h
preload_from_hub:
  - apple/Sharp sharp_2572gikvuh.pt
tags:
  - 3d
  - gaussian-splatting
  - computer-vision
  - apple
  - sharp
  - three.js
---

# 🎨 SHARP: 3D Gaussian Splats Generator

<div align="center">

[![GitHub](https://img.shields.io/badge/GitHub-ml--sharp-blue?logo=github)](https://github.com/apple/ml-sharp)
[![arXiv](https://img.shields.io/badge/arXiv-2512.10685-b31b1b.svg)](https://arxiv.org/abs/2512.10685)
[![Hugging Face](https://img.shields.io/badge/🤗-Model-yellow)](https://huggingface.co/apple/Sharp)
[![License](https://img.shields.io/badge/License-MIT-green.svg)](LICENSE)

**単一の画像から高品質な3D Gaussian Splatsを1秒以下で生成**

</div>

---

## 📋 概要

このSpaceは、Appleが開発した最新の単一画像3D再構成技術「**SHARP (Sharp Monocular View Synthesis)**」を使用して、1枚の写真から3D Gaussian Splatsを生成します。

生成された3DモデルはThree.jsを使用してブラウザ上でインタラクティブにプレビューでき、PLY形式でダウンロードも可能です。

### ✨ 主な特徴

- 🚀 **超高速処理**: 1秒以下で3D再構成（従来手法の300倍以上高速）
- 🎯 **高品質**: SOTA品質（LPIPS 25-34%改善、DISTS 21-43%改善）
- 🖼️ **簡単操作**: 画像をアップロードするだけで3D化
- 🎬 **リアルタイムプレビュー**: Three.jsによるインタラクティブな3D表示
- 📦 **PLYエクスポート**: 標準的なPLY形式でダウンロード可能
- ⚡ **ZeroGPU対応**: Nvidia H200による動的GPU割り当て

---

## 🎮 使い方

### 1. 画像のアップロード
左側のエリアに画像をアップロードまたはドラッグ&ドロップします。

### 2. 生成開始
「🚀 生成開始」ボタンをクリックします。ZeroGPU (Nvidia H200)で処理されます。

### 3. 3Dプレビュー
右側のビューアで生成された3D Gaussian Splatsをインタラクティブに確認できます。

**操作方法:**
- 🖱️ **ドラッグ**: 3Dモデルを回転
- 🔍 **スクロール**: ズームイン/アウト
- ⌨️ **右クリック+ドラッグ**: パン移動

### 4. ダウンロード
PLYファイルをダウンロードして、Blender、CloudCompare、MeshLabなどの3Dソフトウェアで使用できます。

---

## 🔧 技術スタック

### フレームワーク
- **モデル**: Apple SHARP
- **UI**: Gradio 6.2.0
- **3Dレンダリング**: Three.js + PLYLoader
- **GPU**: ZeroGPU (Spaces 0.44.0)
- **SDK**: Gradio SDK
- **言語**: Python 3.13.11

### 主要ライブラリ
```
gradio==6.2.0
spaces==0.44.0
torch (latest)
sharp @ git+https://github.com/apple/ml-sharp.git
```

---

## 📊 技術詳細

### 入力仕様
- **対応形式**: JPEG, PNG, TIFF, HEIC
- **解像度**: 任意（内部で1536×1536にリサイズ）
- **推奨**: 明瞭な被写体、適切な照明

### 出力仕様
- **形式**: PLY (Polygon File Format)
- **内容**: 3D Gaussian Splats
  - 位置 (x, y, z)
  - スケール (3軸)
  - 回転 (クォータニオン)
  - 不透明度
  - 球面調和係数 (色情報)

### パフォーマンス
- **推論時間**: 通常1秒以下
- **メモリ使用量**: ~4-8GB (GPU)
- **出力サイズ**: 数MB〜数十MB (画像により変動)

---

## 🌐 ローカル実行

### 前提条件
- Python 3.13+ (ml-sharpの要件)
- CUDA 12.4+ (GPU使用の場合)
- 8GB以上のVRAM推奨

### インストール
```bash
# リポジトリをクローン
git clone https://github.com/YUGOROU/ml-sharp_ZeroGPU.git
cd ml-sharp_ZeroGPU

# 仮想環境の作成 (推奨)
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 依存関係をインストール
pip install -r requirements.txt

# アプリケーションを起動
python app.py
```

### Dockerで実行 (オプション)
**注意**: Hugging Face SpacesではGradio SDKを使用するためDockerは不要ですが、ローカル開発ではDockerを使用できます。

```bash
# Dockerイメージをビルド
docker build -t sharp-app .

# コンテナを起動
docker run -p 7860:7860 --gpus all sharp-app
```

ブラウザで `http://localhost:7860` にアクセスします。

---

## 📚 リソース

### 公式リンク
- **GitHub**: [apple/ml-sharp](https://github.com/apple/ml-sharp)
- **公式サイト**: [apple.github.io/ml-sharp](https://apple.github.io/ml-sharp/)
- **論文**: [arXiv:2512.10685](https://arxiv.org/abs/2512.10685)
- **モデル**: [Hugging Face](https://huggingface.co/apple/Sharp)

### 関連プロジェクト
- [GaussianSplats3D](https://github.com/mkkellogg/GaussianSplats3D) - Three.js用3DGSレンダラー
- [gsplat.js](https://github.com/huggingface/gsplat.js) - Hugging Face公式ライブラリ
- [antimatter15/splat](https://antimatter15.com/splat/) - WebGL PLYビューア

---

## ⚠️ 制限事項

- **ZeroGPUタイムアウト**: 関数実行は最大60秒
- **同時処理**: 複数ユーザーが同時にアクセスすると待機時間が発生
- **メモリ制限**: 非常に大きな画像は処理できない場合があります
- **3D品質**: 単一画像からの推測のため、見えない部分の精度は限定的

---

## 📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

ただし、SHARPモデル自体はApple独自のライセンス（apple-amlr）に従います。詳細は[公式リポジトリ](https://github.com/apple/ml-sharp)を参照してください。

---

## 🙏 謝辞

- **Apple**: SHARPモデルの開発と公開
- **Hugging Face**: ZeroGPU Spacesの提供
- **Three.js Community**: 3Dレンダリングライブラリ

---

## 📧 お問い合わせ

質問や問題がある場合は、[GitHub Issues](https://github.com/YUGOROU/ml-sharp_ZeroGPU/issues)でお知らせください。

---

<div align="center">

**Made with ❤️ using Apple SHARP and Hugging Face Spaces**

</div>