---
title: "Muse:Eye — On-device Multimodal XR Docent"
emoji: 🎨
colorFrom: blue
colorTo: purple
sdk: other
pipeline_tag: other
tags:
  - multimodal
  - XR
  - on-device
  - tflite
  - mobileclip
  - android
  - unity
  - RAG
  - museum-tech
---

# Muse:Eye  
**On-device Multimodal AI + XR Museum Docent for Android**

Muse:Eye는 **카메라 기반 작품 인식(MobileCLIP)**,  
**온디바이스 LLM(Gemma-3N)**,  
**XR 인터랙션(Unity MR)**  
을 결합한 하이브리드 AI 도슨트 시스템입니다.

오프라인 환경에서도 빠른 이미지 검색,  
메타데이터 기반 RAG,  
성인/어린이/전문가 모드 설명 제공이 가능합니다.

---

# ✨ Features

### 1) ⚡ On-device AI (No Internet Required)
- MobileCLIP (TFLite) 이미지 임베딩  
- 작품 유사도 검색 (FAISS → custom `.bin` index)  
- Gemma-3N 온디바이스 LLM  

### 2) 🖼 Artwork Recognition
- 카메라 인식 → 즉시 embedding 추출  
- RAG 기반 작품·작가 설명 생성  

### 3) 👶🧑‍🦳 Three Docent Modes
- 어린이 모드  
- 성인 모드  
- 전문가 모드  

### 4) 🥽 XR Integrated
- Unity + Android Studio 통합  
- MR 모드에서 3D UI 및 음성 안내 제공  

---
# 🏗 System Architecture

Muse:Eye는 두 가지 실행 모드를 지원합니다:

- **Mobile Mode (On-device AI)** — 완전 오프라인  
- **XR/MR Mode (Cloud Multimodal AI)** — Unity 기반 MR + Cloud API  

---

## 📱 A. Mobile Mode (On-device AI)

```plaintext
Mobile App (Android)
│
├── Camera Input
│
├── MobileCLIP (TFLite)
│     └─ on-device embedding (512-d)
│
├── Embedding Index (.bin)
│     └─ cosine similarity search (offline)
│
├── Local Metadata RAG
│     └─ artwork metadata lookup
│
├── Gemma-3N On-device LLM
│     └─ adult / child / expert explanation
│
└── Android TTS
```

---

## 🥽 B. XR/MR Mode (Cloud Multimodal AI)

```plaintext
Unity XR App (MR View)
│
├── MR Camera (RenderTexture)
│
├── JNI Bridge → Android
│     └─ frame bytes 전달
│
├── Cloud Multimodal API (Gemini)
│     ├─ artwork analysis
│     ├─ style / meaning extraction
│     └─ multimodal reasoning
│
├── Cloud PromptManager
│     ├─ 어린이 모드
│     ├─ 성인 모드
│     └─ 전문가 모드
│
└── Unity 3D UI + Android TTS
      ├─ floating info panel
      ├── 3D guide elements
      └── audio output
```