README.md

---

title: "Muse:Eye — On-device Multimodal XR Docent"
emoji: 🎨
colorFrom: blue
colorTo: purple
sdk: other
pipeline_tag: other
tags:
  - multimodal
  - XR
  - on-device
  - tflite
  - mobileclip
  - android
  - unity
  - RAG
  - museum-tech
---


# Muse:Eye  
**On-device Multimodal AI + XR Museum Docent for Android**

Muse:Eye는 **카메라 기반 작품 인식(MobileCLIP)**,  
**온디바이스 LLM(Gemma-3N)**,  
**XR 인터랙션(Unity MR)**  
을 결합한 하이브리드 AI 도슨트 시스템입니다.

오프라인 환경에서도 빠른 이미지 검색,  
메타데이터 기반 RAG,  
성인/어린이/전문가 모드 설명 제공이 가능합니다.

---

# ✨ Features

### 1) ⚡ On-device AI (No Internet Required)
- MobileCLIP (TFLite) 이미지 임베딩  
- 작품 유사도 검색 (FAISS → custom `.bin` index)  
- Gemma-3N 온디바이스 LLM  

### 2) 🖼 Artwork Recognition
- 카메라 인식 → 즉시 embedding 추출  
- RAG 기반 작품·작가 설명 생성  

### 3) 👶🧑‍🦳 Three Docent Modes
- 어린이 모드  
- 성인 모드  
- 전문가 모드  

### 4) 🥽 XR Integrated
- Unity + Android Studio 통합  
- MR 모드에서 3D UI 및 음성 안내 제공  

---
# 🏗 System Architecture

Muse:Eye는 두 가지 실행 모드를 지원합니다:

- **Mobile Mode (On-device AI)** — 완전 오프라인  
- **XR/MR Mode (Cloud Multimodal AI)** — Unity 기반 MR + Cloud API  

---

## 📱 A. Mobile Mode (On-device AI)

```plaintext

Mobile App (Android)

│

├── Camera Input

│

├── MobileCLIP (TFLite)

│     └─ on-device embedding (512-d)

│

├── Embedding Index (.bin)

│     └─ cosine similarity search (offline)

│

├── Local Metadata RAG

│     └─ artwork metadata lookup

│

├── Gemma-3N On-device LLM

│     └─ adult / child / expert explanation

│

└── Android TTS

```

---

## 🥽 B. XR/MR Mode (Cloud Multimodal AI)

```plaintext

Unity XR App (MR View)

│

├── MR Camera (RenderTexture)

│

├── JNI Bridge → Android

│     └─ frame bytes 전달

│

├── Cloud Multimodal API (Gemini)

│     ├─ artwork analysis

│     ├─ style / meaning extraction

│     └─ multimodal reasoning

│

├── Cloud PromptManager

│     ├─ 어린이 모드

│     ├─ 성인 모드

│     └─ 전문가 모드

│

└── Unity 3D UI + Android TTS

      ├─ floating info panel

      ├── 3D guide elements

      └── audio output

```