README.md

---
title: OpenHallu
emoji: 📊
colorFrom: blue
colorTo: indigo
sdk: static
pinned: false
license: mit
tags:
  - leaderboard
  - mllm
  - hallucination
  - evaluation
---

# OpenHallu

多模态大模型（MLLM）幻觉评测排行榜。仅评估商业/API 可访问的模型，通过 [ohmygpt](https://www.ohmygpt.com) 统一调用。

## 项目结构

```
OpenHallu/
├── frontend/        # React + Vite + TS + Ant Design 5（仿司南视觉）
├── backend/         # FastAPI，提供 /api/* JSON 接口
├── Dockerfile       # HF Docker Space：build 前端 → FastAPI 同进程托管静态资源
└── docker-compose.yml   # 本地前后端热重载
```

## 本地开发

```bash
# 1. 安装依赖
cd frontend && npm install && cd ..
cd backend && pip install -r requirements.txt && cd ..

# 2. 复制环境变量
cp .env.example .env

# 3. 同时起前后端（热重载）
docker compose up

# 或者分开起：
cd backend && uvicorn main:app --reload --port 8000
cd frontend && npm run dev   # → http://localhost:5173
```

## 部署到 HuggingFace Space

Space URL：`https://huggingface.co/spaces/MM-Hallu/OpenHallu`

```bash
# 配置 HF CLI 后
huggingface-cli login
git remote add space https://huggingface.co/spaces/MM-Hallu/OpenHallu
git push space main
```

Space 会自动用根目录 `Dockerfile` 构建，监听 7860 端口。

## 评测范围（首期）

- **模型**：GPT-4o / Claude Sonnet 4.6 / Claude Haiku 4.5 / Gemini 2.5 Pro / Gemini 2.5 Flash / GLM-4.6V / Doubao Seed 1.6 Vision / Grok 4.5 / Kimi K2.5 等
- **Benchmark**：POPE / HallusionBench / MMHal-Bench / AMBER / MME-hallucination

## License

MIT