---
title: ui-agent
app_file: main.py
sdk: gradio
sdk_version: 4.19.2
---
# Mac Vision Control Agent

基于本地视觉大模型的 MacOS 自动化控制代理，支持自然语言控制和界面操作。

## 功能特性

- 基于 LLaVA 的本地视觉理解
- 实时屏幕截图和界面分析
- 自然语言指令解析
- 自动化鼠标键盘控制
- 界面元素精确定位
- 支持常见 Mac 应用操作

## 系统要求

- MacBook Pro with Apple Silicon (M 系列芯片)
- MacOS Sonoma 或更高版本
- Python 3.9+
- 48GB+ RAM

## 安装步骤

1. 安装 Ollama
```bash
curl -fsSL https://ollama.com/install.sh | sh
```

2. 下载 LLaVA 模型
```bash
ollama pull llava
```

3. 安装 Python 依赖
```bash
pip install -r requirements.txt
```

4. 运行应用
```bash
python main.py
```

## 使用方法

1. 启动应用后，会打开 Gradio Web 界面
2. 在输入框中输入自然语言指令，如"打开 Safari 浏览器并导航到 Google"
3. 系统会自动分析当前屏幕，识别相关界面元素并执行操作

## 注意事项

- 首次运行时需要授予屏幕录制和辅助功能权限
- 建议在稳定的系统环境下运行
- 确保足够的系统内存用于模型运行