README.md

---
license: other
language:
- zh
- en
pipeline_tag: text-generation
tags:
- fortune-telling
- qwen
- qwen2.5
- qwen3
- gguf
- ollama
---

<div align="center">

# FortuneQwen3_4b

[**中文**](./README.md) | [**English**](./README_EN.md)

</div>

这是一个基于 Qwen3 架构微调的 4B 参数模型，专门用于算命/占卜（Fortune Telling）任务。本仓库同时提供了合并后的 Safetensors 权重、GGUF 量化文件以及 Ollama 使用的 Modelfile。

## 关于本仓库 (About This Repository)

本仓库包含以下三种格式的模型文件，您可以根据需要选择使用：

1.  **GGUF 量化模型 (Recommended)**:
    *   文件名: `FortuneQwen3_4b_q8_0.gguf` (或其他量化版本)
    *   说明: 已经预先转换好的 GGUF 格式 (Int8 量化)，可直接用于 `llama.cpp` 或 `Ollama`。
2.  **Modelfile**:
    *   文件名: `Modelfile`
    *   说明: 用于导入 Ollama 的配置文件，定义了系统提示词和参数。
3.  **Hugging Face Safetensors**:
    *   文件名: `model.safetensors` 等
    *   说明: 已经合并了 LoRA 权重的完整模型参数，适用于基于 Transformers 的推理或进一步微调，也可以用于导出自定义的 GGUF。

## 快速使用 (Quick Start)

### 选项 1: 使用 Ollama (推荐)

您可以使用本仓库中已经转换好的 GGUF 文件快速创建 Ollama 模型。

1.  **克隆本仓库**:
    ```bash
    git clone https://huggingface.co/Tbata7/FortuneQwen3_4b
    cd FortuneQwen3_4b
    ```

2.  **创建模型**:
    ```bash
    # 这一步会使用目录下的 Modelfile 和 GGUF 文件
    ollama create FortuneQwen3_q8:4b -f Modelfile
    ```

3.  **运行模型**:
    ```bash
    ollama run FortuneQwen3_q8:4b
    ```

### 选项 2: 使用 llama.cpp

如果您想直接使用 GGUF 文件：

```bash
./llama-cli -m FortuneQwen3_4b_q8_0.gguf -p "你的占卜问题..." -n 512
```

## 高级用法：导出自定义 GGUF (Advanced Usage)

如果您希望使用不同的量化精度（如 q4_k, q6_k, fp16 等），可以使用 `llama.cpp` 自行从 Safetensors 权重导出。

1.  **准备环境**:
    确保您已经安装了 `llama.cpp` 的 python 依赖。

2.  **转换模型**:
    使用 `convert_hf_to_gguf.py` 脚本进行转换。您需要指定 `--outtype` 参数来控制输出类型。

    *   **导出为 FP16 (不量化)**:
        ```bash
        python llama.cpp/convert_hf_to_gguf.py ./FortuneQwen3_4b --outfile FortuneQwen3_4b_fp16.gguf --outtype f16
        ```

    *   **导出为 Int8 (q8_0)**:
        ```bash
        python llama.cpp/convert_hf_to_gguf.py ./FortuneQwen3_4b --outfile FortuneQwen3_4b_q8_0.gguf --outtype q8_0
        ```

    *   **其他量化**:
        您可以先导出为 f16，然后使用 `llama-quantize` 工具进一步量化：
        ```bash
        ./llama-quantize FortuneQwen3_4b_fp16.gguf FortuneQwen3_4b_q4_k_m.gguf q4_k_m
        ```

## 模型信息 (Model Information)

- **基础架构 (Base Architecture)**: Qwen3:4B
- **任务 (Task)**: 算命 / 占卜 / 易经解读
- **上下文长度 (Context Window)**: 32768
- **微调框架**: LLaMA-Factory

## 声明

本模型仅供娱乐和研究使用，算命结果仅供参考，请相信科学。