Upload README.md with huggingface_hub

README.md

@@ -1,141 +1,103 @@
----
-license: mit
-library_name: pytorch
-tags:
-- chinese
-- qa
-- gpt
-- transformer
-- conversational-ai
-- question-answering
-- pytorch
-pipeline_tag: text-generation
+# BaiHu-v2
+
+BaiHu-v2 是一款基于 **Google Gemma 4** 架构的多模态大语言模型，支持文本、图像、音频与视频输入，适用于中文场景下的多模态理解与生成任务。
+
 ---
 
-# NovaAI-0.1
+## 模型简介
 
-# Chinese QA GPT Model
+- **模型名称**: BaiHu-v2
+- **基座模型**: `unsloth/gemma-4-E2B-it`
+- **架构**: `Gemma4ForConditionalGeneration`
+- **上下文长度**: 131,072 tokens
+- **词表大小**: 262,144
+- **数据类型**: float16
+- **支持模态**: 文本 / 图像 / 音频 / 视频
 
-## Model Description
+BaiHu-v2 在 Gemma 4 的多模态能力基础上进行了继续训练/微调，保留了原生 Gemma 4 对图像、音频、视频的理解能力，同时针对中文任务进行了优化。
 
-This is a Chinese language GPT-like transformer model trained on question-answering pairs. The model is designed to generate helpful, conversational responses to user questions in Chinese. It uses a decoder-only architecture similar to GPT with causal self-attention and is optimized for Chinese language understanding and generation.
+---
 
-## Model Details
+## 仓库文件说明
 
-- **Architecture**: Decoder-only Transformer (GPT-like)
-- **Parameters**: ~124M parameters (configurable)
-- **Vocabulary Size**: 32,000 (SentencePiece BPE)
-- **Context Length**: 1,024 tokens
-- **Language**: Chinese (Simplified)
-- **Task**: Question Answering / Conversational AI
+| 文件 | 说明 |
+|------|------|
+| `BaiHu-v2.Q4_K_M.gguf` | 主模型 GGUF 量化版本（Q4_K_M），适合本地 CPU/GPU 推理 |
+| `BaiHu-v2.F16-mmproj.gguf` | 多模态投影层（mmproj）FP16 版本，配合主模型用于图像/音频/视频理解 |
+| `Modelfile` | llama.cpp / Ollama 的模型配置文件示例 |
 
-## Model Architecture
+> 推荐搭配使用：`BaiHu-v2.Q4_K_M.gguf` + `BaiHu-v2.F16-mmproj.gguf`
 
-The model consists of:
-- **12 Transformer layers** with causal self-attention
-- **12 attention heads** per layer
-- **768-dimensional embeddings**
-- **SentencePiece tokenizer** with BPE encoding for Chinese text
-- **GELU activation functions**
-- **Layer normalization** and residual connections
+---
 
-## Training Data
+## 模型能力
 
-The model was trained on a diverse dataset of Chinese question-answering pairs covering various topics including:
-- Gaming and entertainment
-- Technology and gadgets
-- Health and lifestyle
-- Travel and local recommendations
-- Relationships and social advice
-- General knowledge questions
+- 中文多轮对话
+- 图像描述与视觉问答
+- 音频内容理解
+- 视频内容理解
+- 工具调用（遵循 Gemma 4 原生工具调用格式）
 
-## Training Configuration
+---
 
-- **Training Method**: Causal Language Modeling (next token prediction)
-- **Batch Size**: 4
-- **Learning Rate**: 3e-4 (AdamW optimizer)
-- **Epochs**: 3
-- **Dropout**: 0.1
-- **Gradient Clipping**: 1.0
+## 使用方法
 
-## Usage
+### 使用 llama.cpp / Ollama 推理
 
-### Installation
-```bash
-pip install torch sentencepiece tqdm
-```
+参考仓库中的 `Modelfile` 创建 Ollama 模型：
 
-### Training
 ```bash
-python train.py --data_path all.jsonl --spm_model spm.model
+ollama create BaiHu-v2 -f Modelfile
+ollama run BaiHu-v2
 ```
 
-### Inference
+### 使用 llama.cpp 命令行
+
 ```bash
-python infer.py --checkpoint checkpoints/checkpoint_epoch3.pt --spm_model spm.model --prompt "你的问题"
+./llama-cli \
+  -m BaiHu-v2.Q4_K_M.gguf \
+  --mmproj BaiHu-v2.F16-mmproj.gguf \
+  --image example.jpg \
+  -p "请描述这张图片："
 ```
 
-### Python API
-```python
-import torch
-import sentencepiece as spm
-from train import GPT, GPTConfig
-
-# Load model
-sp = spm.SentencePieceProcessor()
-sp.Load('spm.model')
-
-checkpoint = torch.load('checkpoints/checkpoint_epoch3.pt')
-config = GPTConfig(
-    vocab_size=32000,
-    n_layer=12,
-    n_head=12,
-    n_embd=768,
-    block_size=1024
-)
-model = GPT(config)
-model.load_state_dict(checkpoint['model_state'])
-
-# Generate response
-prompt = "你好，请介绍一下你自己"
-ids = sp.EncodeAsIds('<s>' + prompt + '<sep>')
-# ... generation logic
-```
+### 使用 transformers（完整模型）
 
-## Model Performance
+完整 PyTorch/Safetensors 版本请参考配套仓库。本仓库仅提供 GGUF 量化版本。
 
-The model demonstrates strong performance on:
-- Chinese language understanding
-- Contextual question answering
-- Conversational response generation
-- Maintaining coherence over multi-turn conversations
+---
 
-## Limitations
+## 模型配置
 
-- **Language**: Only supports Chinese (Simplified)
-- **Context Window**: Limited to 1,024 tokens
-- **Knowledge Cutoff**: Based on training data timeframe
-- **Factual Accuracy**: May occasionally produce inaccurate information
-- **Bias**: May reflect biases present in training data
+- **文本模型**: Gemma 4 Text，35 层，隐藏维度 1536，8 头注意力
+- **视觉编码器**: Gemma 4 Vision，16 层，隐藏维度 768，图像 token 数 280
+- **音频编码器**: Gemma 4 Audio，12 层，隐藏维度 1024
+- **视频**: 支持 32 帧采样，每帧最大 70 个 soft token
 
-## Ethical Considerations
+---
 
-This model is designed for educational and research purposes. Users should be aware that:
-- The model may generate responses that seem authoritative but could be factually incorrect
-- The model's training data may contain biases
-- Generated content should be fact-checked before use in critical applications
+## 训练信息
 
-## Technical Requirements
+- **训练框架**: Unsloth
+- **Unsloth 版本**: 2026.6.8
+- **优化目标**: 在保持多模态能力的同时，提升中文指令跟随与对话质量
 
-- **Python**: 3.6+
-- **PyTorch**: Latest stable version
-- **CUDA**: Optional, for GPU acceleration
-- **Memory**: ~2GB GPU memory for inference
+---
 
-## License
+## 免责声明
 
-This model is released under the MIT License.
+本模型基于 Gemma 4 进行微调，生成的内容可能受训练数据影响。请勿将模型输出作为专业建议（医疗、法律、金融等）使用。模型可能存在幻觉、偏见或不准确信息，请谨慎使用并自行验证。
 
 ---
-license: mit
+
+## 授权协议
+
+本模型基于 Google Gemma 4 构建，遵循 Gemma 模型的相关许可协议。请在使用前仔细阅读并遵守相关条款。
+
 ---
+
+## 致谢
+
+- [Google Gemma](https://ai.google.dev/gemma)
+- [Unsloth](https://unsloth.ai/)
+- [llama.cpp](https://github.com/ggerganov/llama.cpp)