SpaceGhost commited on
Commit
a2902ca
·
verified ·
1 Parent(s): f141722

docs: update README with multimodal mmproj and vision execution instructions

Browse files
Files changed (1) hide show
  1. README.md +46 -13
README.md CHANGED
@@ -51,8 +51,9 @@ Avaliação controlada sobre o currículo oficial de Desenvolvimento Mobile Andr
51
 
52
  | Caminho no Repositório | Formato | Status | Descrição |
53
  | :--- | :--- | :---: | :--- |
54
- | `model.safetensors` (raiz) | **Safetensors (16-bit Merged)** | **Produção Oficial** | Modelo completo fundido (`v2 Merged`) para `transformers`, `vLLM` ou TGI |
55
- | `Q4_K_M.gguf` (raiz) | **GGUF (`Q4_K_M`)** | **Produção Oficial** | Inferência rápida local com quantização de 4 bits para **Ollama** e **`llama.cpp`** |
 
56
  | `lora/` | **QLoRA Adapter v2** | **Produção Oficial** | Pesos do adaptador validado com ~180 passos (`SpaceGhost/SpaceCode-E2B/lora`) |
57
  | `lora_v4/` | **Micro-LoRA Corretivo** | **Ativo Experimental** | Adaptador corretivo com 82.0% de acurácia global e correção do Caso 3 (`styled-components`) |
58
  | `lora_v3/` | **LoRA Pedagógico** | **Linha de Pesquisa** | Adaptador com estrutura explicativa detalhada de distratores de prova |
@@ -62,26 +63,58 @@ Avaliação controlada sobre o currículo oficial de Desenvolvimento Mobile Andr
62
 
63
  ## 🚀 Como Executar
64
 
65
- ### 1. Via Ollama (GGUF `Q4_K_M`)
 
66
  ```bash
67
- ollama run hf.co/SpaceGhost/SpaceCode-E2B:Q4_K_M
 
 
 
 
68
  ```
69
 
70
- ### 2. Via `llama.cpp`
71
  ```bash
72
- llama-cli -hf SpaceGhost/SpaceCode-E2B:Q4_K_M --jinja
 
73
  ```
74
 
75
- ### 3. Via Unsloth / Transformers (Python)
76
  ```python
77
- from unsloth import FastVisionModel
 
 
78
 
79
- # Carregar versão de produção 16-bit da raiz:
80
- model, processor = FastVisionModel.from_pretrained(
81
- "SpaceGhost/SpaceCode-E2B",
82
- load_in_4bit=True,
83
- max_seq_length=2048,
 
84
  )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
85
  ```
86
 
87
  ---
 
51
 
52
  | Caminho no Repositório | Formato | Status | Descrição |
53
  | :--- | :--- | :---: | :--- |
54
+ | `model.safetensors` (raiz) | **Safetensors (16-bit Merged)** | **Produção Oficial** | Modelo completo fundido (`v2 Merged`) para `transformers`, `vLLM` ou TGI (Texto + Visão + Áudio) |
55
+ | `Q4_K_M.gguf` (raiz) | **GGUF (`Q4_K_M`)** | **Produção Oficial** | Pesos de linguagem quantizados em 4-bit para **Ollama** e **`llama.cpp`** |
56
+ | `mmproj-F16.gguf` (raiz) | **GGUF Vision Projector (F16)** | **Produção Oficial** | Projetor multimodal (SigLIP/ViT) para leitura de imagens no **Ollama** e **`llama.cpp`** |
57
  | `lora/` | **QLoRA Adapter v2** | **Produção Oficial** | Pesos do adaptador validado com ~180 passos (`SpaceGhost/SpaceCode-E2B/lora`) |
58
  | `lora_v4/` | **Micro-LoRA Corretivo** | **Ativo Experimental** | Adaptador corretivo com 82.0% de acurácia global e correção do Caso 3 (`styled-components`) |
59
  | `lora_v3/` | **LoRA Pedagógico** | **Linha de Pesquisa** | Adaptador com estrutura explicativa detalhada de distratores de prova |
 
63
 
64
  ## 🚀 Como Executar
65
 
66
+ ### 1. Via Ollama (Multimodal com Imagens + Texto)
67
+ O repositório já inclui o `Modelfile` pré-configurado com ligação nativa ao `mmproj-F16.gguf`:
68
  ```bash
69
+ # Baixar arquivos e registrar o modelo no Ollama:
70
+ ollama create spacecode -f Modelfile
71
+
72
+ # Executar com prompt de texto ou análise de imagem:
73
+ ollama run spacecode "Analise esta tela de UI: /caminho/para/imagem.png"
74
  ```
75
 
76
+ ### 2. Via `llama.cpp` (Texto + Visão)
77
  ```bash
78
+ # Inferência multimodal com suporte a imagem:
79
+ llama-cli -m Q4_K_M.gguf --mmproj mmproj-F16.gguf --image /caminho/para/imagem.png -p "<|turn>user\nExplique o problema nesta UI e mostre o código React Native correto.<turn|>\n<|turn>model\n"
80
  ```
81
 
82
+ ### 3. Via Transformers (Multimodal Python Oficial)
83
  ```python
84
+ from transformers import AutoProcessor, AutoModelForMultimodalLM
85
+
86
+ MODEL_ID = "SpaceGhost/SpaceCode-E2B"
87
 
88
+ # Carregar processador e modelo multimodal completo
89
+ processor = AutoProcessor.from_pretrained(MODEL_ID)
90
+ model = AutoModelForMultimodalLM.from_pretrained(
91
+ MODEL_ID,
92
+ torch_dtype="auto",
93
+ device_map="auto"
94
  )
95
+
96
+ # Processar texto e imagem:
97
+ messages = [
98
+ {
99
+ "role": "user",
100
+ "content": [
101
+ {"type": "image", "url": "https://example.com/screenshot.png"},
102
+ {"type": "text", "text": "Analise a tela e crie o componente React Native correspondente."}
103
+ ]
104
+ }
105
+ ]
106
+
107
+ inputs = processor.apply_chat_template(
108
+ messages,
109
+ tokenize=True,
110
+ return_dict=True,
111
+ return_tensors="pt",
112
+ add_generation_prompt=True,
113
+ ).to(model.device)
114
+
115
+ outputs = model.generate(**inputs, max_new_tokens=512)
116
+ response = processor.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
117
+ print(response)
118
  ```
119
 
120
  ---