thiagonishimura commited on
Commit
bbae018
·
verified ·
1 Parent(s): 6878185

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +45 -0
README.md CHANGED
@@ -1,3 +1,48 @@
1
  ---
 
 
 
2
  license: apache-2.0
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+ language:
3
+ - pt
4
+ - en
5
  license: apache-2.0
6
+ tags:
7
+ - gguf
8
+ - qwen2.5-coder
9
+ - nl2sql
10
+ - text-to-sql
11
+ - postgis
12
+ - geospatial
13
+ - cpu-inference
14
+ base_model:
15
+ - Qwen/Qwen2.5-Coder-7B
16
+ - Qwen/Qwen2.5-Coder-3B
17
  ---
18
+
19
+ # TerraModel: SLMs Quantizados para Tradução NL2SQL Geoespacial
20
+
21
+ ## 📌 Visão Geral do Modelo
22
+ O **TerraModel** é uma família de *Small Language Models* (SLMs) especializados na tradução de linguagem natural para consultas em bancos de dados relacionais espaciais (PostgreSQL/PostGIS). Este modelo foi otimizado para o domínio de monitoramento ambiental do bioma Amazônia, focado em superar o gargalo de largura de banda de memória (*Memory Bandwidth Wall*) em infraestruturas baseadas exclusivamente em processadores centrais (*CPU-only*).
23
+
24
+ Este repositório contém as versões quantizadas em formato **GGUF (4-bit e 8-bit)** dos modelos de 3B e 7B de parâmetros, permitindo inferência local de alta eficiência, com baixo consumo de RAM e garantia de privacidade na manipulação de dados governamentais sensíveis.
25
+
26
+ ## 🛠️ Detalhes Técnicos
27
+ - **Modelo Base:** Qwen2.5-Coder (3B e 7B)
28
+ - **Técnica de Fine-Tuning:** QLoRA (Parameter-Efficient Fine-Tuning)
29
+ - **Formato de Inferência:** GGUF (via `llama.cpp`)
30
+ - **Quantizações Disponíveis:** Q4_K_M (4-bit) e Q8_0 (8-bit)
31
+ - **Domínio:** Geoespacial, PostGIS, Monitoramento Ambiental (Amazônia)
32
+ - **Idioma Principal:** Português (PT-BR) / SQL
33
+
34
+ ## 📂 Arquivos do Repositório
35
+ Recomendamos o download da versão **Q4** para ambientes com restrição severa de memória (aprox. 4.5 GB de RAM necessários para o 7B) ou a versão **Q8** para um *trade-off* superior entre acurácia de execução e latência.
36
+
37
+ * `terramodel-7b-q8_0.gguf`
38
+ * `terramodel-7b-q4_k_m.gguf`
39
+ * `terramodel-3b-q8_0.gguf`
40
+ * `terramodel-3b-q4_k_m.gguf`
41
+
42
+ ## 💻 Como Utilizar (Inferencia Local em Python)
43
+
44
+ Para rodar o modelo localmente utilizando apenas CPU, recomendamos a biblioteca `llama-cpp-python`.
45
+
46
+ ### Instalação
47
+ ```bash
48
+ pip install llama-cpp-python