🧠 DogeAI-v2.0-4B-Reasoning

📌 Model Details

Model Description

DogeAI-v2.0-4B-Reasoning é um modelo de linguagem focado em raciocínio, pensamento estruturado e respostas analíticas, criado a partir do merge de uma LoRA de reasoning sobre o modelo base Qwen3-4B-Base.

O objetivo principal deste modelo é melhorar a coerência lógica, a capacidade de resolver problemas em múltiplos passos e a clareza explicativa, sem alterar drasticamente o comportamento geral do modelo base.

Este modelo representa a versão merged e final, podendo ser utilizado sem dependência de LoRA externa.

Developed by: AxionLab-Co

Funded by: Independent / Community-driven

Shared by: AxionLab-Co

Model type: Decoder-only Transformer (Causal Language Model)

Language(s) (NLP): Primarily English

License: Apache 2.0 (inherits from base model)

Finetuned from model: Qwen3-4B-Base

🔗 Model Sources

Repository: Hugging Face – AxionLab-Co/DogeAI-v2.0-4B-Reasoning

Base Model: Qwen/Qwen3-4B-Base

Training Platform: Kaggle

Frameworks: PyTorch, Transformers, PEFT

🎯 Uses

Direct Use

Este modelo pode ser utilizado diretamente para:

Raciocínio lógico e analítico

Resolução de problemas em múltiplos passos

Explicações detalhadas (“thinking-style responses”)

Pesquisa, experimentação e aprendizado em IA

Downstream Use

Conversational agents focados em reasoning

Fine-tuning adicional em domínios específicos

Conversão para GGUF e uso em engines como llama.cpp

Pesquisa acadêmica ou experimental

Out-of-Scope Use

Este modelo não é recomendado para:

Decisões médicas, legais ou financeiras

Aplicações críticas de segurança

Uso onde factualidade absoluta é obrigatória

⚠️ Bias, Risks, and Limitations

Pode gerar cadeias de raciocínio excessivas, mesmo quando não necessárias

Herdou possíveis vieses do modelo base e dos dados de treino

Não passou por fine-tuning específico de alinhamento ou safety

Raciocínios gerados não são garantidamente corretos

Recommendations

Usuários devem:

Avaliar criticamente as respostas

Utilizar camadas adicionais de segurança em produção

Evitar confiar cegamente em cadeias de raciocínio

🚀 How to Get Started with the Model

'' from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained( "AxionLab-Co/DogeAI-v2.0-4B-Reasoning", device_map="auto", torch_dtype="auto" )

tokenizer = AutoTokenizer.from_pretrained( "AxionLab-Co/DogeAI-v2.0-4B-Reasoning" )

inputs = tokenizer("Solve this step by step:", return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=256)

print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ''

🏋️ Training Details

Training Data

O modelo foi ajustado utilizando datasets focados em reasoning e chain-of-thought, contendo:

Resolução passo a passo de problemas

Respostas explicativas estruturadas

Prompts analíticos sintéticos e curados

Os dados foram pré-processados manualmente para melhorar qualidade e consistência.

Training Procedure Preprocessing

Tokenização com tokenizer original do Qwen

Filtragem de exemplos inconsistentes ou de baixa qualidade

Training Hyperparameters

Training regime: fp16 mixed precision

Fine-tuning method: LoRA (PEFT)

Optimizer: AdamW

Framework: Transformers + PEFT

Speeds, Sizes, Times

Treinamento realizado em GPU do Kaggle

LoRA mantida propositalmente leve

Merge final realizado via PEFT (merge_and_unload)

📊 Evaluation

Testing Data, Factors & Metrics Testing Data

Prompts manuais de reasoning

Comparação direta com o modelo base

Factors

Clareza do raciocínio

Coerência lógica

Tendência a alucinação

Metrics

Avaliação qualitativa humana

Comparação subjetiva de respostas

Results

O modelo demonstra melhor organização lógica e explicações mais consistentes em comparação direta com o Qwen3-4B-Base.

Summary

DogeAI-v2.0-4B-Reasoning prioriza qualidade de pensamento, não apenas fluência textual.

🌱 Environmental Impact

Hardware Type: NVIDIA GPU (Kaggle)

Hours used: Few hours (single-session fine-tuning + merge)

Cloud Provider: Kaggle

Compute Region: Unknown

Carbon Emitted: Not measured

⚙️ Technical Specifications

Model Architecture and Objective

Decoder-only Transformer

Objetivo: melhorar raciocínio via fine-tuning eficiente

Compute Infrastructure Hardware

NVIDIA GPU (Kaggle environment)

Software

PyTorch

Transformers

PEFT 0.18.1

📚 Citation

Se você utilizar este modelo em pesquisas ou projetos derivados, cite o modelo base e este repositório.

👥 Model Card Authors

AxionLab-Co

📬 Model Card Contact

Para dúvidas, feedback ou colaboração: AxionLab-Co – Hugging Face