ricardosantoss/CodexAI-Llama-3-8B-CID10

-# CodexAI-Llama-3-8B-CID10

📝 Descrição do Modelo

O CodexAI é um modelo de linguagem de grande escala (LLM) baseado na arquitetura Llama-3-8B, especializado na extração e classificação automatizada de códigos CID-10 (Classificação Internacional de Doenças) a partir de laudos médicos em português (PT-BR).

Este modelo foi desenvolvido como parte de uma pesquisa de doutorado na UNICAMP, visando otimizar o faturamento hospitalar e a precisão epidemiológica no sistema de saúde brasileiro.

🚀 Metodologia

• Base: unsloth/llama-3-8b-instruct-bnb-4bit
• Técnica: Fine-Tuning Supervisionado (SFT) utilizando LoRA (Low-Rank Adaptation) via biblioteca Unsloth.
• Otimização: Rank ($r = 32$) e Alpha ($32$) para captura de nuances terminológicas médicas.
• Dataset: Laudos hospitalares reais anonimizados, focados em obstetrícia e patologia.

📊 Performance Comparativa (Benchmarking Oficial)

O CodexAI-Llama-3-8B foi validado em comparação com os principais modelos proprietários e de fronteira (SOTA), utilizando as métricas extraídas do estudo de caso em laudos obstétricos (Santos et al., 2025).

Os dados abaixo comparam o desempenho do CodexAI (Fine-Tuned) contra os benchmarks oficiais do artigo para o conjunto de testes em Português (Micro-Averaged).

1. Nível: Categoria (3 Caracteres)

Modelo	Micro-Precisão	Micro-Recall	Micro-F1-Score
CodexAI (Llama-3-8B)	0.5911	0.4539	0.5135
GPT-4o	0.2933	0.4918	0.3675
GPT-4o-mini	0.2585	0.5199	0.3453
DeepSeek-V3	0.2514	0.5330	0.3417
Sabiá-3.1	0.2255	0.5192	0.3145
Gemini-1.5 Flash	0.1799	0.3349	0.2341

2. Nível: Código Completo (Leaf Level)

Modelo	Micro-Precisão	Micro-Recall	Micro-F1-Score
CodexAI (Llama-3-8B)	0.3326	0.2547	0.2885
DeepSeek-V3	0.1193	0.2543	0.1624
GPT-4o	0.1169	0.1992	0.1474
GPT-4o-mini	0.1043	0.2116	0.1398
Sabiá-3.1	0.0798	0.1916	0.1126
Gemini-1.5 Flash	0.0653	0.1241	0.0855

🔬 Análise dos Resultados

Com base nos dados reais do benchmarking, o CodexAI apresenta vantagens competitivas fundamentais para aplicação clínica:

1. Superioridade em Precisão: No nível de categoria, o CodexAI atinge 0.5911 de precisão, sendo significativamente mais assertivo que o GPT-4o (0.2933). Isso é crucial para evitar erros de faturamento hospitalar.
2. Ganho de F1-Score: O CodexAI supera o melhor modelo proprietário (GPT-4o) em +39.7% no nível de categoria e em +95.7% no nível detalhado (F1-Score).
3. Assertividade vs Abrangência: Enquanto modelos generalistas apresentam Recall ligeiramente maior (tendem a "chutar" mais códigos), o CodexAI é muito mais seletivo e preciso, o que reduz drasticamente o ruído na codificação médica.

💡 Destaques Científicos

• Eficiência e Soberania: O CodexAI, supera modelos proprietários massivamente maiores em.
• Custo-Benefício: Demonstra a viabilidade de utilizar modelos open-source especializados para tarefas médicas críticas em solo brasileiro, garantindo privacidade de dados e menor custo computacional.

Principais Insights:

1. Salto de Qualidade: No nível de categoria (3 caracteres), o CodexAI superou o F1-Score das abordagens tradicionais.
2. Precisão Cirúrgica: A Micro-Precisão de 0.5911 indica uma redução drástica em falsos positivos comparado aos métodos de consenso (que ficaram na casa de 0.33).

💻 Como utilizar

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "ricardosantoss/CodexAI-Llama-3-8B-CID10",
    max_seq_length = 4096,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)