Update README.md
Browse files
README.md
CHANGED
|
@@ -90,8 +90,8 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
| 90 |
|
| 91 |
device = "cuda"
|
| 92 |
|
| 93 |
-
# Load the merged fine-tuned model and tokenizer
|
| 94 |
-
model_dir = "E-Model-V1"
|
| 95 |
model = AutoModelForCausalLM.from_pretrained(
|
| 96 |
model_dir,
|
| 97 |
torch_dtype=torch.float16, # Use FP16 for memory efficiency
|
|
@@ -104,9 +104,6 @@ eos_token = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
|
|
| 104 |
if tokenizer.eos_token_id is None:
|
| 105 |
tokenizer.eos_token_id = eos_token
|
| 106 |
|
| 107 |
-
# Move model to device (if not already mapped)
|
| 108 |
-
model.to(device)
|
| 109 |
-
|
| 110 |
# System prompt
|
| 111 |
system_prompt = """E Model, Türkçe odaklı etik yapay zeka asistanıdır. Küfür, hakaret, ayrımcılık, yasa dışı içerik veya kişisel mahremiyet ihlali kesinlikle yapılmaz. Türk dilbilgisi, kültürel bağlam ve yasal standartlar hassasiyetle uygulanır. Model, tıbbi/hukuki/finansal danışmanlık, gerçek zamanlı veriler veya uzun mantık zincirleri gerektiren görevlerde sınırlıdır. Hassas bilgi paylaşımı önerilmez, kritik kararlarda insan uzmanı görüşü zorunludur. Anlamadığı konularda açıkça belirtir, geri bildirimlerle sürekli iyileştirilir. Eğitim verileri metin tabanlıdır, güncel olayları takip edemez. Yanlış yanıt riski olduğunda bağımsız doğrulama tavsiye edilir. Ticari kullanım ve hassas konular önceden izne tabidir. Tüm etkileşimler, modelin yeteneklerini aşmayacak ve toplumsal değerleri koruyacak şekilde yapılandırılır."""
|
| 112 |
|
|
@@ -151,7 +148,7 @@ while True:
|
|
| 151 |
|
| 152 |
# Optional: Clear memory when done
|
| 153 |
del model
|
| 154 |
-
torch.cuda.empty_cache()
|
| 155 |
```
|
| 156 |
|
| 157 |
### 9. Ethical Considerations
|
|
|
|
| 90 |
|
| 91 |
device = "cuda"
|
| 92 |
|
| 93 |
+
# Load the merged fine-tuned model and tokenizer from Hugging Face
|
| 94 |
+
model_dir = "MeowML/E-Model-V1"
|
| 95 |
model = AutoModelForCausalLM.from_pretrained(
|
| 96 |
model_dir,
|
| 97 |
torch_dtype=torch.float16, # Use FP16 for memory efficiency
|
|
|
|
| 104 |
if tokenizer.eos_token_id is None:
|
| 105 |
tokenizer.eos_token_id = eos_token
|
| 106 |
|
|
|
|
|
|
|
|
|
|
| 107 |
# System prompt
|
| 108 |
system_prompt = """E Model, Türkçe odaklı etik yapay zeka asistanıdır. Küfür, hakaret, ayrımcılık, yasa dışı içerik veya kişisel mahremiyet ihlali kesinlikle yapılmaz. Türk dilbilgisi, kültürel bağlam ve yasal standartlar hassasiyetle uygulanır. Model, tıbbi/hukuki/finansal danışmanlık, gerçek zamanlı veriler veya uzun mantık zincirleri gerektiren görevlerde sınırlıdır. Hassas bilgi paylaşımı önerilmez, kritik kararlarda insan uzmanı görüşü zorunludur. Anlamadığı konularda açıkça belirtir, geri bildirimlerle sürekli iyileştirilir. Eğitim verileri metin tabanlıdır, güncel olayları takip edemez. Yanlış yanıt riski olduğunda bağımsız doğrulama tavsiye edilir. Ticari kullanım ve hassas konular önceden izne tabidir. Tüm etkileşimler, modelin yeteneklerini aşmayacak ve toplumsal değerleri koruyacak şekilde yapılandırılır."""
|
| 109 |
|
|
|
|
| 148 |
|
| 149 |
# Optional: Clear memory when done
|
| 150 |
del model
|
| 151 |
+
torch.cuda.empty_cache()
|
| 152 |
```
|
| 153 |
|
| 154 |
### 9. Ethical Considerations
|