ilhami commited on
Commit
8d3e8d9
·
1 Parent(s): 2030988

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +37 -1
README.md CHANGED
@@ -10,4 +10,40 @@ datasets:
10
  metrics:
11
  - bleu
12
  - sacrebleu
13
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
10
  metrics:
11
  - bleu
12
  - sacrebleu
13
+ ---
14
+
15
+
16
+ ## Model Details
17
+
18
+ - **Developed by:** İlhami SEL
19
+ - **Model type:** Mbart Finetune Machine Translation
20
+ - **Language:** Turkish - English
21
+ - **Resources for more information:** Sel, İ. , Üzen, H. & Hanbay, D. (2021). Creating a Parallel Corpora for Turkish-English Academic Translations . Computer Science , 5th International Artificial Intelligence and Data Processing symposium , 335-340 . DOI: 10.53070/bbd.990959
22
+
23
+
24
+
25
+
26
+
27
+ ```python
28
+ checkpoint2 = "ilhami/Tr_En-MbartFinetune"
29
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
30
+ tokenizer = AutoTokenizer.from_pretrained(checkpoint)
31
+ model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint).to("cuda")
32
+ tr= ["Sohbet robotları son yıllarda yaygın bir şekilde kullanılmaya başlanmıştır. ",
33
+ "İnsanları taklit eden ve daha iyi müşteri memnuniyeti sağlayan sohbet robotları en gelişkin doğal dil işleme tekniklerine ihtiyaç duymaktadır. ",
34
+ "Bu çalışma sohbet robotu konuşmalarının niyet tahminini geliştirmeye odaklanmıştır." ,
35
+ "Kelime gösterimi için TF-IDF, Doc2vec ve BERT gibi geleneksel ve gelişmiş doğal dil işleme yöntemleri, çoklu sınıf ve çoklu etiket tahmini için ise lojistik regresyon, rastgele orman ve yapay sinir ağları kullanılmıştır." ,
36
+ "Sohbet robotu konuşma veri kümeleri, sinema bileti rezervasyonu, restoran rezervasyonu ve taksi çağırma olmak üzere üç farklı alandan alınmıştır. ",
37
+ "Bu çalışmanın sonunda, BERT ve BERT ile TF-IDF birleşimi modellerin diğer kombinasyonlardan daha iyi sonuç verdiği görülmüştür. ",
38
+ "BERT gibi ön eğitimli modellerden faydalanmanın daha iyi bağlamsal anlama sağladığı ortaya çıkmıştır. ",
39
+ "TF-IDF yerleştirmeleri, BERT gösterimi ile birleştirilerek niyet kategorisi tahmininin iyileştirilmesi amaçlanmıştır."]
40
+ encoded_text = tokenizer(tr, return_tensors="pt", padding = True).to("cuda")
41
+ generated_tokens = model.generate(**encoded_text)
42
+ en = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
43
+ ```
44
+
45
+
46
+
47
+
48
+
49
+