Upload 6 files

README.md

@@ -0,0 +1,32 @@
+## Model description
+This model is a sequence-to-sequence question generator that takes an answer and context as an input and generates a question as an output. It is based on a pre-trained mt5-base by [Google](https://github.com/google-research/multilingual-t5) model.
+
+## Training data
+The model was fine-tuned on [XQuAD](https://github.com/deepmind/xquad)
+
+## Example usage
+```python
+from transformers import MT5ForConditionalGeneration, AutoTokenizer
+import torch
+
+model = MT5ForConditionalGeneration.from_pretrained("nluai/question-generation-vietnamese")
+tokenizer = AutoTokenizer.from_pretrained("nluai/question-generation-vietnamese")
+
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+model = model.to(device)
+
+# Content used to create a set of questions
+context = '''Thành phố Hồ Chí Minh (còn gọi là Sài Gòn) tên gọi cũ trước 1975 là Sài Gòn hay Sài Gòn-Gia Định là thành phố lớn nhất ở Việt Nam về dân số và quy mô đô thị hóa. Đây còn là trung tâm kinh tế, chính trị, văn hóa và giáo dục tại Việt Nam. Thành phố Hồ Chí Minh là thành phố trực thuộc trung ương thuộc loại đô thị đặc biệt của Việt Nam cùng với thủ đô Hà Nội.Nằm trong vùng chuyển tiếp giữa Đông Nam Bộ và Tây Nam Bộ, thành phố này hiện có 16 quận, 1 thành phố và 5 huyện, tổng diện tích 2.061 km². Theo kết quả điều tra dân số chính thức vào thời điểm ngày một tháng 4 năm 2009 thì dân số thành phố là 7.162.864 người (chiếm 8,34% dân số Việt Nam), mật độ dân số trung bình 3.419 người/km². Đến năm 2019, dân số thành phố tăng lên 8.993.082 người và cũng là nơi có mật độ dân số cao nhất Việt Nam. Tuy nhiên, nếu tính những người cư trú không đăng ký hộ khẩu thì dân số thực tế của thành phố này năm 2018 là gần 14 triệu người.'''
+
+encoding = tokenizer.encode_plus(context, return_tensors="pt")
+
+input_ids, attention_masks = encoding["input_ids"].to(device), encoding["attention_mask"].to(device)
+
+output = model.generate(input_ids=input_ids, attention_mask=attention_masks, max_length=256)
+
+question =  tokenizer.decode(output[0], skip_special_tokens=True,clean_up_tokenization_spaces=True)
+
+question
+#question: Thành phố hồ chí minh có bao nhiêu quận?
+```
+

config.json

@@ -0,0 +1,24 @@
+{
+    "_name_or_path": "google/mt5-base",
+    "architectures": ["MT5ForConditionalGeneration"],
+    "d_ff": 2048,
+    "d_kv": 64,
+    "d_model": 768,
+    "decoder_start_token_id": 0,
+    "dropout_rate": 0.1,
+    "eos_token_id": 1,
+    "feed_forward_proj": "gated-gelu",
+    "initializer_factor": 1,
+    "is_encoder_decoder": true,
+    "layer_norm_epsilon": 0.000001,
+    "model_type": "mt5",
+    "num_decoder_layers": 12,
+    "num_heads": 12,
+    "num_layers": 12,
+    "output_past": true,
+    "pad_token_id": 0,
+    "relative_attention_num_buckets": 32,
+    "tie_word_embeddings": false,
+    "tokenizer_class": "T5Tokenizer",
+    "vocab_size": 250112
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7bd8f585f240e065d12a018fe234b64d49007dd59c51b6af068f386da4f76962
+size 2329707353

special_tokens_map.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>"}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ef78f86560d809067d12bac6c09f19a462cb3af3f54d2b8acbba26e1433125d6
+size 4309802

tokenizer_config.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "extra_ids": 0, "additional_special_tokens": null, "special_tokens_map_file": "/home/patrick/.cache/torch/transformers/685ac0ca8568ec593a48b61b0a3c272beee9bc194a3c7241d15dcadb5f875e53.f76030f3ec1b96a8199b2593390c610e76ca8028ef3d24680000619ffb646276", "name_or_path": "google/mt5-base"}