Training in progress, epoch 1

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+LEB_al_akhbar_news.xml filter=lfs diff=lfs merge=lfs -text

ArabartModel/checkpoint-1528/config.json

@@ -0,0 +1,59 @@
+{
+  "_name_or_path": "nour4286/ArabartModel",
+  "activation_dropout": 0.1,
+  "activation_function": "gelu",
+  "add_bias_logits": false,
+  "add_final_layer_norm": true,
+  "architectures": [
+    "MBartForConditionalGeneration"
+  ],
+  "attention_dropout": 0.1,
+  "bos_token_id": 0,
+  "classif_dropout": 0.1,
+  "classifier_dropout": 0.0,
+  "d_model": 768,
+  "decoder_attention_heads": 12,
+  "decoder_ffn_dim": 3072,
+  "decoder_layerdrop": 0.0,
+  "decoder_layers": 6,
+  "decoder_start_token_id": 2,
+  "do_blenderbot_90_layernorm": false,
+  "dropout": 0.1,
+  "early_stopping": true,
+  "encoder_attention_heads": 12,
+  "encoder_ffn_dim": 3072,
+  "encoder_layerdrop": 0.0,
+  "encoder_layers": 6,
+  "eos_token_id": 2,
+  "extra_pos_embeddings": 2,
+  "force_bos_token_to_be_generated": false,
+  "forced_eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "id2label": {
+    "0": "LABEL_0",
+    "1": "LABEL_1",
+    "2": "LABEL_2"
+  },
+  "init_std": 0.02,
+  "is_encoder_decoder": true,
+  "label2id": {
+    "LABEL_0": 0,
+    "LABEL_1": 1,
+    "LABEL_2": 2
+  },
+  "max_position_embeddings": 1024,
+  "model_type": "mbart",
+  "no_repeat_ngram_size": 3,
+  "normalize_before": true,
+  "normalize_embedding": true,
+  "num_beams": 4,
+  "num_hidden_layers": 6,
+  "pad_token_id": 1,
+  "scale_embedding": false,
+  "static_position_embeddings": false,
+  "tokenizer_class": "BarthezTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "use_cache": true,
+  "vocab_size": 50002
+}

ArabartModel/checkpoint-1528/generation_config.json

@@ -0,0 +1,12 @@
+{
+  "bos_token_id": 0,
+  "decoder_start_token_id": 2,
+  "early_stopping": true,
+  "eos_token_id": 2,
+  "forced_eos_token_id": 2,
+  "max_new_tokens": 100,
+  "no_repeat_ngram_size": 3,
+  "num_beams": 4,
+  "pad_token_id": 1,
+  "transformers_version": "4.41.2"
+}

ArabartModel/checkpoint-1528/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:74e357ce0b7042a6f40e5f45c53ad211d929476c8e3445c880e62339e20b708b
+size 557116312

ArabartModel/checkpoint-1528/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0fe26fcb5c0e353bf67a52789fb4cfae7be61e381b062d125ca91b1c604de9b5
+size 1113991930

ArabartModel/checkpoint-1528/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:59624509e89bbc9b94c591ed4735982e33caa7e6875690c4ff16d1a97717d87c
+size 14244

ArabartModel/checkpoint-1528/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2a1c88126ef67a930b2cd0c54619e80f9ef80c6abae00cbf436ab3946bd2d2c0
+size 1064

ArabartModel/checkpoint-1528/sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cbb59d772bc9bb2da5dc4a73a00c61c0912c6d2596aad970fa2cd3d69898b245
+size 1315170

ArabartModel/checkpoint-1528/special_tokens_map.json

@@ -0,0 +1,15 @@
+{
+  "bos_token": "<s>",
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "unk_token": "<unk>"
+}

ArabartModel/checkpoint-1528/tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "BarthezTokenizer",
+  "unk_token": "<unk>"
+}

ArabartModel/checkpoint-1528/trainer_state.json

@@ -0,0 +1,65 @@
+{
+  "best_metric": 25.2705,
+  "best_model_checkpoint": "./ArabartModel-1/checkpoint-1528",
+  "epoch": 1.0,
+  "eval_steps": 500,
+  "global_step": 1528,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.32722513089005234,
+      "grad_norm": 1.563672423362732,
+      "learning_rate": 4.6727748691099475e-05,
+      "loss": 0.0195,
+      "step": 500
+    },
+    {
+      "epoch": 0.6544502617801047,
+      "grad_norm": 1.7397737503051758,
+      "learning_rate": 4.3455497382198955e-05,
+      "loss": 0.0244,
+      "step": 1000
+    },
+    {
+      "epoch": 0.981675392670157,
+      "grad_norm": 3.006633758544922,
+      "learning_rate": 4.018324607329843e-05,
+      "loss": 0.0293,
+      "step": 1500
+    },
+    {
+      "epoch": 1.0,
+      "eval_loss": 5.626201629638672,
+      "eval_rouge1": 25.2705,
+      "eval_rouge2": 9.9865,
+      "eval_rougeL": 21.8678,
+      "eval_runtime": 372.5145,
+      "eval_samples_per_second": 5.892,
+      "eval_steps_per_second": 0.591,
+      "step": 1528
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 7640,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 7327420304523264.0,
+  "train_batch_size": 10,
+  "trial_name": null,
+  "trial_params": null
+}

ArabartModel/checkpoint-1528/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0db0c5c28c9a1e67e13675dc0782cb65baca4516e1c39cf487f5c45dc85be680
+size 6904

Colab Notebooks/lans(PvsA).ipynb

@@ -0,0 +1 @@
+{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"provenance":[],"authorship_tag":"ABX9TyP+2+Nd3+/o4l4i8qHFbsrX"},"kernelspec":{"name":"python3","display_name":"Python 3"},"language_info":{"name":"python"}},"cells":[{"cell_type":"code","source":["! pip install transformers\n","! pip install sentencepiece\n","! pip install datasets\n","! pip install -U deep_translator\n","! pip install Rouge"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"03ttt1O_jbam","executionInfo":{"status":"ok","timestamp":1715949445487,"user_tz":-180,"elapsed":57472,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"3e02fcbe-4d7e-4c95-ca96-994018f8b147"},"execution_count":null,"outputs":[{"output_type":"stream","name":"stdout","text":["Requirement already satisfied: transformers in /usr/local/lib/python3.10/dist-packages (4.40.2)\n","Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from transformers) (3.14.0)\n","Requirement already satisfied: huggingface-hub<1.0,>=0.19.3 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.20.3)\n","Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.10/dist-packages (from transformers) (1.25.2)\n","Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.10/dist-packages (from transformers) (24.0)\n","Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from transformers) (6.0.1)\n","Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers) (2023.12.25)\n","Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from transformers) (2.31.0)\n","Requirement already satisfied: tokenizers<0.20,>=0.19 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.19.1)\n","Requirement already satisfied: safetensors>=0.4.1 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.4.3)\n","Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.10/dist-packages (from transformers) (4.66.4)\n","Requirement already satisfied: fsspec>=2023.5.0 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.19.3->transformers) (2023.6.0)\n","Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.19.3->transformers) (4.11.0)\n","Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (3.3.2)\n","Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (3.7)\n","Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (2.0.7)\n","Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (2024.2.2)\n","Requirement already satisfied: sentencepiece in /usr/local/lib/python3.10/dist-packages (0.1.99)\n","Collecting datasets\n","  Downloading datasets-2.19.1-py3-none-any.whl (542 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m542.0/542.0 kB\u001b[0m \u001b[31m3.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hRequirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from datasets) (3.14.0)\n","Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.10/dist-packages (from datasets) (1.25.2)\n","Requirement already satisfied: pyarrow>=12.0.0 in /usr/local/lib/python3.10/dist-packages (from datasets) (14.0.2)\n","Requirement already satisfied: pyarrow-hotfix in /usr/local/lib/python3.10/dist-packages (from datasets) (0.6)\n","Collecting dill<0.3.9,>=0.3.0 (from datasets)\n","  Downloading dill-0.3.8-py3-none-any.whl (116 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m116.3/116.3 kB\u001b[0m \u001b[31m12.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hRequirement already satisfied: pandas in /usr/local/lib/python3.10/dist-packages (from datasets) (2.0.3)\n","Requirement already satisfied: requests>=2.19.0 in /usr/local/lib/python3.10/dist-packages (from datasets) (2.31.0)\n","Requirement already satisfied: tqdm>=4.62.1 in /usr/local/lib/python3.10/dist-packages (from datasets) (4.66.4)\n","Collecting xxhash (from datasets)\n","  Downloading xxhash-3.4.1-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (194 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m194.1/194.1 kB\u001b[0m \u001b[31m21.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hCollecting multiprocess (from datasets)\n","  Downloading multiprocess-0.70.16-py310-none-any.whl (134 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m134.8/134.8 kB\u001b[0m \u001b[31m16.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hRequirement already satisfied: fsspec[http]<=2024.3.1,>=2023.1.0 in /usr/local/lib/python3.10/dist-packages (from datasets) (2023.6.0)\n","Requirement already satisfied: aiohttp in /usr/local/lib/python3.10/dist-packages (from datasets) (3.9.5)\n","Collecting huggingface-hub>=0.21.2 (from datasets)\n","  Downloading huggingface_hub-0.23.0-py3-none-any.whl (401 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m401.2/401.2 kB\u001b[0m \u001b[31m38.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hRequirement already satisfied: packaging in /usr/local/lib/python3.10/dist-packages (from datasets) (24.0)\n","Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from datasets) (6.0.1)\n","Requirement already satisfied: aiosignal>=1.1.2 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (1.3.1)\n","Requirement already satisfied: attrs>=17.3.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (23.2.0)\n","Requirement already satisfied: frozenlist>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (1.4.1)\n","Requirement already satisfied: multidict<7.0,>=4.5 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (6.0.5)\n","Requirement already satisfied: yarl<2.0,>=1.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (1.9.4)\n","Requirement already satisfied: async-timeout<5.0,>=4.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp->datasets) (4.0.3)\n","Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.21.2->datasets) (4.11.0)\n","Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests>=2.19.0->datasets) (3.3.2)\n","Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests>=2.19.0->datasets) (3.7)\n","Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests>=2.19.0->datasets) (2.0.7)\n","Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests>=2.19.0->datasets) (2024.2.2)\n","Requirement already satisfied: python-dateutil>=2.8.2 in /usr/local/lib/python3.10/dist-packages (from pandas->datasets) (2.8.2)\n","Requirement already satisfied: pytz>=2020.1 in /usr/local/lib/python3.10/dist-packages (from pandas->datasets) (2023.4)\n","Requirement already satisfied: tzdata>=2022.1 in /usr/local/lib/python3.10/dist-packages (from pandas->datasets) (2024.1)\n","Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.10/dist-packages (from python-dateutil>=2.8.2->pandas->datasets) (1.16.0)\n","Installing collected packages: xxhash, dill, multiprocess, huggingface-hub, datasets\n","  Attempting uninstall: huggingface-hub\n","    Found existing installation: huggingface-hub 0.20.3\n","    Uninstalling huggingface-hub-0.20.3:\n","      Successfully uninstalled huggingface-hub-0.20.3\n","Successfully installed datasets-2.19.1 dill-0.3.8 huggingface-hub-0.23.0 multiprocess-0.70.16 xxhash-3.4.1\n","Collecting deep_translator\n","  Downloading deep_translator-1.11.4-py3-none-any.whl (42 kB)\n","\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m42.3/42.3 kB\u001b[0m \u001b[31m576.4 kB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n","\u001b[?25hRequirement already satisfied: beautifulsoup4<5.0.0,>=4.9.1 in /usr/local/lib/python3.10/dist-packages (from deep_translator) (4.12.3)\n","Requirement already satisfied: requests<3.0.0,>=2.23.0 in /usr/local/lib/python3.10/dist-packages (from deep_translator) (2.31.0)\n","Requirement already satisfied: soupsieve>1.2 in /usr/local/lib/python3.10/dist-packages (from beautifulsoup4<5.0.0,>=4.9.1->deep_translator) (2.5)\n","Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.23.0->deep_translator) (3.3.2)\n","Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.23.0->deep_translator) (3.7)\n","Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.23.0->deep_translator) (2.0.7)\n","Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.23.0->deep_translator) (2024.2.2)\n","Installing collected packages: deep_translator\n","Successfully installed deep_translator-1.11.4\n","Collecting Rouge\n","  Downloading rouge-1.0.1-py3-none-any.whl (13 kB)\n","Requirement already satisfied: six in /usr/local/lib/python3.10/dist-packages (from Rouge) (1.16.0)\n","Installing collected packages: Rouge\n","Successfully installed Rouge-1.0.1\n"]}]},{"cell_type":"code","source":["from transformers import pipeline\n","from datasets import load_dataset\n","from deep_translator import GoogleTranslator\n","from rouge import Rouge\n"],"metadata":{"id":"KW9jfWwpjgIc"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["Summarizer = pipeline(\"summarization\", model = \"google/pegasus-xsum\")"],"metadata":{"colab":{"base_uri":"https://localhost:8080/","height":435,"referenced_widgets":["061c96c14f374ab28a22f8f98e05cf85","4350acec915b42229a5bd4b9569ac828","4a8abcfb11ff4576a3e51e1673a1168e","36bd0e5ed6894f6880a4294cbf79a796","5503452399034e918d95431952a18bc7","40fa3997e1e841de9d20f4bdf7018ba0","68780951b5b64a5a9e8a5e04bde3420d","cffa299661be491e8e0d8388b8a0462f","3ef34ed5a71548d5b56aa20a53d07dbf","8353f38d6a924c67895647d7b325a738","7ea07748b5d44e6b972046718aa7bc98","40c23528b8dc460fadd9d1d02269eaba","bda3d2ae8e59478eb1907b5e1b01c977","fa67f843a9394f9a8d6675564beccebe","9e805c7f452c4a268bf32eac779cdbc6","4009955311554d47bde3736a5a66d006","302a4d30feff4bae8934113ad925d4e8","1f58ee5369d5403e9ff85f2bc66b507f","10731c4df3d24cf8a76414811168acc8","899d3136b4f24414ba6177d369abae86","beed935e8722493d9895e45df2532ea2","7b89ee1672494505bd66a9797c9fc10d","97f06934f58d4369820529e36f3dd512","0313903c22204534a097379529380bbf","b2cddaef73a8421f8e0903ed1d08aa97","ea804dd97c0a45d3bad9a81604b66d65","d6e9e743d5684c82b814901717819f0c","b6cc4f74c0c44e2395e1f3d9a082ee0e","7b48a5fc347f48edb97e26e178bbadd8","b5197472cefd4a6b966e0813a3676c6d","0bebbd21d4214d038aed57c4c00c505c","bc9f960fce6040be9cf601082b02c9c1","df0b45be319e4ea195f8e61aafd52a73","ae859af3db81402799c9390795b232c6","162e6d8edc964140bfdb819d62e7912d","82b1599304d1499fb5942118b6e46968","7dd5d3c71c7d41fdb1204b08a423f374","505ccdf55aea4d1dbf3f2f817fbdb0ef","77c1c669d14546549a5f3c8dfec72467","0553cfd104884263a88232cc91adb653","36ab6932843e40c5aae431cb5f23171d","82c73d75b4be4b21889ce8fb8ebcbd7f","a7c610ab307d4e87ac1773a631ea3ea7","f69334db4edb4be19dee6614cf19cb52","c79e49495ec346439135e06bcd565bc1","9f53c844ce3d4f6d898d3d9395b681be","fbe75fdba77a4c8aaf77eccedf99a622","8a6c61c3590d4dfa841af2771c9f6da1","6e09825f8674494facf8d01674efda30","954298acbff2412dab27e56086c239d1","296b9c6be736490aa746e4116d2455a2","e45c91d2bbcc41dfbc693885cda851f1","10a36fad1fae41889d440097f64b32d9","a0af02e5ae884ea6be2cefbb985b11d8","c86959c88d2545cd95088ac404d2240a","c0e7dfe687704a4794d698c958001a56","06242b2d85364047a7c7489f3bb0090e","13f4569e0cd84a959afb00e393dd93c9","de172e9df8084f628ee2b8151a7deeea","0f2ded0bde614b9ba45c783cd61716c6","f2cdd83e02c94f40964e1f67789bdab2","89f302bd12c84036bf62f36fa9b77f11","b4cdfd9bb3f942cea97dc616536e8b72","aa5a4dd3aa2549ee995613d3dd361860","7bd42a9ab65b4911a367965652879217","f372ec08575947b7a580f4bd247a006c","7a3827ca6cc94c64b9709fe053294617","7c39d789277a4656a635006b6c28e724","ccdb137d301b4d9d8529784a51a17d54","b5230e226be949039896233644ddd0ba","b857f0f687ee44b5a2fabe3710d05e72","8752ad0e4d744ec38eb3cb1fd98fe994","876353cbe09c45a084eda49fc2f8705c","0ddbfd56bb5f4fadb319de13be4666d5","13da93a48c1741d0a9ade1709d8223af","f7ce6de3ced24605a2f0b1968dad4619","31db7f435b4d40e6b70e391c649dd147"]},"id":"-SXWAUH1jmsU","executionInfo":{"status":"ok","timestamp":1715949527762,"user_tz":-180,"elapsed":44417,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"22c2cc50-2a7e-4043-a651-5aa30d361700"},"execution_count":null,"outputs":[{"output_type":"stream","name":"stderr","text":["/usr/local/lib/python3.10/dist-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.\n","  warnings.warn(\n","/usr/local/lib/python3.10/dist-packages/huggingface_hub/utils/_token.py:89: UserWarning: \n","The secret `HF_TOKEN` does not exist in your Colab secrets.\n","To authenticate with the Hugging Face Hub, create a token in your settings tab (https://huggingface.co/settings/tokens), set it as secret in your Google Colab and restart your session.\n","You will be able to reuse this secret in all of your notebooks.\n","Please note that authentication is recommended but still optional to access public models or datasets.\n","  warnings.warn(\n"]},{"output_type":"display_data","data":{"text/plain":["config.json:   0%|          | 0.00/1.39k [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"061c96c14f374ab28a22f8f98e05cf85"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["pytorch_model.bin:   0%|          | 0.00/2.28G [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"40c23528b8dc460fadd9d1d02269eaba"}},"metadata":{}},{"output_type":"stream","name":"stderr","text":["Some weights of PegasusForConditionalGeneration were not initialized from the model checkpoint at google/pegasus-xsum and are newly initialized: ['model.decoder.embed_positions.weight', 'model.encoder.embed_positions.weight']\n","You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"]},{"output_type":"display_data","data":{"text/plain":["generation_config.json:   0%|          | 0.00/259 [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"97f06934f58d4369820529e36f3dd512"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["tokenizer_config.json:   0%|          | 0.00/87.0 [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"ae859af3db81402799c9390795b232c6"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["spiece.model:   0%|          | 0.00/1.91M [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"c79e49495ec346439135e06bcd565bc1"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["tokenizer.json:   0%|          | 0.00/3.52M [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"c0e7dfe687704a4794d698c958001a56"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["special_tokens_map.json:   0%|          | 0.00/65.0 [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"7a3827ca6cc94c64b9709fe053294617"}},"metadata":{}}]},{"cell_type":"code","source":["english_text = []\n","\n","\n","for i in range(0,3):\n","    english_text. append(GoogleTranslator(source='ar', target='en') . translate(preprocessed_data[i]))"],"metadata":{"id":"6WMIeZoajsvm"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["summary = []\n","for txt in english_text:\n","    summary.append(Summarizer(txt)[0]['summary_text'])"],"metadata":{"id":"Gv_noWSzkBIs"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["summary"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"0lClZP8rogtR","executionInfo":{"status":"ok","timestamp":1715951297380,"user_tz":-180,"elapsed":261,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"498efe0a-1448-4a8b-dc21-a7a94f1e3ada"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["['Lebanese President Fouad Siniora was the victim of a prank call by two Israeli radio presenters, Shayi Dror and Shayi Mujahideen.',\n"," 'Israeli politicians and military officials have been reacting to the UN Security Council resolution ending the month-long war with Hezbollah.',\n"," 'Israeli newspaper Yedioth Ahronoth reported on Sunday that the Israeli government is seeking the immediate release of two captured Israeli soldiers as part of a prisoner exchange deal with Hezbollah.']"]},"metadata":{},"execution_count":83}]},{"cell_type":"code","source":["english_text"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"IJoNKr73j7vL","executionInfo":{"status":"ok","timestamp":1715951139497,"user_tz":-180,"elapsed":240,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"8da8d1aa-2ed9-485e-8a3b-d02b65c2f7c7"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["['Despite the issuance of an official clarification from the Governmental Secretariat about the nature of the call, it is clear from the recording that it was transmitted by blogs like wildfire. The two broadcasters specializing in radio pranks announced at the start of the call that they were Tony Blair’s office, the Ministry of Defence’s office. One of the employees of the Secretariat asked them to transfer the call to him. The secretariat exchange was Blair’s office, so they said the matter led to the transfer of the call to the President. Siniora, and the prank of Shayi Dror, President Siniora, was preceded by another prank, an employee called Hussein, Burger King Restaurant, Beirut. Hussein fell victim to the slogan “The customer is always right” and endured the ridiculousness and silliness of Shayi Dror. For two minutes, Hussein asks the address, and Shayi Mujahideen answers and continues, “I am talking to you in Tel Aviv. I am joking.” Hussein, excuse me, Shayi. We ordered a Tel Aviv hamburger. You can send it via missiles. We want a Katyusha and Monday, an earthquake, onions, Fajr Hussein, chicken or meat. Dror. Jews. We eat meat. We eat kosher food. Just listen. Put the hamburger Katyusha and send it to Kiryat Shmona and we will receive it. You see. He will be the victim of the next prank by Shayi Dror. Especially the episode is broadcast live on the radio and is being circulated by hundreds of Israeli bloggers.',\n"," 'Ehud Olmert, Prime Minister, the Security Council decision created favorable conditions for implementing previous Security Council resolutions on the Lebanese issue, such as the decision that includes disarming Hezbollah, and Hezbollah will not continue to be a state within a state, and the Lebanese government will be transformed today. The title is being dealt with by Israel, Shimon Peres, Deputy Prime Minister. In my opinion, the war ended with the kind of victory achieved. On the political and military levels, we started slowly. We deliberately accelerated the pace of our operations, while Hezbollah began the war with great force and is now relatively exhausted. Amir Peretz, Minister of Defense. The goal of the ground operation is to prepare on the ground for the deployment of an international force that is supposed to replace the Israeli army. We are doing everything today so that when our forces stop their advance, they will be deployed in a way that they can. Defense itself in the best possible way. We want to work. The forces will replace the Israeli army. They will be able to implement the international resolution by dismantling Hezbollah and ensuring the disarmament of southern Lebanon. Ofir Pence, Minister of Culture and Sports, I can understand the goal of entering Lebanon. The Security Council’s decision is correct. Promoting political development is correct. In any form, massive entry. To Lebanon, the issuance of the resolution. I fear mutual bloodshed. To the arrival of international forces, Lebanon is a quagmire. In the quagmire, it moved more and sank. Jubal Steinitz, Member of Knesset - Likud. The government raised the white flag by supporting the ceasefire agreement. The security of the kidnapped soldiers. Such an end to the most absurd war in the history of Israel. It imposes the end of the leadership’s term. The most amateurish history. Country',\n"," 'The source stressed that Israel requires the ceasefire to be released immediately because the matter will lead to the continuation of the fighting and the killing of additional soldiers. The newspaper mentioned the main obstacle to the prisoner exchange deal, Hezbollah’s demand for the release of the dean of Lebanese prisoners in the occupation prisons, Samir Kuntar. The Israeli source said, “The Israelis are researching the issue of Samir Kuntar,” and the head of the Staff of the Israeli army, Dan Halutz, during a session of the Israeli government, the occupation forces held captive Hezbollah fighters, indicating an asset that could benefit from a prisoner exchange process. The Secretary-General of Hezbollah, Sayyed Hassan Nasrallah, repeatedly confirmed the release of the two captured Israeli soldiers through direct negotiations with the Israeli government and with the exchange of prisoners, led by Samir Kuntar.']"]},"metadata":{},"execution_count":76}]},{"cell_type":"code","source":["pegasus_summary = []\n","\n","\n","for i in summary:\n","    pegasus_summary. append(GoogleTranslator(source='en', target='ar') . translate(i))"],"metadata":{"id":"OQi4svutqysC"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["pegasus_summary"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"xm82yTB8myF-","executionInfo":{"status":"ok","timestamp":1715952335691,"user_tz":-180,"elapsed":248,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"5eb2d276-c3a4-48d8-b415-d650df5419c5"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["['كان الرئيس اللبناني فؤاد السنيورة ضحية مكالمة هاتفية من مذيعي الإذاعة الإسرائيلية شاي درور وشاي مجاهدين.',\n"," 'كان رد فعل السياسيين والمسؤولين العسكريين الإسرائيليين على قرار مجلس الأمن الدولي الذي أنهى الحرب المستمرة منذ شهر مع حزب الله.',\n"," 'ذكرت صحيفة يديعوت أحرونوت الإسرائيلية اليوم الأحد أن الحكومة الإسرائيلية تسعى إلى إطلاق سراح جنديين إسرائيليين أسيرين على الفور في إطار صفقة تبادل أسرى مع حزب الله.']"]},"metadata":{},"execution_count":110}]},{"cell_type":"code","source":["data_summary = ['نشرت غالبية المدونات الإسرائيلية نص المكالمة الهاتفية التي أجراها المذيعان الإسرائيليان شايي و درور في راديو تل أبــيب مع رئيس مجلس الوزراء فؤاد السنيورة.',\n","                 'السؤال المركزي الذي ينبغي أن نسأل أنفسنا إياه أين كنا قبل نشوب المعارك، عندما لم ينفذ القرار ، وعندما لم ينتشر الجيش اللبناني، وعندما لم يُفرض حظر على حزب الله؟ أي جيش في العالم لا يستطيع أن ينفذ قرارات الأمم المتحدة بالوسائل العسكرية. تعزيز مكانة السنيورة يخدم المصالح الاسرائيلية .',\n","                  'ونقلت الصحيفة عن مصدر سياسي اسرائيلي رفيع المستوى قوله إن اسرائيل لا تعرف شيئاً عن مصير الجنديين ولكنها تفترض أنهما على قيد الحياة . وأضاف المصدر نفسه أن الجيش الاسرائيلي بذل جهوداً كبيرة، وقام بالكثير من الحملات العسكرية الخطيرة، من أجل الحصول على معلومات عن الجنديين ولكن من دون فائدة .']"],"metadata":{"id":"99LHPuWLtUr0"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["data_csv[\"summary\"][2]"],"metadata":{"colab":{"base_uri":"https://localhost:8080/","height":53},"id":"QvMFNhzKrSxb","executionInfo":{"status":"ok","timestamp":1715952236212,"user_tz":-180,"elapsed":483,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"bc0e8a34-53d6-4b0d-a2fa-722989f570ee"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["'ونقلت الصحيفة عن مصدر سياسي اسرائيلي رفيع المستوى قوله إن اسرائيل لا تعرف شيئاً عن مصير الجنديين ولكنها تفترض أنهما على قيد الحياة . وأضاف المصدر نفسه أن الجيش الاسرائيلي بذل جهوداً كبيرة، وقام بالكثير من الحملات العسكرية الخطيرة، من أجل الحصول على معلومات عن الجنديين ولكن من دون فائدة .'"],"application/vnd.google.colaboratory.intrinsic+json":{"type":"string"}},"metadata":{},"execution_count":105}]},{"cell_type":"code","source":["rouge = Rouge()\n","scores_pegasus_label = rouge.get_scores(pegasus_summary, data_summary[ :3])\n","for i in range (0,3):\n","   print(\"rouge-1 : \", scores_pegasus_label[i]['rouge-1']['f' ]*100)\n","   print(\"rouge-2 : \", scores_pegasus_label[i]['rouge-2']['f' ]*100)\n","   print(\"rouge-L : \", scores_pegasus_label[i]['rouge-l']['f' ]*100)\n","   print(\"\")"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"MYlXFwxArDuv","executionInfo":{"status":"ok","timestamp":1715952340886,"user_tz":-180,"elapsed":265,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"b3adab80-8399-47c0-aaed-0cf70faee8f9"},"execution_count":null,"outputs":[{"output_type":"stream","name":"stdout","text":["rouge-1 :  19.99999952000001\n","rouge-2 :  5.263157416897551\n","rouge-L :  9.999999520000022\n","\n","rouge-1 :  9.230768793372802\n","rouge-2 :  0.0\n","rouge-L :  6.1538457164497355\n","\n","rouge-1 :  5.797100979626167\n","rouge-2 :  0.0\n","rouge-L :  5.797100979626167\n","\n"]}]},{"cell_type":"code","source":["from transformers import AutoTokenizer, AutoModelForSeq2SeqLM\n","\n","# Replace 'nour4286/ArabartModel' with the actual path to your model on the Hugging Face Hub\n","model_name = \"nour4286/ArabartModel\"\n","\n","# Load the tokenizer and model\n","tokenizer = AutoTokenizer.from_pretrained(model_name)\n","model = AutoModelForSeq2SeqLM.from_pretrained(model_name)\n"],"metadata":{"colab":{"base_uri":"https://localhost:8080/","height":365,"referenced_widgets":["c26c09440199468a9cf3ce15c8219631","aed5b3dfdac041cf8b50019fa418a824","ddc1e8144b16404197c30eaf1c686878","5d6eb44540de42319075bc9703dd516e","20878518ec874c92949dcc69fecff22b","138f52a16dc647d0a05c46a1e6255315","538c8615a70948bd8b663e803ce0faf6","d6757f402cc84834bb9ecd5c232fee7b","6032df96052d4f43a6b4f354c5fbfa5f","42fd42366886460ba844ea2d8fbe1213","20f1b21f7e4d47fc8b09b36fc2f305f4","38a99f02d5a54236af2d2bc16ee55ff0","0ef9e00105d14fc0a972d7a649ca62bb","39534d4f3f0c47d69b96829094f4b3ab","0ae323eea92a4c658fcc66cc2cdddb6a","1abd8aeb297a49b5a9be10b4bfa7e3d6","6fe877d31316477fb6430fd95761cf3e","19efda8aaa7e46ca870cf387abd0bab7","f0850e48dc2847bfb1a4dfe0961cb008","9806cbe498864303a2cb884aee9ebd52","a020ec020ba1418ba2cf790196b1234f","f5782c45b3c74d2b86c1c9420207397f","752866f221b84386aa4fa905e8b56fd8","b204f473b9e048f9bc22e07fce26b6e3","ef6b54b757c34bde814890b1446cddec","a2298aed64994cbd8eff20ff4b482b60","fc6b1fa02cdb4110876f6384cdcde819","4099a99d8cbe4868a9e3e585883f3c36","768f9056f34f4051a0bc9928270aff5d","7fd6aebe47ae4ea3a0027020ce6d91bb","0b477772f5dc4d648d6ff7a7a6d6e333","77a695bd02804d8a94cc99a4894eee35","c23160bef8164a9cb3101377d9baa5f6","bf80c46f47224c4bac1e248b5b6e515e","170333699fdc4705a069172ac6a2c39d","231165cb98674bc68cfc48f0c5f98280","7dad2885c810410dbb3d02da66c77e88","41a99ba9c2154adb8214c0818e1953c5","120439ee60de4620a1af5e790c215c01","77bf5a3d8eb5405f997ae15c96ccf02e","17429d1db8614ce3822bdbb5c9171b2b","55aa5cba1b534e87985cea7e83572d6c","5922c1fc5b8048f1bce5b0f3a137e11e","bf169da2644d45b9968b12faa891bc41","82b5655cab464672a6f6daabf476727a","bdeca6e14e21440e9f9ea796f3660198","aa3c76a36af8410a95922ec54a4f3d7b","f2245f414bdc44f6aa472c38f7644971","ac8cc3b5246146e18cb10ffcd1a985f3","9f5075b167e04939a8042631bb5ba59c","12c3059e692c49f78fc6fced2ace38dc","b9aacf918e564c03bce4b7c6a949d935","6208d55cab884c67b80094bc6bb9c5a3","a126acbd06d14caaa44b20d3ed120a57","2eff80381d834ca6843a837c68bb17c4","f1a9d41d80854962b0fca6f03514dcc9","41f318b458bf4b39af84f30a2357b00e","0199cfea045546c5bb7249e062408d3d","7406f794bdf64d6bb358fff3c084acfb","5ea9719e92c3441eb6a9a1a8500cea0e","bd8b2e501cdd4da29befed240d18ffc7","0fc1f20ed31e4b0e9e6094f0367e8b3d","8f24df69f388403782094b6f444df41f","ea4970252de5423fb0f4101bde345e37","c4e9ec2c1a69465fbc5f42294d8a4bdb","162997fca77a4c6daa2869f3bfe26c4f","907fe32301684105ae73d808462057d0","b799b8989e5e4eefb8587c177f7dd08d","5668b0ac37dc499da515132c75b430bc","a804f002a7634ce9aec299512e9681a4","7084dc8221ec400e91ff8a296beaff65","b5f973e1c9154008bcc91603b14f4e18","65db8062139a483bb8344179cb922916","1fc2edcc88b3461f8fc69c2366fced01","8819ea05f2ba4c1db6474b4861d6bc4b","6b4c47a1bc9047ed9cdfd3b995e8c363","464b5afb14f844e6a6fdd6d320f2c063"]},"id":"ZcVA25fDu-x6","executionInfo":{"status":"ok","timestamp":1718083794262,"user_tz":-180,"elapsed":17309,"user":{"displayName":"nerim","userId":"05497566570763760814"}},"outputId":"103ece08-6617-4519-926e-9c444277477d"},"execution_count":null,"outputs":[{"output_type":"stream","name":"stderr","text":["/usr/local/lib/python3.10/dist-packages/huggingface_hub/utils/_token.py:89: UserWarning: \n","The secret `HF_TOKEN` does not exist in your Colab secrets.\n","To authenticate with the Hugging Face Hub, create a token in your settings tab (https://huggingface.co/settings/tokens), set it as secret in your Google Colab and restart your session.\n","You will be able to reuse this secret in all of your notebooks.\n","Please note that authentication is recommended but still optional to access public models or datasets.\n","  warnings.warn(\n"]},{"output_type":"display_data","data":{"text/plain":["tokenizer_config.json:   0%|          | 0.00/1.20k [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"c26c09440199468a9cf3ce15c8219631"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["sentencepiece.bpe.model:   0%|          | 0.00/1.32M [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"38a99f02d5a54236af2d2bc16ee55ff0"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["tokenizer.json:   0%|          | 0.00/3.78M [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"752866f221b84386aa4fa905e8b56fd8"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["special_tokens_map.json:   0%|          | 0.00/280 [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"bf80c46f47224c4bac1e248b5b6e515e"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["config.json:   0%|          | 0.00/1.48k [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"82b5655cab464672a6f6daabf476727a"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["model.safetensors:   0%|          | 0.00/557M [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"f1a9d41d80854962b0fca6f03514dcc9"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":["generation_config.json:   0%|          | 0.00/264 [00:00<?, ?B/s]"],"application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"907fe32301684105ae73d808462057d0"}},"metadata":{}}]},{"cell_type":"code","source":["def summarize_text(text):\n","    # Tokenize the input text\n","    inputs = tokenizer.encode(\"summarize: \" + text, return_tensors=\"pt\", truncation=True)\n","\n","    # Generate summary\n","    summary_ids = model.generate(inputs, max_new_tokens = 100)\n","    # Decode the generated summary\n","    summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)\n","    return summary"],"metadata":{"id":"rZJvfkCtvOJ3"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["preprocessed_data[0]"],"metadata":{"colab":{"base_uri":"https://localhost:8080/","height":105},"id":"ZAIEEb0dwEee","executionInfo":{"status":"ok","timestamp":1715953312837,"user_tz":-180,"elapsed":263,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"d8540048-83e0-4965-8ece-143c1c86273c"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["'وعلى الرغم صدور توضيح رسمي السرايا الحكومية حول طبيعة المكالمة يتــضح مـــن التسجيل تناقلته المدونات كالنار الهشيم المذيعين المختصين بـ المقالب الإذاعية يعلنا بدأ المكالمة أنهما مكتب طوني بلير مكتب وزارة الدفاع احد موظفي السرايا سألهما تحويل المكالمة إليه مقسم السرايا كانوا مكتب بلير فقالوا الأمر أدى تحويل المكالمة الرئيس السنيورة وكان مقلب شايي درور الرئيس السنيورة سبقه مقلب آخر الموظف يدعى حسين مطعم البرغر كينغ بيروت حسين وقع ضحية شعار الزبون دا��ما حق وتحمل سخافة شايي درور وسماجتهما دقيقتين يسأل حسين العنوان فيجيبه شايي مجاهدين ويتابع انا احدثك تل ابيب أمزح حسين عفوا شايي طلبنا همبرغر تل أبيب فهل تستطيع ترسلها عبر الصواريخ نريد كاتيوشا واثنين زلزال بصل فجر حسين دجاج ام لحم درور يهود نأكل اللحم نأكل طعام الكوشر فقط اسمع ضع الهمبرغر الكاتيوشا وأرسلها كريات شمونة ونحن سنستلمها ترى سيكون ضحية المقلب المقبل لـ شايي درور خصوصا الحلقة تبث مباشرة عبر الراديو ويتداولها مئات المدونون الإسرائيليون'"],"application/vnd.google.colaboratory.intrinsic+json":{"type":"string"}},"metadata":{},"execution_count":141}]},{"cell_type":"code","source":["arabart_summary = [summarize_text(preprocessed_data[0]),summarize_text(preprocessed_data[1]),summarize_text(preprocessed_data[2])]"],"metadata":{"id":"kPB0VkBLvju4"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["arabart_summary"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"LlfC6yLRxLvq","executionInfo":{"status":"ok","timestamp":1715953351112,"user_tz":-180,"elapsed":4,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"26423346-cc80-425b-ac51-2b65dbf9e2c3"},"execution_count":null,"outputs":[{"output_type":"execute_result","data":{"text/plain":["['بثت قناة المنار اللبنانية مساء الثلاثاء تسجيلا صوتيا يظهر موظفا في السرايا الحكومية برتبة عقيد يدعى شايي درور وهو يدخن كما يندخن الشيشة ويضح من التسجيل أنه مكتب طوني بلير مكتب وزارة الدفاع احد موظفي السرايا الحكومية الذي لم يعلنا عن اسقاط طائرتهما في ساعة متأخرة من ليل الخميس بل اعلنا لاحقا انهما كانا في عداد ضحايا القصف الاسرائيلي لبيروت.',\n"," 'قرار مجلس الأمن الدولي رقم 2216 حول نزع سلاح حزب الله في الحرب الأهلية اللبنانية التي استمرت أكثر من ست سنوات.',\n"," 'نقلت صحيفة هاآرتس الإسرائيلية عن مصدر رفيع المستوى في الجيش الإسرائيلي قوله إن إسرائيل تبحث مسألة تبادل الأسرى بين حزب الله والجيش الإسرائيلي في وقت لاحق.']"]},"metadata":{},"execution_count":143}]},{"cell_type":"code","source":["rouge = Rouge()\n","scores_pegasus_label = rouge.get_scores(arabart_summary, data_summary[ :3])\n","for i in range (0,3):\n","   print(\"rouge-1 : \", scores_pegasus_label[i]['rouge-1']['f' ]*100)\n","   print(\"rouge-2 : \", scores_pegasus_label[i]['rouge-2']['f' ]*100)\n","   print(\"rouge-L : \", scores_pegasus_label[i]['rouge-l']['f' ]*100)\n","   print(\"\")"],"metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"KQq4BquZxT5D","executionInfo":{"status":"ok","timestamp":1715953351112,"user_tz":-180,"elapsed":3,"user":{"displayName":"Nour De","userId":"07010825996291090597"}},"outputId":"0277da44-4b38-43cf-f4bf-de78e069f67e"},"execution_count":null,"outputs":[{"output_type":"stream","name":"stdout","text":["rouge-1 :  7.692307266272212\n","rouge-2 :  0.0\n","rouge-L :  7.692307266272212\n","\n","rouge-1 :  6.1538457164497355\n","rouge-2 :  0.0\n","rouge-L :  6.1538457164497355\n","\n","rouge-1 :  20.895521928269115\n","rouge-2 :  8.219177631825882\n","rouge-L :  17.91044730140344\n","\n"]}]}]}

LEB_al_akhbar_news.xml

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f65602291ef5a3b248a007953889a5753463d3cbd64543642a2d2712528ae2af
+size 978590889

LEB_al_akhbar_news_partial.csv

@@ -0,0 +1,6 @@
+address,title,article,summary
+https://www.al-akhbar.com/Arab/211181/%D9%85%D8%B2%D8%A7%D9%8A%D8%A7-%D8%A7%D9%84%D9%87%D8%B2%D9%8A%D9%85,مزايا الهزيمة,في المقابل، قد تعلّمنا الهزيمة في هذه الحرب الصغيرة درساً هاماً للمستقبل، وربما تؤثر علينا لتغيير اللغة التي نتحدث بها مع جيراننا ــ لغة العنف والقوة. فقد تبيّن أن القول إن اسرائيل لا تستطيع أن تسمح لنفسها بالهزيمة على أرض المعركة ما هو إلا شعار فارغ من المضمون. لن يؤدي الفشل فقط الى منفعة لاسرائيل، وإنما قد يكون أيضاً سبباً في تعليم الأميركيين درساً هاماً مفاده أن لا جدوى من دفع اسرائيل نحو مغامرات عسكرية. حققت اسرائيل، منذ حرب ، انتصاراً عسكرياً جارفاً وحاسماً واحداً فقط، حرب الستة أيام عادت قدرة اسرائيل الردعية اليها، بقوة كبيرة، وبصورة كان من المفترض فيها أن تضمن أمنها لسنوات طويلة. فماذا حدث؟ مرت ست سنوات فقط قبل أن تحل علينا أصعب حرب في تاريخ اسرائيل، حرب يوم الغفران. في تلك الحرب، وجدنا أننا لا نملك ردعاً ولا من يحزنون، بل على العكس، لم تؤدّ الهزيمة إلا الى حث الجيوش العربية على استعادة كرامتها الضائعة، وقد نجحت في القيام بذلك خلال فترة قصيرة من الزمن. أدركت اسرائيل حدود قوتها. وربما تُنزلنا هذه الحرب بدورها إلى أرض الواقع، حيث تعدّ القوة العسكرية مجرد قوة عسكرية، وحيث زرع الدمار وإلحاق البؤس بمئات آلاف المدنيين، كما فعلنا في لبنان، لا يعدّ عملاً إجرامياً فقط وإنما غير مجد أيضاً؛ نسجل الانتصارات و الانجازات طوال الوقت أيضا في مواجهة الفلسطينيين، فما الذي ربحناه من ذلك؟ الردع؟ وهل تنازل الفلسطينيون عن حلمهم بأن يكونوا أحراراً في بلادهم؟ لا يعدّ فشل الجيش الاسرائيلي في مواجهة حزب الله هزيمة مصيرية. قتلت اسرائيل ومُنيت بالخسائر، ولكن وجودها، أو أي قطعة من أرضها، لم تدخل دائرة الخطر للحظة. المصطلح المحبب إلينا، حرب وجودية ، ليس أكثر من مجرد تعبير عن هزلية هذه الحرب السخيفة، التي كانت منذ بدايتها حرباً اختيارية لعينة. ليس من الصعب التكهن بما كان سيحدث لو أن حزب الله هُزم من الجو خلال أيام، كما وعدنا في البداية، وبتبجح، قادة الجيش. كانت الولايات المتحدة ستزجّنا في مجابهة عسكرية مع سوريا، وكان من الممكن أن نقع في إغراء ذلك لو أننا أُصبنا بنشوة الانتصار. وكنا سننتقل، من بعد سوريا، الى ايران. وفي موازاة ذلك، كنا سنتفرغ لمعالجة أمر الفلسطينيين، لتكون النتيجة محاولة لحل المشكلة الفلسطينية من الأساس بواسطة القضم والمحو والقصف والتفجير. ربما لن يحدث كل ذلك الآن، لأننا اكتشفنا أن قوة الجيش الإسرائيلي أكثر محدودية مما أخبرونا. قد تعمل القدرة الردعية، منذ الآن، في الاتجاه المعاكس تحديداً. ستفكر إسرائيل مرتين، كما نأمل، قبل أن تدخل مجدداً في مغامرة عسكرية خطيرة. صحيح أن ثمة خطراً في رغبة الجيش الاسرائيلي باستعادة كرامته الضائعة على ظهور الفلسطينيين الضعفاء؛ ذلك أن الأمر، إذا لم ينجح في بنت جبيل، فمن الممكن فعل ذلك في نابلس. نأمل أن تصحو هذه الحكومة، وأن تقرر اليوم وضع نهاية لهذه الحرب الجنونية. ولكن اذا استوعبنا فكرة أن ما لم ينجح بالقوة لن ينجح بالمزيد من القوة، فإن هذه الحرب قد توصلنا الى طاولة المفاوضات. يحتمل أن يدرك المستوى السياسي، منذ الآن، أن الاستجابة للمخاطر التي تُخيم على اسرائيل لا تكمن في المزيد من ممارسة القوة، وأن الاستجابة لمطالب الفلسطينيين المشروعة لا تكمن في عشر ع��ليات سور واق أخرى، وإنما في احترام حقوقهم، وأن الرد على التهديد السوري يكمن في إعادة هضبة الجولان لأصحابها الشرعيين من دون تأجيل، وأن الرد على الخطر الايراني يتمثل في تقرّبنا من العالم العربي والإسلامي. اذا انتهت هذه الحرب كما ستنتهي، فربما يسأل عدد أكبر من الاسرائيليين أنفسهم لماذا نقتل ونُقتل؟ وربما سيدركون أن كل هذا سيكون عبثاً مرة أخرى. ربما يتمثل إنجاز هذه الحرب في حفر فشلها عميقاً في الوعي الاسرائيلي، الأمر الذي يدفعهم الى طريق جديد أقل عنفاً وأقل عربدة، وكل ذلك بسبب الفشل. كتب أفرايم كيشون، في العام ، عفواً، لقد انتصرنا . يمكن القول هذه المرة من الجيد أننا لم ننتصر.,تفيد الأنباء السيئة والمتوقعة بأن اسرائيل على وشك الخروج من هذه الحرب مهزومة. أما الأنباء الجيدة والمفاجئة فتفيد بأن هذا الفشل المدوي قد يحمل بشائر جيدة. لو أن اسرائيل انتصرت في المعارك انتصاراً سهلاً وجارفاً، لألحق هذا الأمر ضرراً فظيعاً بالسياسة الأمنية الاسرائيلية. ومن شأن ضربة خاطفة أخرى، لو حدثت، إلحاق كارثة بنا. ذلك أن نشوة الانتصار كانت ستُغرينا لتكرار ذلك في ساحات أخرى. نار خطيرة كانت ستُهدد المنطقة كلها. ولن يعرف أحد بنتائجها سوى الله .
+https://www.al-akhbar.com/Arab/211180/%D8%B9%D8%AF%D9%88%D8%A7%D9%86-%D9%84%D8%A8%D9%86%D8%A7%D9%86-%D9%8A%D8%B4%D8%B9%D9%84-%D8%AD%D8%B1%D8%A8-%D8%A7%D9%84%D9%8A%D9%87%D9%88%D8%AF,عدوان لبنان يشعل حرب اليهود,بدوره، قال المحلل السياسي في يديعوت أحرونوت ناحوم برنيع، إن إسرائيل تسير نحو إعلان وقف النار مرضرضة ومتنازعة وقلقة . وأضاف أن الحرب لم تنته، ولكن الاعلان عن وقف النار يسمح على الاقل رسمياً بحروب اليهود. وستكون هذه المرة، أغلب الظن، حرب الجميع على الجميع. يسير الجميع ببطن مليء، الجميع مقتنعون بأنهم تعرضوا للخيانة، والجميع ينتظرون اللحظة التي يُسمح لهم فيها نصر الله بإطلاق كل شيء الى الخارج . وتابع برنيع السؤال عما حصل لاسرائيل في هذه الحرب جدير ببحث معمّق. البحث في الضربات التي تلقيناها نحن حجم الخسائر، وتعطيل الجبهة الداخلية، وتحويل مئات آلاف الاسرائيليين الى نازحين. وربما الضربة الاشدّ اكتشاف أن الجيش الاسرائيلي غير قادر على تلبية التوقعات. فهو لا يجد فقط صعوبة في أن ينتصر في معركة ضد عصابات صغيرة مثل حزب الله، بل يجد صعوبة في أن يزوّد جنوده بالماء وبالطعام. تذكّرنا أزمة الثقة الناشئة بين الجيش والقيادة السياسية بحدة حرب يوم الغفران. تفترض الحقيقة القول إننا في هذه الحرب لم ننتصر . وانتقد وزير الدفاع السابق، من حزب الليكود، موشيه آرنس، في مقال نشرته صحيفة هآرتس أمس، موافقة إسرائيل على القرار . وقال إن الآثار البعيدة المترتبة على موافقة اسرائيل على وقف النار عبر الامم المتحدة في هذه الفترة جليّة للعيان. سيستنتج أعداء اسرائيل، وهم كُثر، أنها لا تملك قدرة التحمل المطلوبة للمواجهة الطويلة مع الإرهاب. وأنه لا حاجة الى الدبابات والطائرات من اجل إلحاق الهزيمة بإسرائيل، إذ إن آلاف الصواريخ تفي بالغرض . وأضاف سيكتشفون أن اسرائيل لم تعد تمتلك شيئاً من قدرتها الردعية. الحرب التي كان من المفترض بها، بحسب قول قادتنا، أن تعيد بناء قوتنا الردعية، نجحت في تدميرها خلال شهر واحد . وفي مجال الدعوة إلى تأليف لجان تحقيق في الإخفاقات الإسرائيلية، قال يعقوب احيمئير في معاريف إن الضغوط الداخلية ستزداد لا شك في أن لجنة تحقيق رسمية ستتألف، وربما وللمرة الأولى، تتألف لجنتان، واحدة للتحقيق في جهوزية الجبهة الداخلية لفترة الحرب، والثانية للتحقق من جهوزية المؤسسة الأمنية للمواجهة مع حزب الله وللخطوات العسكرية . وبحسب احيمئير، فإن هذه السيناريوهات تقود اسرائيل الى ما اعتادته في ايام السلام انتخابات جديدة. ستُسفك دماء ايضاً في الحملة الانتخابية بعد الحرب. سينزف دم سياسي كثير. لكن انتخابات الكنيست هي، للأسف الشديد، مثل الحرب في لبنان أنت تعرف كيف تبدأ ولكنك لا تعرف كيف تنتهي . وفي السياقنفسه، قال يوسي بيلين في هآرتس ، إنه في صبيحة اليوم التالي، ستتألف لجنة تحقيق رسمية للتحقيق في مجريات الحرب، وربما ايضاً في مسائل اخرى، منها امكان منع حزب الله من الحصول على الاسلحة التي راكمها خلال السنوات الست الأخيرة، التي بسببها شُلّت حياة ثلث الدولة، ودفعنا ثمناً مدنياً وعسكرياً فادحاً بالأرواح . ونصح بيلين رئيس الوزراء أيهود أولمرت بأن يبادر الى تأليف هذه اللجنة بنفسه بأسرع وقت ممكن . بدوره، قال ايتان هابر في يديعوت أحرونوت يتحدثون في هذه الايام كثيراً عن لجنة تحقيق. اذا وُجدت هذه اللجنة أو لم توجد، سيكون من المهم أن نعرف كيف اتُخذ قرار شن الحرب الحالية، وكيف كان مجرى القرار، من الذي قال وماذا قال ولمن، وهل وضعت كل طرق العمل المختلفة أمام صانعي القرار .,تترقب إسرائيل زلزالاً سياسياً، عبّر عنه أمس تصاعد الدعوات إلى تأليف لجان تحقيق في فشل العدوان على لبنان، وأسبابه الموضوعية والشخصية، بالتزامن مع تزايد حدة الانتقادات لكل مراحل الحرب، بدءاً بقرار شنها، مروراً بقرار توسيعها وانتهاء بقرار حكومة إيهود أولمرت الموافقة على القرار الدولي . ورأت اتيلا شومفلبي، في يديعوت أحرونوت ، أن حرب الأسئلة قد بدأت، والصمت الذي ميز الساحة السياسية طوال الشهر الماضي لفظ أنفاسه الأخيرة، وستبدأ منذ الآن حملة التشهير وتبادل الاتهامات والانتقادات، وهي حملة لم نشهد مثلها منذ زمن طويل . وأضافت شومفلبي أن المرء لا يحتاج لأن يكون نبياً أو محللاً عبقرياً لمعرفة حجم الزلزال المتوقع أن يصيب الوسط السياسي والشعبي خلال الفترة القريبة. فالأسئلة التي طُرحت من السياسيين في الأحاديث المغلقة، تثير القشعريرة أحياناً، وتخيف أحياناً أُخرى، ولذلك من المهم الآن سماع تلك الأسئلة وأجوبتها علناً، لأن هذه الحرب هي حرب الأسئلة أكثر من اي حرب أُخرى .
+https://www.al-akhbar.com/Culture_People/211207/%D9%83%D9%8A%D9%81-%D8%AA%D8%AE%D9%88%D8%B6-%D8%A5%D8%B3%D8%B1%D8%A7%D8%A6%D9%8A%D9%84-%D8%A3-%D9%85-%D8%A7%D9%84%D9%85%D8%B9%D8%A7%D8%B1%D9%83,كيف تخوض إسرائيل أُمّ المعارك ؟,وارتكزت الخطة الحربية التي وضعتها ميري إيزن، الناطقة الاعلامية باسم رئيس الوزراء الاسرائيلي، على ثلاثة مبادئ أساسية تحويل صورة حسن نصر الله الى مرادف للإرهابي و حثّ الرأي العام العالمي على التعاطف مع اسرائيل و خوض حرب مرئية شرسة . إيزن التي تعدّ الإعلام ساحة حرب حقيقية تستطيع التأثير في الشعب اليهودي والرأي العام العالمي وضعت خطة عمل اعلامية للتأثير في الصحافة الأجنبية التي كلّفت التعاطي معها مباشرة باسم الحكومة الاسرائيلية. وعلى رغم شكّها في الانتصار في هذه الحرب الاعلامية لا تنوي ايزن خسارتها بأي شكل من الأشكال. إذ أكّدت في مقالة نشرت أمس في صحيفة جيروزالم بوست الاسرائيلية، أنها أحرزت نجاحاً كبيراً في هذا المضمار تجسّد في تبنّي المجتمع الدولي المطالب الاسرائيلية، والمطالبة بتجريد حزب الله من سلاحه ونش�� الجيش اللبناني على حدود لبنان الجنوبية. ورأت ايزن أن ذلك يعدّ تحولاً كبيراً ولا سيما بعد موافقة الحكومة اللبنانية على المطالب التي كانت ترفضها منذ أكثر من ست سنوات . أما الإنجاز الآخر الذي تدّعي إيزن تحقيقه فهو حصول المتحدثين الاسرائيليين من محللين وسياسيين على في المئة من مساحة البثّ في المحطات التلفزيونية العالمية، وهذا أمر لم نشهده في الصراعات الاسرائيلية السابقة . وتكشف إيزن عن سعيها الدائم الى ايصال رسالتين محددتين في مقابلاتها مع الصحافة الأجنبية هما أولاً، التركيز على أن اسرائيل تريد حلاّ ديبلوماسياً للأزمة، لكنها ستواصل الدفاع العسكري عن نفسها حتى التوصل الى حلّ مماثل . ثانياً، التشديد على أن حزب الله يمثّل تهديداً للعالم بأسره، لأنه قوة ارهابية مسلحة تقف وراءها ايران وسوريا . وتدّعي إيزن أن حزب الله نجح إعلامياً في إخفائه صور جنازات أكثر من ارهابي من أعضائه سقطوا خلال المعركة مع اسرائيل، الأمر الذي اسهم الى حدّ كبير في الحفاظ على معنويات أعضاء الحزب ومؤيديه . وتخلص إيزن الى وجود صلة قوية بين صورة اسرائيل العامة والمجتمع اليهودي في العالم ، لذلك يجب ايلاء الحرب الاعلامية أهمية كبيرة لكيلا نسهم في تهميش الشعب اليهودي .,حرب مرئية شرسة
+https://www.al-akhbar.com/Culture_People/211206/%D8%A7%D9%84%D8%A3%D8%BA%D9%86%D9%8A%D8%A9-%D8%A7%D9%84%D9%88%D8%B7%D9%86%D9%8A%D8%A9-%D8%B5%D8%A7%D9%85%D8%AF%D8%A9-%D8%B9%D9%84%D9%89-%D8%B4%D8%A7%D8%B4%D8%A7%D8%AA-%D8%A7%D9%84%D8%AD%D8%B1,الأغنية الوطنية صامدة على شاشات الحرب,على شاشة نيوتي في ، يصدح صوت مارسيل خليفة صامدون هنا فيما راحت فيروز تغني على تلفزيون لبنان رح منكمّل باللي بقيوا . وقبل عرض نشرة الأخبار على فضائية المستقبل مساءً، يدعو أحمد قعبور اللبنانيين إلى محاربة من يريدون تحويل أرضهم إلى ملعب . أما جوليا بطرس وماجدة الرومي فراحتا تشجّعان ثوار الارض على ضرب العدو . حمّى الأغاني الوطنية انتقلت أيضاً الى تلفزيون المنار الذي طالما ابتعد عن بث هذه الأغاني مكتفياً بالاناشيد الحماسية. استعاد المنار بعضاً من أغاني الحقبات المضيئة من النضال العربي، منها خللي السلاح صاحي صاحي لعبد الحليم و الارض بتتكلم عربي لسيد مكاوي. ولجأ بعض المحطات الى دمج الاغاني بصور الدمار وصرخات الأمهات ومشاهد المجازر. لكن أي دور قد تؤدّيه الأغنية الوطنية في المواجهة المصيرية مع العدو الإسرائيلي؟ يرى أحمد قعبور أن هذه الاغاني تؤدّي دوراً محدوداً في مواكبة الاحداث، فالعالم لم يترك امام اللبناني أي خيار سوى الصمود، والأغنية هنا لن تضيف جديداً . أما الممثل المصري حسين فهمي، فيشدد على اولوية الغناء في ساحة المعركة، خصوصاً أن أي مشروع سينمائي يتطلب وقتاً قبل أن ينضج. لكنه يخشى من قلة الوعي السياسي عند المغنين وأثر ذلك السلبي في أعمالهم، مشيراً إلى ان الأغنية لن تفيد القضية إذا بقيت محصورة في دائرة محلية. ويرى أن الحل يكمن في تقديم أغان مشتركة مع فنانين غربيين .,غادر بعض النجوم لبنان فيما اعتصم بعضهم الآخر بالصمت. وغاب معظمهم عن شاشات التلفزيون، خصوصاً أن مخزونهم الغنائي لا يصلح لأيام الغضب والقتل والدمار. وبما أن اللحن والكلمة والصوت مستلزمات أساسية للصمود، عادت فيروز وعبد الحليم حافظ وماجدة الرومي ومارسيل خليفة وجوليا بطرس وأحمد قعبور إلى دائرة الضوء.
+https://www.al-akhbar.com/Culture_People/211205/%D9%8A%D9%88%D9%85-%D9%84%D9%85%D8%AD%D8%AA-%D8%AF%D9%85%D9%88%D8%B9-%D8%A7%D9%84%D8%B3%D9%8A%D8%AF,يوم لمحت دموع السيد,ويكشف أنه عندما وافق حزب الله على طلبه بمقابلة أمينه العام، اشترط عليه أن تكون لنصف ساعة فقط لكنها طالت إلى أكثر من ساعة. كان نصر الله متأثراً بثلاث مسائل اثنتان ايجابيتان وهما مشاعر النازحين والمهجرين تجاه المقاومة، وصمود المقاومين على الجبهة. كان يتحدث عنهم وهو على وشك البكاء. أما الأمر الثالث السلبي فهو ألمه لاستشهاد العرب في قصف حيفا . ويتوقف غسان عند هذا الحد من البوح، في انتظار يوم قد يأتي.,يحكي بن جدو عن السيّد بحب كبير، على رغم تكتمه على الكثير من تفاصيل المقابلة. كان ثاني أجمل لقاء لي معه. كان الحوار الممتع جداً بعد تحرير الجنوب مباشرة. لكن هذا اللقاء كان أكثر أهمية وأجمل بكثير. بدأ بعناق حار. قبلته. ودار حديث بيننا قبل التسجيل وبعده .

config.json

@@ -0,0 +1,59 @@
+{
+  "_name_or_path": "nour4286/ArabartModel",
+  "activation_dropout": 0.1,
+  "activation_function": "gelu",
+  "add_bias_logits": false,
+  "add_final_layer_norm": true,
+  "architectures": [
+    "MBartForConditionalGeneration"
+  ],
+  "attention_dropout": 0.1,
+  "bos_token_id": 0,
+  "classif_dropout": 0.1,
+  "classifier_dropout": 0.0,
+  "d_model": 768,
+  "decoder_attention_heads": 12,
+  "decoder_ffn_dim": 3072,
+  "decoder_layerdrop": 0.0,
+  "decoder_layers": 6,
+  "decoder_start_token_id": 2,
+  "do_blenderbot_90_layernorm": false,
+  "dropout": 0.1,
+  "early_stopping": true,
+  "encoder_attention_heads": 12,
+  "encoder_ffn_dim": 3072,
+  "encoder_layerdrop": 0.0,
+  "encoder_layers": 6,
+  "eos_token_id": 2,
+  "extra_pos_embeddings": 2,
+  "force_bos_token_to_be_generated": false,
+  "forced_eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "id2label": {
+    "0": "LABEL_0",
+    "1": "LABEL_1",
+    "2": "LABEL_2"
+  },
+  "init_std": 0.02,
+  "is_encoder_decoder": true,
+  "label2id": {
+    "LABEL_0": 0,
+    "LABEL_1": 1,
+    "LABEL_2": 2
+  },
+  "max_position_embeddings": 1024,
+  "model_type": "mbart",
+  "no_repeat_ngram_size": 3,
+  "normalize_before": true,
+  "normalize_embedding": true,
+  "num_beams": 4,
+  "num_hidden_layers": 6,
+  "pad_token_id": 1,
+  "scale_embedding": false,
+  "static_position_embeddings": false,
+  "tokenizer_class": "BarthezTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "use_cache": true,
+  "vocab_size": 50002
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:31e3c492b180d5b9c759225caada7f645a41f3369c7f3b7f84ac4aec158d78a3
+size 557116312

runs/Jun11_09-39-52_4bc9add42e99/events.out.tfevents.1718098825.4bc9add42e99.174.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:07e2e348d9f2cff273181d4b29b45d3e10200c94087a047798e6fd19ee6a4986
+size 88

runs/Jun12_07-16-03_cbc69c3ebe9c/events.out.tfevents.1718176594.cbc69c3ebe9c.245.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8a702b83f577f4f0d048d57d00773026ef8b4de49898896187d04df736e38f51
+size 8139

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cbb59d772bc9bb2da5dc4a73a00c61c0912c6d2596aad970fa2cd3d69898b245
+size 1315170

special_tokens_map.json

@@ -0,0 +1,15 @@
+{
+  "bos_token": "<s>",
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "BarthezTokenizer",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e093b0ef42262aa4f5c2207c61471f3bc5c4cd116ea5ed841df03ae30ea9591d
+size 6904