Upload folder using huggingface_hub

README.md

@@ -0,0 +1,78 @@
+---
+license: mit
+base_model: microsoft/deberta-v3-base
+tags:
+- generated_from_trainer
+metrics:
+- precision
+- recall
+- f1
+- accuracy
+model-index:
+- name: dnrti_deberta
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# dnrti_deberta
+
+This model is a fine-tuned version of [microsoft/deberta-v3-base](https://huggingface.co/microsoft/deberta-v3-base) on an unknown dataset.
+It achieves the following results on the evaluation set:
+- Loss: 0.2586
+- Precision: 0.7684
+- Recall: 0.7978
+- F1: 0.7828
+- Accuracy: 0.9373
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 8
+- eval_batch_size: 8
+- seed: 42
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- num_epochs: 10.0
+
+### Training results
+
+| Training Loss | Epoch | Step | Validation Loss | Precision | Recall | F1     | Accuracy |
+|:-------------:|:-----:|:----:|:---------------:|:---------:|:------:|:------:|:--------:|
+| 0.5854        | 0.76  | 500  | 0.4097          | 0.5198    | 0.6403 | 0.5738 | 0.8704   |
+| 0.3165        | 1.52  | 1000 | 0.3137          | 0.6396    | 0.6891 | 0.6634 | 0.9029   |
+| 0.2535        | 2.28  | 1500 | 0.2948          | 0.6330    | 0.7379 | 0.6814 | 0.9087   |
+| 0.2034        | 3.04  | 2000 | 0.2660          | 0.7062    | 0.7494 | 0.7272 | 0.9210   |
+| 0.1596        | 3.81  | 2500 | 0.2682          | 0.7071    | 0.7729 | 0.7386 | 0.9232   |
+| 0.1269        | 4.57  | 3000 | 0.2595          | 0.7285    | 0.7959 | 0.7607 | 0.9292   |
+| 0.1122        | 5.33  | 3500 | 0.2642          | 0.7468    | 0.7826 | 0.7643 | 0.9321   |
+| 0.0923        | 6.09  | 4000 | 0.2677          | 0.7513    | 0.8070 | 0.7781 | 0.9352   |
+| 0.0804        | 6.85  | 4500 | 0.2586          | 0.7684    | 0.7978 | 0.7828 | 0.9373   |
+| 0.0687        | 7.61  | 5000 | 0.2791          | 0.7522    | 0.8236 | 0.7863 | 0.9368   |
+| 0.0626        | 8.37  | 5500 | 0.2789          | 0.7614    | 0.8204 | 0.7898 | 0.9379   |
+| 0.0552        | 9.13  | 6000 | 0.2774          | 0.7674    | 0.8208 | 0.7932 | 0.9405   |
+| 0.0488        | 9.89  | 6500 | 0.2808          | 0.7742    | 0.8213 | 0.7970 | 0.9415   |
+
+
+### Framework versions
+
+- Transformers 4.36.0.dev0
+- Pytorch 2.1.0+cu118
+- Datasets 2.14.6
+- Tokenizers 0.14.1

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "[MASK]": 128000
+}

all_results.json

@@ -0,0 +1,25 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9373292349726776,
+    "eval_f1": 0.7828248587570621,
+    "eval_loss": 0.2586195170879364,
+    "eval_precision": 0.7684117125110914,
+    "eval_recall": 0.7977890373099954,
+    "eval_runtime": 4.4008,
+    "eval_samples": 661,
+    "eval_samples_per_second": 150.201,
+    "eval_steps_per_second": 18.86,
+    "predict_accuracy": 0.9551546683255103,
+    "predict_f1": 0.843024494142705,
+    "predict_loss": 0.18522900342941284,
+    "predict_precision": 0.8410539736506587,
+    "predict_recall": 0.8450042698548249,
+    "predict_runtime": 3.8458,
+    "predict_samples_per_second": 172.396,
+    "predict_steps_per_second": 21.582,
+    "train_loss": 0.1653548882613625,
+    "train_runtime": 1455.4869,
+    "train_samples": 5250,
+    "train_samples_per_second": 36.07,
+    "train_steps_per_second": 4.514
+}

config.json

@@ -0,0 +1,94 @@
+{
+  "_name_or_path": "microsoft/deberta-v3-base",
+  "architectures": [
+    "DebertaV2ForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "finetuning_task": "ner",
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "B-Area",
+    "1": "B-Exp",
+    "2": "B-Features",
+    "3": "B-HackOrg",
+    "4": "B-Idus",
+    "5": "B-OffAct",
+    "6": "B-Org",
+    "7": "B-Purp",
+    "8": "B-SamFile",
+    "9": "B-SecTeam",
+    "10": "B-Time",
+    "11": "B-Tool",
+    "12": "B-Way",
+    "13": "I-Area",
+    "14": "I-Exp",
+    "15": "I-Features",
+    "16": "I-HackOrg",
+    "17": "I-Idus",
+    "18": "I-OffAct",
+    "19": "I-Org",
+    "20": "I-Purp",
+    "21": "I-SamFile",
+    "22": "I-SecTeam",
+    "23": "I-Time",
+    "24": "I-Tool",
+    "25": "I-Way",
+    "26": "O"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "B-Area": 0,
+    "B-Exp": 1,
+    "B-Features": 2,
+    "B-HackOrg": 3,
+    "B-Idus": 4,
+    "B-OffAct": 5,
+    "B-Org": 6,
+    "B-Purp": 7,
+    "B-SamFile": 8,
+    "B-SecTeam": 9,
+    "B-Time": 10,
+    "B-Tool": 11,
+    "B-Way": 12,
+    "I-Area": 13,
+    "I-Exp": 14,
+    "I-Features": 15,
+    "I-HackOrg": 16,
+    "I-Idus": 17,
+    "I-OffAct": 18,
+    "I-Org": 19,
+    "I-Purp": 20,
+    "I-SamFile": 21,
+    "I-SecTeam": 22,
+    "I-Time": 23,
+    "I-Tool": 24,
+    "I-Way": 25,
+    "O": 26
+  },
+  "layer_norm_eps": 1e-07,
+  "max_position_embeddings": 512,
+  "max_relative_positions": -1,
+  "model_type": "deberta-v2",
+  "norm_rel_ebd": "layer_norm",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "pooler_dropout": 0,
+  "pooler_hidden_act": "gelu",
+  "pooler_hidden_size": 768,
+  "pos_att_type": [
+    "p2c",
+    "c2p"
+  ],
+  "position_biased_input": false,
+  "position_buckets": 256,
+  "relative_attention": true,
+  "share_att_key": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.36.0.dev0",
+  "type_vocab_size": 0,
+  "vocab_size": 128100
+}

eval_results.json

@@ -0,0 +1,12 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9373292349726776,
+    "eval_f1": 0.7828248587570621,
+    "eval_loss": 0.2586195170879364,
+    "eval_precision": 0.7684117125110914,
+    "eval_recall": 0.7977890373099954,
+    "eval_runtime": 4.4008,
+    "eval_samples": 661,
+    "eval_samples_per_second": 150.201,
+    "eval_steps_per_second": 18.86
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ad65b05d9a79f452e3a0d928b59972d06c948fac52078a994fee1710a0120db8
+size 735433636

predict_results.json

@@ -0,0 +1,10 @@
+{
+    "predict_accuracy": 0.9551546683255103,
+    "predict_f1": 0.843024494142705,
+    "predict_loss": 0.18522900342941284,
+    "predict_precision": 0.8410539736506587,
+    "predict_recall": 0.8450042698548249,
+    "predict_runtime": 3.8458,
+    "predict_samples_per_second": 172.396,
+    "predict_steps_per_second": 21.582
+}

predictions.txt

@@ -0,0 +1,663 @@
+B-SecTeam O O B-HackOrg O B-HackOrg I-HackOrg O O O O O O O O O O B-HackOrg O O O O O O O B-HackOrg O O O
+O O B-SecTeam O O O B-HackOrg O O O O O O
+B-SecTeam O O O O O O O B-Area B-HackOrg I-HackOrg O O
+O O O O O O O O O O O O O O B-HackOrg O
+O O O B-HackOrg O O B-SecTeam O O O O O O B-Area O
+O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O B-HackOrg I-HackOrg O O O O O B-Area O O
+O O O O O O B-SecTeam O O B-HackOrg I-HackOrg I-HackOrg O B-HackOrg I-HackOrg I-HackOrg O B-Area O B-Area O O O O
+O B-Tool O O O B-HackOrg I-HackOrg O
+O O O O O O O B-Tool I-Tool O O B-Tool I-Tool O O O O O O B-SecTeam O O B-SecTeam O O O
+O O O O O O O O O O O O O O O O O O B-Tool O B-Tool O
+O B-SecTeam O O O B-Tool O O B-HackOrg I-HackOrg O O O B-Tool I-Tool O
+O B-SamFile O I-Features O O O O O O O O O O O O O O O O O O O O O
+O O O B-SamFile I-SamFile O O O O O B-SamFile O O O O O O O B-SamFile O O O O B-SamFile O O
+B-HackOrg I-HackOrg O O O O B-HackOrg O O O O O O O O O B-Purp O O O O O O O B-Org I-Org O
+O O O O O O O O B-HackOrg I-HackOrg B-HackOrg O O O O O O O O O O O O O O O O O B-Idus I-Idus I-Idus I-Idus O B-Idus O O O O O O O O O B-Area O B-HackOrg I-HackOrg O
+B-HackOrg I-HackOrg O O O O O O O B-Area O O O O O O B-Purp I-Purp O O O O O
+B-SecTeam O B-HackOrg O O O O O O O O O O O O O O O I-Org I-Org O O O O O O O O
+B-SecTeam O B-HackOrg O O O O O O O O O O O O O O O I-Org I-Org O O O O O O O O
+O B-Time O O O O B-SecTeam O O O O O O B-Area O O O O O B-HackOrg I-HackOrg O O B-SecTeam O B-SecTeam O O O B-HackOrg O
+O B-Time O O O O B-SecTeam O O O O O O B-Area O O O O O B-HackOrg I-HackOrg O O B-SecTeam I-SecTeam B-SecTeam O O O B-HackOrg O
+O O I-HackOrg O B-Org I-Org O B-Org I-Org O
+O O O B-Exp O O O O O O O O O O O O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O B-HackOrg O O
+O B-HackOrg I-HackOrg O B-OffAct O O O O O O O O O O O O O O O O O B-Tool O B-Tool O
+O O B-SamFile I-SamFile O O O B-OffAct O O B-Way I-Way I-Way O O O O O O O O
+O O O O O O O B-OffAct I-OffAct O O B-Idus I-Org O
+O O O B-SamFile I-SamFile O O O O O O O O O O O O B-Org I-Org O O O O O O O B-Org O
+O O O O O O O O O O O O O B-OffAct O O O B-Area I-Area I-Area O
+O O B-Tool O O O B-Time I-Time O O O O O B-Tool O O O O O O O O O O O O B-Time I-Time O
+O B-OffAct I-OffAct O O O O O B-OffAct I-OffAct O O O O B-Area I-Area I-Area O O
+O O O O O O O O O O O O O O O B-Area O O O O
+O O B-HackOrg O O O B-Idus O O O O O O O O O O O O O O
+O O B-HackOrg O B-HackOrg O O O O O O O O O O O O O O O O
+O B-HackOrg O O O O O O O O O O O O B-Way I-Way O B-Way O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O B-Tool I-Tool O O O O O O O
+O O O O O O O O B-Tool I-Tool O O O O O O O O O O O O O O O O O O O O O O O O B-OffAct O O O B-OffAct I-OffAct O O
+B-Tool O O O O O O O O O O O O O O O O O O O O O O O O
+O B-HackOrg O O O B-HackOrg O B-HackOrg O B-HackOrg O O O O O O O O B-Purp I-Purp O B-Org I-Org O O B-Org O B-Area O
+O O O O B-Tool I-Tool O O O B-Area B-Idus O O O O O O O O O O
+O O O O B-SecTeam I-SecTeam O O O O O O O O O O B-Area O O O O O
+O O O O O O O O O O O O B-SecTeam O O O O O O O O O O O O O O O O O O O
+B-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-OffAct O B-Time I-Time O O O O O O O O B-Exp I-Exp O B-Exp O
+B-HackOrg I-HackOrg O O O O O O O O B-Time I-Time I-Time O O O O O O O O O O O O B-HackOrg O O O O O O O O O O O O O O
+O O O O O O O B-SamFile I-SamFile O O O B-Area O O B-Time O O O O O O B-HackOrg I-HackOrg O
+B-SecTeam I-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-OffAct O B-Time I-Time O O O O O O O O B-Exp I-Exp O B-Exp O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O O
+O O B-SecTeam O O O O O O O B-Tool I-Tool O O O O O B-SecTeam O B-SecTeam I-SecTeam O
+O O O O B-HackOrg I-HackOrg O O B-OffAct O B-Area O O B-Area I-Area O O O O O O O O O O O B-OffAct I-OffAct O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-HackOrg I-HackOrg O O O O O O O O O O O B-Area O O
+O O O O B-HackOrg I-HackOrg O O B-Tool O B-Tool O
+O O O O O B-HackOrg O O B-Tool O B-Tool O O O O O B-Tool I-Tool O
+O O O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O B-Idus O O O O O O O B-Idus O O B-Idus O B-HackOrg O O O O O O O B-Time O
+O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O I-Time O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O B-Idus O B-Idus O O B-Idus O B-HackOrg O O O O O O O B-Time O
+O O O O O O O B-HackOrg I-HackOrg O O O O B-Area O O O
+O O O O O O O O O O O B-Area O O O O O O O O B-Org I-Org O O O O O O O B-Time I-Time O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O B-Area O O O
+O O B-Time I-Time I-Time O B-Tool O O O O O O O O O O O O O O O O B-Org I-Org O
+O O O O O O O O O O B-HackOrg O O O O O O B-Tool I-Tool O O O B-Purp I-Purp O O O O
+O O O O O O O B-Tool I-Tool O O O O O O O B-HackOrg O O O B-HackOrg O O O O O O O O O B-Idus O O
+O O O O O O O O O O O B-OffAct I-OffAct O O B-Org I-Org O O O O
+O O O O O O O O O O B-Tool I-Tool O O O O O B-HackOrg O O O B-Time I-Time I-Time B-Time O
+O O O O O O O O O O O O B-Area O O O O O O O O O O O O O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-OffAct O O B-Org I-Org O
+O O B-Time I-Time I-Time O O O O O O O B-SamFile O O O B-Area B-Org I-Org O B-Purp I-Purp O
+O O O O O O O O O O B-HackOrg O O O O O O O O B-HackOrg O O O O O O O O B-Idus I-Org O
+O B-OffAct O O O B-HackOrg I-HackOrg O O O B-Org O B-Org I-Org O O O O O O O O O O O
+O O O O O O O O O B-HackOrg O O B-HackOrg I-HackOrg O O B-Way O B-OffAct I-OffAct O O O O O B-OffAct O
+O O O O B-HackOrg O O B-Way O O O O B-HackOrg I-HackOrg O O O O O B-Tool O O O
+O O O B-OffAct I-OffAct I-OffAct O O O O O O B-Time O O O B-HackOrg O O O O O O B-Org I-Org O O O O O O O B-Area O O B-Area O O O O
+O O O B-HackOrg I-HackOrg O O O O O O O B-Way I-Way O O O O O O O O O O O O O O B-OffAct I-OffAct O O
+O B-HackOrg O O O B-OffAct O O O O O O O B-Tool I-Tool O O O O O O O
+O O O O O O O O O O O O O B-SecTeam I-SecTeam O O B-OffAct O O O O O O O O O O O O O O O O O O O O O O B-Org I-Org O O O O O B-Area I-Area O
+B-OffAct O O O B-HackOrg O O O O B-Time O O B-SecTeam I-SecTeam O O O B-Tool I-Tool O
+O O O O O O O O O O O O O O O O O O B-Tool O O O O O O O O O B-HackOrg I-HackOrg O O B-Tool O B-Tool I-Tool I-Tool O
+O O O O B-HackOrg I-HackOrg O O O O O O O O B-Org I-Org O O O O O O O O O O O O O O O O O O O O B-Org I-Org I-Org O
+O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O B-Tool O O O O O O
+B-SecTeam I-SecTeam O O O O B-Tool O O O B-Tool O B-Tool O B-Tool I-Tool I-Tool O
+O B-Time I-Time I-Time O B-SecTeam O O O B-Way O O O O O O O O O B-Exp I-Exp I-Exp O O
+O O O O O O O B-HackOrg I-HackOrg O O O B-Way O O O O
+O B-Time O O B-HackOrg O O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O O
+B-Tool O O O O O O O O O O O O O O O O O O
+O O O B-Time I-Time O O B-SecTeam I-SecTeam O O B-Tool O O O O O O I-Tool O O O O O
+O O O O O O O O O O O B-Tool O O O B-HackOrg I-HackOrg O
+B-Org O O B-Exp O B-Time I-Time O O O O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O O O O O B-Way O O
+B-Org O O O O B-Time I-Time O O O O B-OffAct I-OffAct I-OffAct O O O O O O O O B-HackOrg I-HackOrg O O O O O O O B-Way O O
+O O O O O O O O O O O O O O O O B-Tool O O O O O B-Time O O B-Time I-Time I-Time B-Time O
+B-SecTeam I-SecTeam O O B-Tool I-Tool O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O B-Tool O O O B-OffAct O O O O B-Tool O B-Tool I-Tool O O B-Tool O O O O O B-OffAct O O O B-Time O
+O O O O O O O O O O O O O O O B-Tool O O O O O O O O B-Tool O B-Tool O O B-Tool O
+B-SecTeam I-SecTeam O O O O O B-Tool I-Tool O B-Time I-Time O B-Time O O O O O O B-Tool O
+O O O O O O O O O O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O O O B-OffAct O O O O
+B-HackOrg I-HackOrg O O O O B-Tool I-Tool O O O O O O O O O
+B-HackOrg I-HackOrg O O B-Way I-Way O O O O O O O O O O O B-OffAct I-OffAct I-OffAct O B-Time O
+B-SecTeam I-SecTeam O O O O O B-HackOrg I-HackOrg I-HackOrg O
+O O O B-Tool O O O O O O O O O O O O O O O O O O O B-Tool O B-Features I-Features O O O O O O O O O O
+O O O O B-SecTeam I-SecTeam O O O O B-HackOrg I-HackOrg O O O O O O O O O O
+B-HackOrg I-HackOrg O O O B-OffAct O O B-Way O B-Way I-Way O O O B-Time O O O O O O O O O O O O O O O O O
+O O O O O O O O B-Tool I-Tool O O B-HackOrg I-HackOrg O
+O O O O O O O O O O O O O O O O O O O B-SecTeam O O O B-OffAct I-OffAct O O O B-Idus O O O B-Idus O O O O O O
+O B-HackOrg O O B-Way I-Way O O O O O O O O O O O B-OffAct I-OffAct I-OffAct O B-Time O
+O B-HackOrg O B-Tool I-Tool I-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O B-OffAct I-OffAct O O O O O O O O
+O B-Time I-Time I-Time I-Time O B-SecTeam O O O O O O O O O O B-SecTeam O O O B-HackOrg O B-SecTeam O O B-HackOrg I-HackOrg O O
+O B-Time O B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O O O O O O
+O B-Time O B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O B-Area B-HackOrg O O O B-Purp I-Purp O
+O O O O O O B-Time I-Time O O B-SecTeam O O O O O O O O O O O O B-Time I-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O B-SecTeam I-SecTeam O O O O O O O O O O O O B-HackOrg O
+O O B-Time O O O O O O B-SecTeam O B-Tool O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-SecTeam I-SecTeam O O O O O O O O O O O O B-HackOrg O
+B-Tool O O O O O O O O O O O O O B-Time O O O O O O O O O O B-Time I-Time O
+O O O O B-Tool O O O O O O O O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O
+B-Tool O B-Tool O B-Tool O B-Tool O B-Tool O B-Tool I-Tool O O O O B-Features I-Features I-Features O O O O
+B-SecTeam I-SecTeam O O O O O O O O O O O B-Area O O O O O O O O O O O O O O O O O O O O
+O O O O B-HackOrg I-HackOrg O O O B-Tool I-Tool O B-Tool I-Tool I-Tool O O O O O O O O O O O
+O O B-Way I-Way O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam O O O B-HackOrg O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O
+O O O O O O O O O O B-Idus I-Area I-Org O B-Org O O O B-Org I-Org O O O B-HackOrg I-HackOrg O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-Idus I-Idus O O B-Org O B-Org O B-Org O B-Org O O O B-Org I-Org I-Org I-Org O
+O O O O B-SecTeam O O O O O B-OffAct O B-Org I-Org O O O O O O O O O O O O O O
+O O O O O O O O B-OffAct I-OffAct I-OffAct O O O O O O B-Time O O O O O O O B-OffAct O O B-HackOrg I-HackOrg O B-Org I-Org O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O O B-Purp I-Purp O
+O O O O O O O B-OffAct O O O O B-Area B-HackOrg I-HackOrg O O O B-HackOrg O O B-HackOrg I-HackOrg O O O O O O O B-Area O O O O O
+O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O O O B-Purp I-Purp O B-Purp I-Purp O O O B-Purp I-Purp O
+O B-OffAct O O O B-Tool I-Tool O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-OffAct O O O O O O O O O O O O O O O O O B-SamFile O O
+O O O O O I-Tool O O O O O O O O O B-Tool I-Tool I-Tool I-Tool O O O B-OffAct O O O O
+O B-HackOrg I-HackOrg O O O O O B-Tool I-Tool O O O O O B-Purp I-Purp O O O O O O
+O O I-Tool I-Tool O O B-OffAct O O O B-Tool I-Tool O O O O O B-SecTeam O O O B-Tool I-Tool O
+O O O O B-Features B-Features I-Features I-Features O O O O O O O B-OffAct O B-Area O O O O
+O O O O O O O B-Area B-HackOrg I-HackOrg O O O B-HackOrg I-HackOrg O B-HackOrg I-HackOrg O
+O O O O O O O O O B-HackOrg I-HackOrg O O O B-Tool O B-Features I-Features I-Features O
+O B-HackOrg I-HackOrg O O B-Tool O B-Tool O O O O O O O O O O O
+B-Tool O O O O B-HackOrg O B-OffAct I-OffAct I-OffAct O B-Features I-Features I-Features O O O O O O O O O O O O
+O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O B-Tool I-Tool O B-Tool O O
+O O B-Tool O O O O O O B-Area I-Area I-Area O O B-HackOrg O B-HackOrg O O B-HackOrg O
+O O O O O O B-Tool O O O B-HackOrg I-HackOrg B-Features I-Features I-Features O O O O
+O O O O O O O O O O O O O B-HackOrg I-HackOrg O B-Tool O O O O O O
+O B-SamFile O O O O O O O O O O O O O O O O O O O O B-HackOrg O O O O O O O
+O O B-Tool I-Tool O O O O B-HackOrg I-HackOrg B-Features I-Features I-Features I-Features O O O O O O O O O
+O O O B-Purp I-Purp I-Purp I-Purp I-Purp O O O O O O O O B-HackOrg I-HackOrg O O O O O B-Tool O
+O O O O O O B-Tool O O O O B-Area O I-Area O O O B-HackOrg O B-HackOrg O B-HackOrg O
+O O O O O O O O O O O O B-Tool O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-HackOrg O B-HackOrg O B-Tool I-Tool O
+O O O O O B-OffAct O O O O O O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O B-Org I-Org O O O O
+O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O B-Area O
+B-SecTeam O O O O O B-OffAct I-OffAct O O O O B-Time I-Time O O O O O O O O B-Tool O O O O O B-Area I-Area O
+B-SecTeam O O O O O B-HackOrg I-HackOrg O O O O B-Time I-Time O O O O O O O O B-Tool O O O O O B-Area I-Area O
+B-SecTeam O O O O O O O B-OffAct I-OffAct O B-Tool O O O O O O O O O O B-Time O O O O O O O O
+O O O B-HackOrg O O O O O O B-Idus O O B-Area I-Area O B-Area I-Area O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O
+O O O O O B-OffAct I-OffAct O O B-Area I-Area B-Org I-Org O O O O O O O O O O O O
+O O O O O O O O B-Time I-Time O B-Time O B-OffAct O O O O O O O B-Time I-Time O
+O O O O O O O O O O O O O O O O O B-Time O B-Time I-Time O
+O O O O B-HackOrg O O O O O O B-Area I-Area B-Org O B-Idus O O B-Area I-Area O O O O O O O O O O O O O O O
+O O O B-SamFile I-SamFile O O O O B-HackOrg O O O O O O O O O O O O O O B-Org I-Org I-Org O O O O O B-Area I-Area O O O O O O O O O O O O O O O
+B-Area I-Area O O O O O O O O O O O O O B-Area I-Area O B-Area I-Area O O O B-Idus O O B-Idus O O
+B-SecTeam O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O B-Org I-Org O O O O O O O O O
+O O O O O O O O O O B-Org O
+O O O O B-Features I-Features O B-Features I-Features O O O O O O O O O O B-Time O
+O B-SamFile O B-Way I-Way O O O O B-SamFile O
+O B-HackOrg O O O B-OffAct I-OffAct O O O O O O O B-Purp I-Purp I-Purp O O O O
+O O O B-OffAct O O O O B-Area I-Area O O O O O O O O O O B-Org I-Org O O O
+O O O I-Time I-Time O B-SamFile O O O O O O O O B-Tool O
+O O O O B-OffAct O B-HackOrg O O B-HackOrg O O O O O O O O O O O O O O O B-Org I-Org O
+O O O O O O O O O O O O B-SecTeam O O O O O O B-SamFile I-SamFile O
+O O O O B-HackOrg B-OffAct I-OffAct O O O B-Org O O B-Purp I-Purp I-Purp O
+O O O O O O O O O O B-Exp O O O B-SamFile I-SamFile O O
+O O B-Time O O B-Way I-Way O B-SamFile I-SamFile O O O O O O O O B-Exp O
+O O O O O O B-HackOrg O O O O I-Idus I-Idus O B-Idus I-Org I-Idus O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-OffAct I-OffAct I-OffAct O B-SecTeam O O O O O O B-HackOrg O
+O B-Time O O O B-SecTeam O O O O O B-HackOrg O O O O O O O O B-Idus I-Idus O O O O O O O B-Area O
+O B-Time I-Time O O O O O O O B-SecTeam O O O O O O O O O O O O O O O B-SecTeam O O O B-SecTeam O O O O O B-SecTeam I-SecTeam O O O B-SecTeam O O O O O O O O B-HackOrg O O
+O O O B-OffAct O B-HackOrg O O B-SamFile I-SamFile O O B-Way I-Way O O O O O O O O O
+B-HackOrg O O O O O B-SamFile I-SamFile O B-Way I-Way O
+B-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile O B-Purp I-Purp O I-Purp O
+O O O O O B-SecTeam O O O O O O O O O O O O O O O O B-HackOrg O O B-Way I-Way O
+O O B-Time O B-HackOrg O O O O O O B-Area O O O O
+O B-Time O O O O O O O O O O B-Area O B-SecTeam I-SecTeam O O O O O O O O O O B-Area O O O O O B-Org I-Org O B-Idus I-Idus O B-Org I-Org O B-Idus I-Idus O O B-Org I-Org O
+O O O O O O O B-Way I-Way O O O O O O O O O O O O B-HackOrg O O O O O O O O O O
+O O O B-Time O B-SecTeam O O B-HackOrg O B-Idus I-Idus O O O O O B-Org B-Idus O B-Idus I-Idus O O B-Org I-Org O
+B-SecTeam O O O B-HackOrg O O O O O B-Purp I-Purp I-Purp I-Purp I-Purp O O O O O O
+B-HackOrg O O O O O O O O B-Tool I-Tool I-Tool I-Tool O
+O O O O O O O B-HackOrg O O O B-SecTeam O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O O O O O O O O O O O O O O O O O O O
+O B-HackOrg O B-Area O B-Area O B-Area O O B-Area I-Area O O O O O O O O O O O O B-SecTeam O B-HackOrg O O O O O O O O O O O O O O
+O B-SecTeam O O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O B-Tool I-Tool O
+O O B-HackOrg O O O B-Idus O O O O O B-Area I-Area O O O O O O
+B-Area I-Area B-HackOrg I-HackOrg O O O B-OffAct O O B-OffAct I-OffAct O B-Purp I-Purp I-Purp O O O O O O
+O O O O O O O O O O O O O O B-HackOrg O
+O O O B-Purp O O O O O O O O B-SamFile O O O O O O O O O O O
+O B-Time I-Time O B-SecTeam O O B-Area I-Area B-HackOrg O O O O B-Area I-Area O O O O O O O B-Purp I-Purp O
+B-Time O O O O O O O O O O O O O O O O O O O O O O O O O B-HackOrg O O O O O B-HackOrg B-SamFile I-SamFile O O O O B-Tool I-SamFile O
+O O B-Time O O B-SecTeam O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Time I-Time O B-Time O B-SamFile I-SamFile O B-Exp O O O O O B-Tool I-Tool O
+B-Tool O O O O O O O O O O O O B-SecTeam I-SecTeam O O B-Time I-Time O
+O O O O O O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features O O B-Features I-Features I-Features O
+O O O O O O O O O O O O O O O O O O O B-OffAct I-OffAct O O B-Org O O O O O O O O O O O O O O O
+O B-OffAct I-OffAct O O O O O B-Time I-Time O B-Time O
+O B-OffAct O O O B-Org I-Org O O B-Area I-Area O B-Area O O B-Area O
+O B-OffAct O O O B-Org I-Org O O B-Area I-Area O B-Area O O B-Area O
+B-SecTeam O O O O O O O O O B-Idus O O O O O O O O O B-Exp O O B-HackOrg O O O O O O B-Exp O O O O O O O O O B-Exp O
+B-HackOrg O B-HackOrg O B-Area B-HackOrg I-HackOrg I-HackOrg O O O O B-Exp O B-Area B-Org O B-Org O O
+O O O B-SamFile O O O O O O O O O O B-Exp O O O O O O O O O O O O O O O B-SamFile O
+O O O O O O B-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-HackOrg O
+B-Area O O O O B-Exp I-Exp O O I-Purp I-Purp I-Purp I-Purp O
+O O O O B-Exp O O B-Tool O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-SecTeam O B-HackOrg O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-HackOrg O O O O O B-Tool I-Tool O O O O B-SamFile O O O O O O O O O O O O O O O
+O O O O B-SecTeam O O B-HackOrg O O O O O O O O O O O O O O B-SamFile O O B-Tool O O
+B-HackOrg O O B-Purp O O O O O O O O O B-Way I-Way O O O O O
+O O O O B-SecTeam O O B-HackOrg O O O O O O O O O O O O O O O O O B-Tool O O
+B-Tool I-Tool O O O O O B-HackOrg O O O O
+O O O O O B-HackOrg O O O O O O O O O O O O O O O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O O O O O
+O O B-HackOrg O O O O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O O B-Purp I-Purp O
+O O O O B-Tool I-Tool O B-HackOrg O O O O O O O B-OffAct O O O O O B-OffAct I-OffAct O O O B-Idus I-Idus O O O O O O O O O
+O O O O O B-SamFile I-SamFile O O B-OffAct I-OffAct O O O B-OffAct O
+O B-Tool I-Tool O O O O B-Purp I-Purp O O O O O O O O O O O O O O O O O
+B-Tool O O O O O O O B-HackOrg O B-Purp I-Purp O
+O O O O B-OffAct I-OffAct O O O O O O O O B-Purp I-Purp I-Purp O O O O O
+B-SecTeam O O O O O O B-Time I-Time I-Time O
+O O B-SecTeam B-Time O O O O O O O O O O O B-Time I-Time O O O O O O O O O O O O O O O O O O O B-Idus O B-Idus O O
+O O O O B-SecTeam B-Time O B-SecTeam O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-SecTeam B-Time O O O O B-SecTeam O O O O O O O O O O O
+O O O O O O O O B-SecTeam O O O O O O O B-Time I-Time O O O O O O O O B-OffAct I-OffAct I-OffAct O O O O O O I-Time O O O O O O B-Time O
+O B-OffAct I-OffAct O O O O O O B-Time I-Time I-Time B-Time O O O O O O O O O O B-Area I-Area O
+O B-Tool I-Tool O O O O B-Exp O O O O O O B-SecTeam O O O O B-Tool I-Tool I-Tool O O O O O
+O O B-Time I-Time I-Time I-Time O O O O B-Time O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-Area O O
+O B-Time I-Time O O O O O O O B-OffAct O O O O O O O
+O O O O B-SamFile O O O O O B-HackOrg O O B-Time O O B-Org I-Org O
+O O O O B-Time B-Time I-Time O O O O B-HackOrg I-HackOrg O O O O B-Area O O O O O O O B-Area I-Area O
+O B-Tool O O O O O B-Area O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-Way I-Way O B-Way I-Way O O O O O O O O B-OffAct O O B-Time I-Time O
+O O O O O O O O O O O O B-Time O O O O O B-OffAct I-SamFile I-OffAct O O O O O O O O O O O O O O O
+O O O O O O O B-Exp O O O O O O B-HackOrg I-HackOrg O B-Time I-Time I-Time B-Time O
+O B-SamFile O O O O O O B-SamFile O O B-Features O I-Features I-Features I-Features O O O O O O O O O O O O O O O
+O B-SamFile O O O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O O B-SamFile O O O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O
+O O O B-SamFile O O O O O O O B-Features I-Features O O O
+O O B-SamFile I-SamFile O B-SamFile O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-OffAct I-OffAct O O O O O O O B-Tool I-Tool O O O O B-Time I-Time O B-Time I-Time O
+O O O O O O O O O O O O O O O O B-Area O I-HackOrg I-HackOrg O O O B-Purp I-Purp I-Purp O O
+O O O O O O B-SecTeam I-SecTeam O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O O O O O O O O O O O O O B-Way I-Way I-Way O O O
+O O O O O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp O
+O O O O O O O O O O O O B-Tool O O O O O O O B-Purp I-Purp I-Purp I-Purp O O O
+O O O O O O O O B-Way I-Way I-Way O O O O O O O O
+O O O O O O O O O O O B-Tool I-Tool I-Tool I-Tool O
+O O O O B-HackOrg O B-Tool O B-Tool I-Tool O O O O O B-Tool O O O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O
+O O O O O O O B-Area B-HackOrg I-HackOrg O B-Idus I-Idus O O O O O O O O O O O O
+O O O B-HackOrg O O O O O O O B-Tool I-Tool O B-Tool I-Tool O O O O O O O O O B-Purp I-Purp O
+O B-HackOrg O O O O O O O B-Purp I-Purp I-Purp O
+O O O O B-Area B-Org O O O O O O O O O O O B-Area O
+O B-HackOrg O O O B-Tool I-Tool O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp B-Purp I-Purp O O O O O
+O O O O O O O O O O O O O O O O O O B-Area O
+O O O O O O O O O O B-HackOrg O O O O O O O O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O O O O
+O O O O O B-HackOrg O O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-Time I-Time O B-Time I-Time O O O O O O O O O O O O O O O O O O B-Area O O O B-Area O O B-Area O
+O B-HackOrg O O O O O O B-Purp I-Purp I-Purp I-Purp O O O O O O O B-Purp I-Purp O O O
+O B-HackOrg O O O B-Tool I-Tool I-Tool O O O B-Tool O O O B-Purp I-Purp I-Purp O
+O O B-Area B-HackOrg O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O O O O O O O O O O O O O O O
+O B-HackOrg O O O O O O O O O O O
+O B-Time I-Time O O O O O O O B-HackOrg O O O B-Area B-HackOrg I-HackOrg O O O O O O B-Org O O O O O O O O O B-Idus O B-Idus O B-Idus O O
+O O O B-Tool O O O O O O B-Tool O O O O O O O O O O O O O O O O B-Purp I-Purp O O O O
+O O O B-OffAct I-OffAct O O O O B-SecTeam I-SecTeam I-SecTeam O O
+O B-HackOrg O O O B-OffAct O O O O B-Area O O O O B-Tool O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-Way I-Way I-Way O O O O O O O O O O O O O O B-SamFile O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+O O O O O O O O O O O B-Features O O O O B-SamFile I-SamFile O B-SamFile O O O O O O O
+O O O O B-SecTeam O O O O B-SamFile I-SamFile O O O O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Idus O B-Area O
+B-SamFile B-Features I-Features I-Features I-Features O O O O O O O O O O O O O O O O O O
+B-SamFile O B-Features O O O O O O O O B-Org I-Org O O B-Features I-Features I-Features O O O
+O O O O O O O O O O O O B-SamFile O B-Features I-Features I-Features O O O O O B-Purp I-Purp I-Purp O
+O B-SamFile O O O O O B-Features I-Features I-Features I-Features O B-Features I-Features I-Features O O O O O
+O O O O O O O O O B-SamFile O O O B-Features O O O O O O O O O B-Time O
+O O O O O O B-Area O O B-Time O B-SamFile O O O B-Features I-Features O O O O O O O O O O B-Features I-Features I-Features O O O O O O O O O O
+B-SecTeam O O O O O O O O B-SamFile O O B-SamFile O O B-Features O O O O O O O
+O B-SamFile O O O O B-Org I-Org I-Org O
+O O O O O O O O O O O O O O B-SamFile O O O O B-Idus O O O O O O O O
+B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-SamFile O O O O O O O O O O B-Purp O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O B-SamFile O O O O O O O B-Org I-Org O O
+O O B-SecTeam O O O O O O B-SecTeam I-SecTeam I-SecTeam O O O O O B-HackOrg O O B-Purp I-Purp O I-HackOrg O B-SecTeam O O B-Time O
+O B-Time O B-SecTeam O O B-SecTeam O O O O O O O O O O O O O O O O O O
+O B-HackOrg O O B-Purp I-Purp O B-Purp I-Purp O O B-Purp I-Purp O O O O O O O O O O O
+B-SecTeam O O O B-OffAct I-OffAct O O O O O O O O O O O O O O B-OffAct O
+O O O B-HackOrg O O O O O O O B-Time O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-HackOrg O O B-Area O O
+O O O O O O O O O O O O O O O O O B-Way I-Way O O B-SamFile O O
+O B-SamFile O O O O O O O O O O O O O O O O O O O B-SamFile I-SamFile O O O O
+O O O O O O O O O O O O B-SamFile O O O O O O O O O O O O O B-SamFile I-SamFile O
+O O O O O O O O O O O O O O O O O B-SamFile O O O B-SamFile I-SamFile O
+B-SamFile O O O O O O O O O O O O O O O O B-SamFile O O O O O O O
+O O O B-Tool I-Tool I-Tool I-Tool I-Tool O O B-HackOrg I-HackOrg O O O O O O O O O O B-Org O O O O O O O O O O
+O O O O O O O O O O O O I-HackOrg O O O O O O O B-Tool I-Tool O O O O O O
+O O O O O O O O O B-Org O O O O O O O O O O O O B-Features I-Features I-Features I-Features I-Features O O O O O B-Purp O B-Purp I-Purp O
+O O O O O O O B-Exp I-Exp O O O O
+B-Tool O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features I-Features O
+B-Tool O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features I-Features O
+B-Tool O O O O O O O O O O B-Tool O O B-SamFile O O B-Purp I-Purp I-Purp O O O O O O
+B-Tool O O O O O O O O O O B-Tool O O O O O O O O O O O O O O O O B-Tool O B-Tool O B-Tool O
+B-Tool O O O O B-Tool O O O O O B-Features I-Features O B-Features I-Features I-Features I-Features O
+O B-Tool O B-Tool O O O O O O O O B-Features I-Features O O O O O O
+O O O O O O O O O O O O O O O B-Tool I-Tool O O O B-Features I-Features I-Features I-Features O O O O O B-Tool O O O O B-Features I-Features I-Features I-Features O
+O O O O O O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Area O B-Area O
+O O O O O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O B-Area I-Idus I-Idus I-Idus O
+O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O
+O O O O O O O O O O O B-Area O B-Area O O B-Area O
+O O O O O O O B-Time O O O B-Org O O O B-Idus O B-Org I-Org O O B-Area I-Area O
+O O B-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-Time O
+O O O O B-HackOrg I-HackOrg O O O O B-Time I-Time O O O B-Area O I-Org B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O
+O O O B-HackOrg I-HackOrg O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O O B-Area O
+O O O O O O O O O B-Time O B-Purp I-Purp I-Purp O O B-Purp I-Purp I-Purp O I-Purp O O O O O O O
+B-SecTeam O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O B-HackOrg O O O O O O O O O O O O O O O O B-Org O O O O O O
+B-SamFile B-Features I-Features O I-Features O O O O O O O O O O O O B-Features I-Features I-Features O B-Features I-Features I-Features O
+B-SamFile O O O O O O O O O O O O O O O O O O O B-Features I-Features O O O B-Features O O O O
+O O O O O O O O O O B-Time O O O O O O O O O O O O B-Org O O O B-Exp O O O O O O O B-OffAct I-OffAct I-OffAct O O O O O O
+O O O O O O B-Tool I-Tool O O O B-Tool O O O O O O O O O O O O O O B-Tool I-HackOrg O B-Tool O O O
+O O O O B-Tool O O O O O O O O O O O O O O O B-Tool O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-Tool O O I-Way I-Way O O O O O O O O O
+O O O O O O O O O B-Tool O O O O O O B-Tool O B-Tool I-Tool O
+O O O O O O B-SamFile B-Features I-Features I-Features O O O O O O O O O O O O O B-Features I-Features I-Features I-Features O O O O O O O O O O O
+O O O O O I-Features B-Features I-Features I-Features I-Features I-Features I-Features O O O O O O O O O B-Purp I-Purp I-Purp O O O
+O O O O O O O O O O B-Tool O O O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O
+O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O B-Tool O B-Tool I-Tool O
+B-SecTeam O O O O O O O B-HackOrg I-HackOrg O O
+O O O O O B-HackOrg I-HackOrg O B-OffAct O O O O B-Way I-Way O O O O O O
+O B-Tool I-Tool O O O O O O O O O O O O O O O O B-Features I-Features I-Features O O O O O O O O O O O O O O O
+O O B-SecTeam O O O O B-Tool I-Tool O O O O O O O O B-Tool I-Tool O
+O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O B-OffAct O O O O O O B-Idus O O B-Area O
+O B-HackOrg O O O O O B-SecTeam O O O O
+B-HackOrg O O O B-HackOrg O O O O O O O B-Time O
+B-Tool I-Tool O O O O O B-SecTeam O O O O
+O O B-HackOrg I-HackOrg O O B-Tool I-Tool I-Tool O O O O O O O O O O O O O O O O O O O O O O O O O B-OffAct O
+O O O O O O O O O O O O O O O O O O O O O O O B-Area B-HackOrg B-HackOrg O
+O O O O O O O O O O O O O O O B-Time I-Time O O O O O O O O O B-SecTeam O O O O O O O
+O O O O O O B-SecTeam O O O O O O B-HackOrg O O O O O O O O O O O O O B-Area O O O O
+O O O O O O B-Time O O O O O O O O
+O O O B-Tool O O O O O O O O O O O O O O O O O O O O O O O B-Tool I-Tool I-Tool O B-Tool O B-Tool O B-Tool O
+O O O O O O O O O O O O O O O O O O B-Tool I-Tool O
+O O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O B-Tool O B-Tool I-Tool O
+O B-SecTeam I-SecTeam I-SecTeam O O O O O O O O O B-Tool O B-Tool O O O O O O O O O O O
+B-HackOrg O O O O O B-Tool O O O O O O O O O B-Way I-Way O O O O O
+O O O O O O O O O O O B-Area I-Area O O O O O B-Area I-Area O O O B-OffAct O O O O O O O O B-Area O O O O O B-Area O O
+B-Tool O O O O O O O O O O O B-Tool I-Tool O O B-Tool O O O O O O O O O
+O O O O O O O O O O O B-Area I-Area O O O O O B-Area I-Area O O O B-OffAct O O O O O O O O B-Area O O O O O B-Area O O
+B-OffAct I-OffAct O B-Time O O O B-OffAct O O O O O O O O O O O B-Idus O B-Idus I-Idus O
+O O B-Area I-Area B-Idus O B-Tool O O O O O O O O O O O O O O O O O O O O B-Tool O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features O O B-Features O O O O
+O O B-Area I-Area B-Idus O O O O O O O O O O O O O O O O O O O O O O B-Tool O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features O O B-Features O O O O
+O O B-Time I-Time O O O O O B-Way I-Way O O O O O O
+B-Tool O O B-Tool O O B-Features I-Features I-Features I-Features O B-Features I-Features O
+B-SecTeam O O O B-Tool O O O O O O O B-Area O O B-Org I-Org O B-Way I-Way O O O O B-Time I-Time O B-Time O
+B-Tool O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-OffAct I-OffAct O O O O O O O O O O O O
+O O O B-Time O O O O O O O B-SamFile O O O O B-Tool I-Tool O
+B-HackOrg I-HackOrg O O B-HackOrg O O O O O O O O O O O O O B-Tool O B-Tool O
+O O O O O O O I-HackOrg O B-Tool O O O B-Time I-Time O O O O O O O O B-Tool I-Features O O B-Way I-Way O O O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O O O O B-Tool I-Tool B-Tool O B-Tool O
+O O O O O O O O O O B-Purp I-Purp O O O O O
+O O B-Tool B-OffAct O O O O O O O O B-Time I-Time O
+O O O B-OffAct I-OffAct O O O B-SecTeam O O O O B-Tool O O O O B-Tool I-Tool O O O O O O
+O O O B-OffAct I-OffAct O O O B-SecTeam O O O O O O O O O B-Tool I-Tool O O O O O O
+B-Tool O O O O O O O B-OffAct O B-OffAct I-OffAct O O O O O B-Time O B-Time O O O O O O O O O O O O O O O
+O O O O O O O B-Tool O B-Tool O O O O O O O O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam I-SecTeam O O O B-HackOrg I-HackOrg O O B-OffAct O B-HackOrg O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-Tool O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam I-SecTeam O O O O O O O B-HackOrg O O O B-Tool O O B-Org O O O O O O O O O B-OffAct I-OffAct O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-Time I-Time O I-Time O O O O
+O O O O O O O O O O O B-Purp I-Purp O O O O B-Idus O B-Idus O O
+O O O O O O O O O B-Tool I-Tool O O B-SecTeam O O O B-Time I-Time O
+O O O O O O O O B-Tool I-Tool O O B-SecTeam O O O B-Time I-Time O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O O O O O O O O O O O O O O B-Time I-Time O B-Time O O O O O O O B-Way I-Way I-Way O O B-Org I-Org O O O O O
+O O O O O O O O O O O O B-Exp O O B-SamFile I-SamFile O
+O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O O O O O O O O O B-Way I-Way O
+O O O O O O O O O O O O O O O O B-Time I-Time O B-Time O O O O O O O B-Way I-Way I-Way O O B-Org I-Org O O O O O
+O O O O O O O O O O O O O O O O O O O O B-Way I-Way O O
+O O O O O O O O O O O O O O B-SecTeam O O O O O O B-OffAct I-OffAct O B-OffAct I-OffAct O O O O O O O O B-Area I-Area O B-Area O
+O O B-Time I-Time O O O O O O O O O O O O O O B-Tool O B-Tool O O B-Tool O O O O O O O O O O O O O O O O O O O
+O B-Time I-Time O O O O B-HackOrg I-HackOrg O O B-Area O O O O O O B-Area O
+O O O B-Org I-Org O O B-OffAct O O O O O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+O B-SecTeam I-SecTeam I-SecTeam O O O O B-HackOrg I-HackOrg O O B-Time I-Time O O O O O B-OffAct O O O O O O B-Area O O O O B-Idus I-Idus O
+O O O O O O B-Features I-Features I-Features O O B-Org O O O O O B-SecTeam I-SecTeam O O O B-HackOrg I-HackOrg O B-Time I-Time O
+B-SecTeam I-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O B-Tool O B-Tool I-Tool O O O
+B-HackOrg O O O B-Tool I-Tool I-Tool O O O O B-Tool O O O O O B-HackOrg O O O O
+B-HackOrg O O O O B-Tool I-Tool O O B-OffAct O O O O O O O O O B-Tool O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O O O O O
+B-SecTeam O O O O O O I-HackOrg O O O O B-HackOrg O O O O O O O B-Time O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp I-Purp I-Purp O
+B-HackOrg O O O O O O O O O O O O O O B-Way I-Way O O O O B-Tool I-Tool O
+O B-Time O B-Time O B-HackOrg O B-OffAct I-OffAct O O O O
+O O O O O O O O B-Area O O O O O O O O O B-Area O
+O O O B-HackOrg O O O O O B-Idus O B-Idus O B-Idus O O B-Org I-Org O
+B-HackOrg O O O O O O B-Tool O O O O O B-SamFile O B-SamFile I-SamFile O O O O O O O O O
+O O O O B-Tool O O O O O B-Tool O O O O
+B-HackOrg O O O O O O O O O O O O B-Tool O
+O O O B-Tool O O O O O O O O O O O
+B-HackOrg O O O O O O B-Tool O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-HackOrg O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp I-Purp O
+O O O O O O O O O O B-Tool I-Tool I-Tool O O B-Tool O B-Tool O O O O O O O O O O O O O O B-Exp O O O O O
+O B-Tool O B-Tool O O O O O B-Features I-Features I-Features I-Features O O B-Features O O O O O O O O
+O O O O O O B-Tool O O O O B-OffAct O O O
+O B-Tool O O O O O B-Tool O O O O O O O B-Tool O O O O O O O
+O B-Time I-Time O B-Time I-Time O O O O O O O O O O B-HackOrg O O O O B-OffAct O B-Idus O B-Idus O O B-Idus O O B-Area I-Area O B-Area O
+O O O O B-Tool O O O O O O O O O O O O B-Idus I-Idus O
+B-HackOrg O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O
+O I-HackOrg O O O B-Org O B-Org I-Org I-Org O O O O
+O O O O O O O O O O B-Tool I-Tool B-Tool I-Tool O O O O I-Purp O O O O
+O I-HackOrg O O O O O O O O O O O O O B-HackOrg O O O O O O O O O O B-OffAct I-OffAct O
+B-HackOrg I-HackOrg O O O O B-Org I-Org O B-Area O B-Area O O B-Area O O B-Area I-Area O B-Area O B-Area O B-Area O B-Area B-Area I-Area O O O O
+O O O O O O O O O O O O O B-SecTeam O O O O O O O B-Tool I-Tool O O O O
+O O O O O O O O O B-SecTeam I-SecTeam O O O O O O O B-OffAct I-OffAct O O O O O O O O O B-OffAct I-OffAct O O O O O B-Area I-Area B-Org I-Org O
+O O O O O O O B-OffAct I-OffAct O O O B-Area I-Area B-Org I-Org O
+O B-HackOrg I-HackOrg B-HackOrg I-HackOrg O O B-Area O O O B-Tool O O O
+B-HackOrg O O O O O O O O
+O O B-OffAct O O O O O O O O O O O B-Tool O
+B-HackOrg I-HackOrg O O O B-Tool O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-Tool I-Tool O O O O O O B-Time O O O O O O O O O O O B-Tool I-Tool O
+O O O O O O O O O O O O O O O B-Tool O O O B-Way I-Way O
+O B-Tool O O O O O B-Tool O B-Time O O O O O B-Tool I-Tool O O O O O O O O O O
+B-HackOrg O O O O O O O O O O O O B-Features I-Features I-Features O O O O O O O O O O O O O O O O
+O O B-OffAct O O O O O O O B-Time I-Time O I-Time O O O O
+O O O O O O O O B-OffAct I-OffAct O O B-SecTeam I-SecTeam O O B-Time O B-Time I-Time I-Time O
+O O B-Tool I-Tool I-Tool O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O
+B-SamFile O O O O O O O O O O B-Tool O B-Tool O O O O O O B-OffAct I-OffAct O O O O O O O O O O O O
+O O B-OffAct O O B-Time I-Time I-Time I-Time O O O B-Tool I-Tool O O O O O O B-Tool O O O O O O O O O O O O O O O O B-Org I-Org O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O B-OffAct I-OffAct O
+O B-SecTeam I-SecTeam I-SecTeam O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O B-Tool I-Tool O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O B-HackOrg O O O O O O B-Time O O O O O O O O O O O O O O B-Time O
+O O O B-SecTeam O O O O O O B-HackOrg O O O
+O O O B-HackOrg I-HackOrg O O B-Tool I-Tool O O B-OffAct I-OffAct O B-Area O
+O O O O O B-OffAct O O O O O O O O O B-SecTeam I-SecTeam I-SecTeam O O O
+O O O O O O O O B-HackOrg O O O O O O O O O O O O O I-Org O B-Area I-Area O
+O O O O B-Tool O O O B-Tool O O O B-Tool O O O O O O O O O O O O O O O O O O O O O O B-HackOrg O B-HackOrg O
+O O O B-SamFile O O O O O O O O O O O O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area I-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area I-Area O B-Area O
+O B-Time O O B-SecTeam O B-SecTeam O B-OffAct O B-Tool O B-Area O O
+O B-Time I-Time O B-SecTeam O O O O O B-OffAct I-OffAct I-OffAct O O O B-OffAct I-OffAct O B-Area I-Area O B-Area O B-Area O B-Area O B-Tool O O O O B-Tool O B-Tool O
+O O O O O O O B-HackOrg O O O O B-Area O B-Area I-Area O
+O O O O O O O B-HackOrg O O O O B-Area O B-Area I-Area O
+O O O O O O O O O O O B-Area O O O O O O O O O O O O
+O O O O O B-Area O B-Area O O B-Area O B-Time I-Time O O O O O O O O O O O O O O O O B-Tool O
+O O O O O O O O O O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O O O O O O O O O O B-SamFile O O B-SamFile O O
+B-SamFile O O O O O O O O O O O B-Features I-Features I-Features O O B-HackOrg O
+O B-SamFile O O B-Tool O O O O O O O O O O
+O B-Tool I-Tool O O O O O O O O O O O B-SamFile I-SamFile I-SamFile O O O O
+B-SecTeam O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O B-SamFile I-SamFile O O B-HackOrg O O O B-Time O
+O O O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O O O O B-Tool I-Tool O
+O B-SecTeam O O O O O O O O O O O B-HackOrg O
+B-SecTeam I-SecTeam O O B-HackOrg O O O O O O O O B-Tool I-SamFile O
+B-SecTeam O O O O O O O O O B-HackOrg O O O O B-Way I-Way I-Way O
+O O O B-OffAct I-OffAct I-OffAct O O O B-Tool I-Tool O O O O B-SamFile I-SamFile O O O O B-Exp O B-Exp B-Exp O O
+O O O O O B-HackOrg O O O O O O O O O O B-Way I-Way O O O O O B-SamFile I-SamFile I-SamFile O O O O O
+O B-SamFile I-SamFile O O B-Exp O
+O O B-HackOrg O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O
+O B-HackOrg O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O
+O B-SamFile I-SamFile O O O B-OffAct O O O O O O O O O O O O O B-Idus I-Idus O O O O O B-Area O O O O O O O B-Area O O O O O O
+O O O O B-SecTeam I-SecTeam O O O O O O O O O O B-SamFile I-SamFile O O B-Exp O B-Exp O O
+O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O O O O B-Exp O O
+O O O O O O O O O B-Tool O O B-Tool O O O O O O O O O O O O O O O O
+B-Tool O O B-Tool I-Tool O O O O O O O O O O O O
+O O O O B-Tool I-Tool O O O B-Time O O O O B-Tool O O O O O O O O O B-OffAct I-OffAct O
+O O O O O O O O O B-Tool I-Tool O O O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O B-Exp O O O O O O O O O O O
+O O O O B-Time O O O O O O B-SamFile I-SamFile O O B-Way I-Way I-Way I-Way O
+O O O O O O O O O B-Features I-Features O O O O O O O O O O O O O O O O O O O O O B-SamFile O B-SamFile O
+O O O O O O B-Tool I-Tool I-Tool O O O O O O O O O O O O B-SamFile O O
+O O O O O B-Tool O B-SamFile O B-SamFile O
+O O O O O O B-Area O I-HackOrg O O O O B-HackOrg O O O B-Tool I-SamFile O O O O O B-Tool O
+O O O O O O O O B-SecTeam I-SecTeam O O O B-HackOrg O O O B-Tool O O O O O O O O O O O O B-Tool I-Tool O O O O O O O O O O O O B-Tool O O O B-Tool O O B-Tool I-Tool O
+O O O O O B-OffAct O B-Time I-Time O I-Time O O B-Time I-Time O I-Time O O B-Tool I-Tool O B-Features O B-Tool O O O O O O
+O B-SamFile I-SamFile O O O O B-Tool I-Tool O O O O O O O O B-Tool O O O O O O O O O O O O B-SamFile O
+B-SamFile O O O B-SamFile O O O O B-Features O B-SamFile I-SamFile B-Features O O O O O
+O O O O O O O O O O O B-SamFile O O
+O O O O O O O O O O O O O O O O O O O O B-Tool O B-Exp O O O O O O
+O B-SamFile I-SamFile O O O O O B-Exp O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O B-Way I-Way I-Way O O O O O O O O
+O O O O O O O O O O B-SamFile O O O O O B-Tool I-Tool O
+O O O O O O O O O B-SamFile O O O O B-SamFile O O O O O O O O O O O
+O O O O O O B-SamFile O O O O O O O O O O O O O O O O B-Features I-Features I-Features I-Features O B-Features I-Features I-Features O
+O O O O O B-OffAct O B-SecTeam O O O O O B-Tool O O O O O O O O O O O B-Tool O
+O O O O B-Time I-Time O O O O B-SecTeam O O O O O O O O O O O O O O O O I-Tool O O O O O O O O O
+O O O O O O O O O O O B-SamFile O B-Time I-Time O O O O O B-Area I-Area B-Org I-Org O O O O O O O B-Area O
+O B-SecTeam O O O O B-Tool O B-Tool O B-Tool O O O O O O O O O B-SecTeam O O O O O O O B-Tool I-Tool O
+B-Way I-Way O O O O B-SamFile O O O O O O O O O O O
+O B-Tool O B-SamFile O O O O O O O O O O O O O O O
+O O O O O B-Time I-Time I-Time O O B-Time O O O O O O O O B-HackOrg I-HackOrg O O O O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O O O O O O O O B-SamFile O O O O B-Exp I-Exp I-Exp I-Exp O B-Exp O
+O B-SamFile O O B-Way I-Way O O O B-OffAct O O O O B-Exp O O O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O
+O O B-SamFile O O O O O O O O B-Exp O B-Exp O B-Exp O O O O O O O O O O O
+O O B-HackOrg O O O O B-SamFile I-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-Tool I-Tool O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O
+B-SecTeam I-SecTeam O O O O B-Exp I-Exp I-Exp O O O B-OffAct I-OffAct O O B-SamFile O B-SamFile O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-Exp O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O B-Time I-Time O
+O B-SamFile O O O B-Exp O B-SamFile O
+O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O O O B-Exp O B-Exp O
+O O O O O O O O O B-SamFile I-SamFile O O O B-Exp O O O O O O O
+B-SecTeam O O O O O O O O O O O B-SamFile O O O O O B-Exp O
+O O O O O O O O O O O O B-Exp O O O O O O O O O O O B-SamFile O O O O O O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Exp O O O O B-SamFile I-SamFile I-SamFile O B-SamFile O O O O O O O O
+O O O O O O O B-SamFile O O B-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O
+O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O B-Exp O B-Exp O B-Exp O O O B-HackOrg O O O O O O O O
+O O B-SamFile O O O O O O O O O B-Exp O O O O O O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O B-Org I-Org O O B-OffAct O O O O O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O B-Org O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+B-Tool O O O O O O O B-OffAct I-OffAct O O O O O O O O B-Org I-Org O B-Org I-Org O O O O O O O O O O O O O B-HackOrg O O B-Exp I-Exp O O O O B-Tool O B-Time O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O B-Org O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+O O O O O O O B-HackOrg B-Way I-Way I-Way O O O O O O O B-Purp O O O O O O O O O O O O O O
+O O O O B-HackOrg O B-Tool O B-Purp I-Purp I-Purp O O O O O O O O O O O O B-HackOrg O O O
+B-HackOrg O O B-Idus I-Idus O O B-Purp I-Purp I-Purp O O O O O O O
+O O O O B-HackOrg O B-Tool O O O O O B-Purp O B-Tool I-Tool O O O O O
+O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-HackOrg O O O B-Purp I-Purp I-Purp I-Purp O I-Purp O O O O O
+O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O B-Purp O I-Purp O
+O O O O O O B-Purp I-Purp O O O O O O B-Idus O O
+B-HackOrg O O O O O O B-Idus O O O O O O O B-Purp I-Purp I-Purp O O O O B-Purp I-Purp I-Purp O
+B-HackOrg O O B-Way I-Way I-Way O B-Purp I-Purp O O O O O O O B-Way O O O O O B-HackOrg O O O O O O O O
+B-SecTeam O O O O O O O O O O O B-Purp I-Purp B-Purp I-Purp O O O B-HackOrg O O O O B-SamFile O
+O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O
+O O B-HackOrg O O O O O O O O O O O O B-Purp O O O O O O O O O
+O O B-OffAct O O O O O O O B-HackOrg B-Purp I-Purp O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O B-Purp O O
+O O O O O O O B-HackOrg O O O O O B-Org I-Org O B-Purp I-Purp O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O O O O O
+O O O O O O B-Way O O B-Purp O O O O O B-HackOrg I-HackOrg O O B-Way O O O O O O O B-Purp I-Purp I-Purp O
+O O O O O B-Time I-Time O B-HackOrg O O O O O O O O B-Purp O O O O O O
+O O O B-Tool O O B-HackOrg O O O O O O O O O O O O O O B-Purp I-Features I-Features I-Features O O O O O O
+O O O O B-SecTeam O O O B-HackOrg O O O B-Idus I-Idus O O B-Area I-Area O O O O O O B-Purp I-Purp I-Purp I-Purp O
+B-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile O B-Purp I-Purp O I-Purp O
+O O O B-Purp O O O O O O O O B-SamFile O O O O O O O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+B-SamFile O O O O O O O O O O B-Purp O O O O O O O O O O O O
+B-Tool O O O O O O O O O O B-Tool O O B-SamFile O O B-Purp I-Purp I-Purp O O O O O O
+O O O B-OffAct O B-HackOrg O B-Way I-Way I-Way O B-SamFile I-SamFile I-SamFile O O B-Purp I-Purp I-Purp O
+O B-HackOrg O B-Tool I-Tool I-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O B-OffAct I-OffAct O O O O O O O O
+B-HackOrg O O O O O B-Exp I-Exp O O O O B-Purp I-Purp I-Purp O
+O O O O O O B-Exp I-Exp O O O O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O O B-Exp O O B-Tool O B-Purp O O O O O O O O O O O B-Way O B-Way I-Way O
+B-HackOrg O O O O O O B-Exp I-Exp O O B-Tool I-Tool I-Tool B-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O
+B-Exp O O O O O O O O B-Tool O O O O B-HackOrg O B-Purp I-Purp O O B-Purp I-Purp I-Purp O O O O
+O O O O O O O B-Exp O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O O B-Purp I-Purp I-Purp O
+O O B-Purp I-Purp I-Purp I-Purp I-Purp O O B-Tool I-Tool I-Tool O B-Tool O O B-Exp O O O O O O O O
+O O O O O O O B-Time I-Time O O O O O O B-Exp O O B-HackOrg I-HackOrg O O O O O B-Way I-Way O B-Purp I-Purp I-Purp I-Purp O O O O B-Org I-Org O O O O O O
+O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O O O O O O O O O O O O O B-Exp O O O O O O O O O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O O O O O O O O B-SamFile O O O O B-Exp I-Exp I-Exp I-Exp O B-Exp O
+O B-SamFile O O B-Way I-Way O O O B-OffAct O O O O B-Exp O O O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O
+O O B-SamFile O O O O O O O O B-Exp O B-Exp O B-Exp O O O O O O O O O O O
+O O B-HackOrg O O O O B-SamFile I-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-Tool I-Tool O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O
+B-SecTeam I-SecTeam O O O O B-Exp I-Exp I-Exp O O O B-OffAct I-OffAct O O B-SamFile O B-SamFile O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-Exp O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O B-Time I-Time O
+O B-SamFile O O O B-Exp O B-SamFile O
+O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O O O B-Exp O B-Exp O
+O O O O O O O O O B-SamFile I-SamFile O O O B-Exp O O O O O O O
+B-SecTeam O O O O O O O O O O O B-SamFile O O O O O B-Exp O
+O O O O O O O O O O O O B-Exp O O O O O O O O O O O B-SamFile O O O O O O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Exp O O O O B-SamFile I-SamFile I-SamFile O B-SamFile O O O O O O O O
+O O O O O O O B-SamFile O O B-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O
+O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O B-Exp O B-Exp O B-Exp O O O B-HackOrg O O O O O O O O
+O O B-SamFile O O O O O O O O O B-Exp O O O O O O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O B-Org I-Org O O B-OffAct O O O O O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O B-Org O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+B-Tool O O O O O O O B-OffAct I-OffAct O O O O O O O O B-Org I-Org O B-Org I-Org O O O O O O O O O O O O O B-HackOrg O O B-Exp I-Exp O O O O B-Tool O B-Time O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O B-Org O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+O B-SamFile O O O O O B-Features O O O O O O O O O O O O O
+O B-SamFile O B-Features I-Features I-Features I-Features O O O O O O O O O O
+O B-SamFile O B-Features O O B-Tool O O O B-HackOrg O O O O B-Purp I-Purp O O O O O O O O
+O O O O O B-SamFile O O O O O O O O O O O O O B-Features O O O O O O O O O O O O
+O B-SamFile O O O O O O O O B-Features I-Features O B-Features O B-Features O B-Features I-Features O B-Features I-Features O
+O O O O B-Features I-Features O O O O O B-SamFile O O O O
+O O O O B-SamFile O B-Features O O O O O O O O O O O O
+O B-Features I-Features O B-SamFile O O O B-Features I-Features I-Features O O O O O O O O O
+O O O O O O O O B-SamFile O O O O B-Features O B-Features I-Features I-Features O O B-Features O O
+O O O O O O B-SamFile O O O B-Features I-Features O O O O O O O O O O O O O O O
+O O O O B-SamFile O O O O B-Features I-Features O O O O O O B-Features I-Features O O O O O O O O
+O O O O O O O B-SamFile O O O B-Features O B-Features O B-Features I-Features O B-Features I-Features I-Features O
+O B-SamFile O O O O O O O O O B-Features B-Features O
+O O O B-SamFile O O O O O O B-HackOrg O O O O O B-Time O O O O O O O O O O O O B-Features I-Features O O O O O O
+B-SamFile O O O O O B-Features O O O O O O O O O O O B-SamFile O O O O O O O O O O O O O O O O O O O
+O B-SamFile O B-Features O O O O O O O O O O O O O O O O
+B-SamFile I-SamFile O O O O O B-HackOrg O O B-Features O O O O O O O O O O O O O O O O O O O O O
+B-SamFile I-SamFile O O O O O O O O O O O O B-Features O O O O O
+O B-SamFile B-Features O O O O O O O O O O O O O O O O O O
+O O O O B-SamFile I-SamFile O O B-Features O B-Features I-Features I-Features O O O O O O B-SamFile O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-SamFile O O O O O O O O B-Features I-Features O O O O
+O B-Exp O B-HackOrg O O O O B-Features I-Features O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+O O O O O O O O O O O O B-SamFile O B-Features I-Features I-Features O O O O O B-Purp I-Purp I-Purp O
+O O O O O I-Features B-Features I-Features I-Features I-Features I-Features I-Features O O O O O O O O O B-Purp I-Purp I-Purp O O O
+O B-HackOrg I-HackOrg O O B-OffAct I-OffAct O O O O B-Purp I-Purp O O O B-Features I-Features I-Features O O O O O O O O O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O O O B-SamFile O B-Exp O B-Features I-Features I-Features O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-SamFile O O O O O O O O B-Features I-Features O O O O
+O B-Exp O B-HackOrg O O O O B-Features I-Features O O O O O
+O O O O B-HackOrg O O O O O O O O O O O O O O O B-Area I-Area O O O B-Idus O B-Idus I-Idus O
+O B-HackOrg I-HackOrg O O O O O O O O O O O B-Idus O B-Idus O B-Idus O B-Idus O O B-Idus O O O O O O O O O B-Area I-Area O
+O B-HackOrg I-HackOrg O O O O O O O O O O O B-Idus O B-Idus O B-Idus O B-Idus O O B-Idus O
+O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O B-Org I-Org O O O O O O O B-Idus B-Idus O B-Idus O O
+O B-HackOrg O O O O O B-Area I-Area O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O O O O
+B-HackOrg I-HackOrg O O O B-Area O B-HackOrg O O O O O B-Time I-Time O O O O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus I-Idus O O
+O O O O O O O B-Area I-Area B-Org O O O O B-Idus I-Idus I-Idus I-Idus I-Idus I-Idus O
+B-OffAct O B-OffAct O B-Org I-Org O O B-Idus I-Idus I-Idus O O B-Idus O O O O O B-Area O
+O O O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O B-Idus O O O O O B-HackOrg I-HackOrg O O O O O O O B-OffAct I-OffAct O O
+B-SecTeam O O O O O B-HackOrg O O O O O O O O O O B-Idus O O B-Idus O O B-Org I-Org O O B-Idus O B-Idus O B-Idus O O B-Idus O O B-Idus O O B-Idus O O O O O O O O O O
+O O O O O O O B-Tool O B-HackOrg O O O O O O O O O O
+B-HackOrg O O O O O B-OffAct O B-OffAct O O O O O O O O O O O
+B-SecTeam O O O O O O O O O O O O O O O O O B-Idus O O B-Idus O O B-Org I-Org O O B-Idus O B-Idus O B-Idus O O B-Idus O O B-Idus O O B-Idus O O O O O O O O O O
+O O O O O B-SecTeam O O O B-HackOrg O O O B-Purp I-Purp O B-Purp I-Purp O O O O O O B-Idus I-Idus O B-Idus O I-Idus O
+O B-Time O O O O O O O O O O B-Tool O O O O O O B-Org I-Org I-Org O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O O B-Org I-Org O O O O
+O O O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O B-Idus I-Idus O B-Idus I-Idus O O B-Idus I-Idus I-Idus O
+B-HackOrg O O O O O O O O O O O B-OffAct I-OffAct O O O O O B-Way I-Way O O O O O B-Way I-Way O O
+B-HackOrg O O B-Way I-Way O O O O O O O O O O O O O O O O
+O B-Time I-Time O B-Time I-Time I-Time O B-SecTeam O O O B-Way I-Way O O B-HackOrg O O B-Area B-Org I-Org O O B-Area O O O O B-Idus O O
+O B-Time I-Time O I-Time O O B-HackOrg O O B-Way I-Way O O O O O O O O B-Org I-Org O
+O B-Time I-Time O I-Time O O B-HackOrg O O B-Way I-Way O O O O O O O O B-Org I-Org O
+O B-HackOrg O O B-Way I-Way I-Way O O O O B-Area B-Idus O B-Idus O O O O O O O B-Idus O
+O O O B-HackOrg I-HackOrg I-HackOrg O O O O O B-Exp I-Exp O B-Way I-Way I-Way O O B-OffAct I-OffAct I-OffAct O
+O B-Time I-Time I-Time I-Time O B-HackOrg I-HackOrg O O B-Way I-Way O O B-Org O O O O O O O O
+O B-Time I-Time I-Time I-Time O B-HackOrg I-HackOrg O O B-Way I-Way O O B-Org O O O O O O O O
+O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O B-Way O B-Way I-Way O O O O
+O B-OffAct I-OffAct I-OffAct O B-Way O B-Way O O O O O O O O O O O O O B-Tool O
+O O O B-OffAct O B-HackOrg O B-Way I-Way I-Way O B-SamFile I-SamFile I-SamFile O O B-Purp I-Purp I-Purp O
+B-HackOrg O O B-Way O O O O B-Way I-Way O
+O O O B-OffAct O B-HackOrg O B-Way I-Way O O O O B-Idus I-Idus O
+O B-Way O B-Way I-Way O O O O B-Tool I-Tool O B-SamFile O O O
+B-HackOrg O O B-Tool I-Tool O O B-Way O O

runs/Nov09_20-48-28_937df8eb1e51/events.out.tfevents.1699562922.937df8eb1e51.59535.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dadc60eba29548d7ed9918c36600c4728aa315cf2f7bba9f67139c2e50a00619
+size 14047

runs/Nov09_20-48-28_937df8eb1e51/events.out.tfevents.1699564385.937df8eb1e51.59535.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:481b2fca2d67fd835306510bbe0b9f3b442b40c529d77f4e7257d4e8d897b41d
+size 560

special_tokens_map.json

@@ -0,0 +1,15 @@
+{
+  "bos_token": "[CLS]",
+  "cls_token": "[CLS]",
+  "eos_token": "[SEP]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

spm.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c679fbf93643d19aab7ee10c0b99e460bdbc02fedf34b92b05af343b4af586fd
+size 2464616

tokenizer_config.json

@@ -0,0 +1,58 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128000": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[CLS]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "eos_token": "[SEP]",
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "sp_model_kwargs": {},
+  "split_by_punct": false,
+  "tokenizer_class": "DebertaV2Tokenizer",
+  "unk_token": "[UNK]",
+  "vocab_type": "spm"
+}

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 10.0,
+    "train_loss": 0.1653548882613625,
+    "train_runtime": 1455.4869,
+    "train_samples": 5250,
+    "train_samples_per_second": 36.07,
+    "train_steps_per_second": 4.514
+}

trainer_state.json

@@ -0,0 +1,262 @@
+{
+  "best_metric": 0.2586195170879364,
+  "best_model_checkpoint": "/content/dnrti_deberta/checkpoint-4500",
+  "epoch": 10.0,
+  "eval_steps": 500,
+  "global_step": 6570,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.76,
+      "learning_rate": 1.8477929984779303e-05,
+      "loss": 0.5854,
+      "step": 500
+    },
+    {
+      "epoch": 0.76,
+      "eval_accuracy": 0.8704462659380692,
+      "eval_f1": 0.5737874097007224,
+      "eval_loss": 0.40972280502319336,
+      "eval_precision": 0.5198204936424832,
+      "eval_recall": 0.6402579456471672,
+      "eval_runtime": 4.4156,
+      "eval_samples_per_second": 149.698,
+      "eval_steps_per_second": 18.797,
+      "step": 500
+    },
+    {
+      "epoch": 1.52,
+      "learning_rate": 1.69558599695586e-05,
+      "loss": 0.3165,
+      "step": 1000
+    },
+    {
+      "epoch": 1.52,
+      "eval_accuracy": 0.9028916211293261,
+      "eval_f1": 0.6634146341463414,
+      "eval_loss": 0.3137385845184326,
+      "eval_precision": 0.6395895681915349,
+      "eval_recall": 0.6890833717181023,
+      "eval_runtime": 3.9274,
+      "eval_samples_per_second": 168.304,
+      "eval_steps_per_second": 21.134,
+      "step": 1000
+    },
+    {
+      "epoch": 2.28,
+      "learning_rate": 1.54337899543379e-05,
+      "loss": 0.2535,
+      "step": 1500
+    },
+    {
+      "epoch": 2.28,
+      "eval_accuracy": 0.9086976320582878,
+      "eval_f1": 0.6814121650361548,
+      "eval_loss": 0.29480797052383423,
+      "eval_precision": 0.6329514026076649,
+      "eval_recall": 0.7379087977890373,
+      "eval_runtime": 4.2826,
+      "eval_samples_per_second": 154.344,
+      "eval_steps_per_second": 19.381,
+      "step": 1500
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.39117199391172e-05,
+      "loss": 0.2034,
+      "step": 2000
+    },
+    {
+      "epoch": 3.04,
+      "eval_accuracy": 0.9210496357012751,
+      "eval_f1": 0.7271508379888268,
+      "eval_loss": 0.26595333218574524,
+      "eval_precision": 0.7061631944444444,
+      "eval_recall": 0.7494242284661446,
+      "eval_runtime": 3.9954,
+      "eval_samples_per_second": 165.441,
+      "eval_steps_per_second": 20.774,
+      "step": 2000
+    },
+    {
+      "epoch": 3.81,
+      "learning_rate": 1.2389649923896501e-05,
+      "loss": 0.1596,
+      "step": 2500
+    },
+    {
+      "epoch": 3.81,
+      "eval_accuracy": 0.9232126593806922,
+      "eval_f1": 0.738556338028169,
+      "eval_loss": 0.268153578042984,
+      "eval_precision": 0.7071217867678045,
+      "eval_recall": 0.7729157070474436,
+      "eval_runtime": 4.0456,
+      "eval_samples_per_second": 163.389,
+      "eval_steps_per_second": 20.516,
+      "step": 2500
+    },
+    {
+      "epoch": 4.57,
+      "learning_rate": 1.08675799086758e-05,
+      "loss": 0.1269,
+      "step": 3000
+    },
+    {
+      "epoch": 4.57,
+      "eval_accuracy": 0.9292463570127505,
+      "eval_f1": 0.7607307946290998,
+      "eval_loss": 0.2595364451408386,
+      "eval_precision": 0.7284991568296796,
+      "eval_recall": 0.7959465684016582,
+      "eval_runtime": 4.1478,
+      "eval_samples_per_second": 159.362,
+      "eval_steps_per_second": 20.011,
+      "step": 3000
+    },
+    {
+      "epoch": 5.33,
+      "learning_rate": 9.3455098934551e-06,
+      "loss": 0.1122,
+      "step": 3500
+    },
+    {
+      "epoch": 5.33,
+      "eval_accuracy": 0.9320924408014571,
+      "eval_f1": 0.7642825011246063,
+      "eval_loss": 0.26422807574272156,
+      "eval_precision": 0.7468131868131868,
+      "eval_recall": 0.7825886688162137,
+      "eval_runtime": 3.5887,
+      "eval_samples_per_second": 184.187,
+      "eval_steps_per_second": 23.128,
+      "step": 3500
+    },
+    {
+      "epoch": 6.09,
+      "learning_rate": 7.823439878234399e-06,
+      "loss": 0.0923,
+      "step": 4000
+    },
+    {
+      "epoch": 6.09,
+      "eval_accuracy": 0.9351662112932605,
+      "eval_f1": 0.7781479013990672,
+      "eval_loss": 0.2676963210105896,
+      "eval_precision": 0.7512864493996569,
+      "eval_recall": 0.8070013818516812,
+      "eval_runtime": 4.0814,
+      "eval_samples_per_second": 161.956,
+      "eval_steps_per_second": 20.336,
+      "step": 4000
+    },
+    {
+      "epoch": 6.85,
+      "learning_rate": 6.301369863013699e-06,
+      "loss": 0.0804,
+      "step": 4500
+    },
+    {
+      "epoch": 6.85,
+      "eval_accuracy": 0.9373292349726776,
+      "eval_f1": 0.7828248587570621,
+      "eval_loss": 0.2586195170879364,
+      "eval_precision": 0.7684117125110914,
+      "eval_recall": 0.7977890373099954,
+      "eval_runtime": 3.7421,
+      "eval_samples_per_second": 176.639,
+      "eval_steps_per_second": 22.18,
+      "step": 4500
+    },
+    {
+      "epoch": 7.61,
+      "learning_rate": 4.779299847792998e-06,
+      "loss": 0.0687,
+      "step": 5000
+    },
+    {
+      "epoch": 7.61,
+      "eval_accuracy": 0.9367600182149363,
+      "eval_f1": 0.7862796833773087,
+      "eval_loss": 0.27908679842948914,
+      "eval_precision": 0.7522086663862011,
+      "eval_recall": 0.8235836020267158,
+      "eval_runtime": 3.7751,
+      "eval_samples_per_second": 175.095,
+      "eval_steps_per_second": 21.986,
+      "step": 5000
+    },
+    {
+      "epoch": 8.37,
+      "learning_rate": 3.2572298325722984e-06,
+      "loss": 0.0626,
+      "step": 5500
+    },
+    {
+      "epoch": 8.37,
+      "eval_accuracy": 0.937898451730419,
+      "eval_f1": 0.78980044345898,
+      "eval_loss": 0.27888956665992737,
+      "eval_precision": 0.7614365113296281,
+      "eval_recall": 0.8203592814371258,
+      "eval_runtime": 4.0964,
+      "eval_samples_per_second": 161.363,
+      "eval_steps_per_second": 20.262,
+      "step": 5500
+    },
+    {
+      "epoch": 9.13,
+      "learning_rate": 1.7351598173515982e-06,
+      "loss": 0.0552,
+      "step": 6000
+    },
+    {
+      "epoch": 9.13,
+      "eval_accuracy": 0.9405168488160291,
+      "eval_f1": 0.7932339194302248,
+      "eval_loss": 0.2773815095424652,
+      "eval_precision": 0.7674418604651163,
+      "eval_recall": 0.82081989866421,
+      "eval_runtime": 4.0739,
+      "eval_samples_per_second": 162.254,
+      "eval_steps_per_second": 20.374,
+      "step": 6000
+    },
+    {
+      "epoch": 9.89,
+      "learning_rate": 2.1308980213089802e-07,
+      "loss": 0.0488,
+      "step": 6500
+    },
+    {
+      "epoch": 9.89,
+      "eval_accuracy": 0.9414845173041895,
+      "eval_f1": 0.7970496200268217,
+      "eval_loss": 0.28076136112213135,
+      "eval_precision": 0.7742075553625706,
+      "eval_recall": 0.8212805158912944,
+      "eval_runtime": 3.8551,
+      "eval_samples_per_second": 171.461,
+      "eval_steps_per_second": 21.53,
+      "step": 6500
+    },
+    {
+      "epoch": 10.0,
+      "step": 6570,
+      "total_flos": 1382693195974392.0,
+      "train_loss": 0.1653548882613625,
+      "train_runtime": 1455.4869,
+      "train_samples_per_second": 36.07,
+      "train_steps_per_second": 4.514
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 6570,
+  "num_train_epochs": 10,
+  "save_steps": 500,
+  "total_flos": 1382693195974392.0,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e5716f99f2d33d8aecaba503aa8caccf9540e70cf1b6c1cd88627f7bbad61a60
+size 4600