Update README.md
Browse files
README.md
CHANGED
|
@@ -43,4 +43,65 @@ This is based on [Kredor's work](https://huggingface.co/kredor/punctuate-all). B
|
|
| 43 |
, 0.2 0.0 0.8 0.0 0.0 0.0
|
| 44 |
? 0.0 0.0 0.0 1.0 0.0 0.0
|
| 45 |
- 0.1 0.0 0.0 0.0 0.9 0.0
|
| 46 |
-
: 0.0 0.0 0.0 0.0 0.0 1.0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 43 |
, 0.2 0.0 0.8 0.0 0.0 0.0
|
| 44 |
? 0.0 0.0 0.0 1.0 0.0 0.0
|
| 45 |
- 0.1 0.0 0.0 0.0 0.9 0.0
|
| 46 |
+
: 0.0 0.0 0.0 0.0 0.0 1.0
|
| 47 |
+
|
| 48 |
+
|
| 49 |
+
## Install
|
| 50 |
+
|
| 51 |
+
To get started install the package from [pypi](https://pypi.org/project/deepmultilingualpunctuation/):
|
| 52 |
+
|
| 53 |
+
```bash
|
| 54 |
+
pip install deepmultilingualpunctuation
|
| 55 |
+
```
|
| 56 |
+
### Restore Punctuation
|
| 57 |
+
```python
|
| 58 |
+
from deepmultilingualpunctuation import PunctuationModel
|
| 59 |
+
|
| 60 |
+
model = PunctuationModel('ModelsLab/punctuate-indic-v1')
|
| 61 |
+
text = "హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు అక్కడి భూమి నాకు కావాలి నేను దాన్ని ఎలా పొందగలను"
|
| 62 |
+
result = model.restore_punctuation(text)
|
| 63 |
+
print(result)
|
| 64 |
+
```
|
| 65 |
+
|
| 66 |
+
**output**
|
| 67 |
+
> హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు, అక్కడి భూమి నాకు కావాలి, నేను దాన్ని ఎలా పొందగలను?
|
| 68 |
+
|
| 69 |
+
### Predict Labels
|
| 70 |
+
```python
|
| 71 |
+
from deepmultilingualpunctuation import PunctuationModel
|
| 72 |
+
|
| 73 |
+
model = PunctuationModel('ModelsLab/punctuate-indic-v1')
|
| 74 |
+
text = "హ్యారీ చాలా చిన్న వ్యవసాయ కలిగి ఒక పెద్ద పొలం కావాలని కలలు కనేవాడు ఒకసారి తన తండ్రి బిల్ ను అడిగాడు అక్కడి భూమి నాకు కావాలి నేను దాన్ని ఎలా పొందగలను"
|
| 75 |
+
clean_text = model.preprocess(text)
|
| 76 |
+
labled_words = model.predict(clean_text)
|
| 77 |
+
print(labled_words)
|
| 78 |
+
```
|
| 79 |
+
|
| 80 |
+
**output**
|
| 81 |
+
|
| 82 |
+
> ['హ్యారీ', '0', 0.7721978],
|
| 83 |
+
['చాలా', '0', 0.9996537],
|
| 84 |
+
['చిన్న', '0', 0.9703038],
|
| 85 |
+
['వ్యవసాయ', '0', 0.99389863],
|
| 86 |
+
['కలిగి', '0', 0.66695035],
|
| 87 |
+
['ఒక', '0', 0.99995697],
|
| 88 |
+
['పెద్ద', '0', 0.9995778],
|
| 89 |
+
['పొలం', '0', 0.999982],
|
| 90 |
+
['కావాలని', '0', 0.9995049],
|
| 91 |
+
['కలలు', '0', 0.99998343],
|
| 92 |
+
['కనేవాడు', '0', 0.3442819],
|
| 93 |
+
['ఒకసారి', '0', 0.925744],
|
| 94 |
+
['తన', '0', 0.9999279],
|
| 95 |
+
['తండ్రి', '0', 0.82426786],
|
| 96 |
+
['బిల్', '0', 0.9998516],
|
| 97 |
+
['ను', '0', 0.99997056],
|
| 98 |
+
['అడిగాడు', ',', 0.55599153],
|
| 99 |
+
['అక్కడి', '0', 0.9996816],
|
| 100 |
+
['భూమి', '0', 0.9978115],
|
| 101 |
+
['నాకు', '0', 0.9999769],
|
| 102 |
+
['కావాలి', ',', 0.873619],
|
| 103 |
+
['నేను', '0', 0.99976164],
|
| 104 |
+
['దాన్ని', '0', 0.999979],
|
| 105 |
+
['ఎలా', '0', 0.99997866],
|
| 106 |
+
['పొందగలను', '?', 0.9895349]
|
| 107 |
+
|