Update README.md
Browse files
README.md
CHANGED
|
@@ -60,7 +60,122 @@ output = model(**encoded_input)
|
|
| 60 |
|
| 61 |
## Training data
|
| 62 |
|
| 63 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 64 |
```
|
| 65 |
```
|
| 66 |
|
|
|
|
| 60 |
|
| 61 |
## Training data
|
| 62 |
|
| 63 |
+
非常全的文言文（古文）-现代文平行语料，基本涵盖了大部分经典古籍著作。
|
| 64 |
+
|
| 65 |
+
原始爬取的数据是篇章级对齐，经过脚本分句（按照句号分号感叹号问号划分）以及人工校对，形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外，目录source下是文言文单语数据，target下是现代文单语数据，这两个目录下的文件内容按行对齐。
|
| 66 |
+
|
| 67 |
+
以下为数据统计信息。其中，短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍，已和《资治通鉴》合并。
|
| 68 |
+
|
| 69 |
+
|书名|句数
|
| 70 |
+
|:--|:--|
|
| 71 |
+
短篇章和资治通鉴|348727
|
| 72 |
+
元史|21182
|
| 73 |
+
北史|25823
|
| 74 |
+
北书|10947
|
| 75 |
+
南史|13838
|
| 76 |
+
南齐书|13137
|
| 77 |
+
史记|17701
|
| 78 |
+
后汉书|17753
|
| 79 |
+
周书|14930
|
| 80 |
+
太平广记|59358
|
| 81 |
+
宋书|23794
|
| 82 |
+
宋史|77853
|
| 83 |
+
徐霞客游记|22750
|
| 84 |
+
新五代史|10147
|
| 85 |
+
新唐书|12359
|
| 86 |
+
旧五代史|11377
|
| 87 |
+
旧唐书|29185
|
| 88 |
+
明史|85179
|
| 89 |
+
晋书|21133
|
| 90 |
+
梁书|14318
|
| 91 |
+
水经注全|11630
|
| 92 |
+
汉书|37622
|
| 93 |
+
辽史|9278
|
| 94 |
+
金史|13758
|
| 95 |
+
陈书|7096
|
| 96 |
+
隋书|8204
|
| 97 |
+
魏书|28178
|
| 98 |
+
**总计**|**967257**
|
| 99 |
+
|
| 100 |
+
《短篇章和资治通鉴》中各书籍统计如下（此部分数据量不完全准确）：
|
| 101 |
+
|
| 102 |
+
|书名|句数
|
| 103 |
+
|:--|:--|
|
| 104 |
+
资治通鉴|7.95w
|
| 105 |
+
左传|1.09w
|
| 106 |
+
大学章句集注| 86
|
| 107 |
+
反经| 4211
|
| 108 |
+
公孙龙子| 73
|
| 109 |
+
管子| 6266
|
| 110 |
+
鬼谷子| 385
|
| 111 |
+
韩非子| 4325
|
| 112 |
+
淮南子| 2669
|
| 113 |
+
黄帝内经| 6162
|
| 114 |
+
皇帝四经| 243
|
| 115 |
+
将苑| 100
|
| 116 |
+
金刚经| 193
|
| 117 |
+
孔子家语| 138
|
| 118 |
+
老子| 398
|
| 119 |
+
了凡四训| 31
|
| 120 |
+
礼记| 4917
|
| 121 |
+
列子| 1735
|
| 122 |
+
六韬| 693
|
| 123 |
+
六祖坛经| 949
|
| 124 |
+
论语| 988
|
| 125 |
+
吕氏春秋| 2473
|
| 126 |
+
孟子| 1654
|
| 127 |
+
梦溪笔谈| 1280
|
| 128 |
+
墨子| 2921
|
| 129 |
+
千字文| 82
|
| 130 |
+
清史稿| 1604
|
| 131 |
+
三字经| 234
|
| 132 |
+
山海经| 919
|
| 133 |
+
伤寒论| 712
|
| 134 |
+
商君书| 916
|
| 135 |
+
尚书| 1048
|
| 136 |
+
世说新语| 3044
|
| 137 |
+
司马法| 132
|
| 138 |
+
搜神记| 1963
|
| 139 |
+
搜神后记| 540
|
| 140 |
+
素书| 61
|
| 141 |
+
孙膑兵法| 230
|
| 142 |
+
孙子兵法| 338
|
| 143 |
+
天工开物| 807
|
| 144 |
+
尉缭子| 226
|
| 145 |
+
文昌孝经| 194
|
| 146 |
+
文心雕龙| 1388
|
| 147 |
+
吴子| 136
|
| 148 |
+
孝经| 102
|
| 149 |
+
笑林广记| 1496
|
| 150 |
+
荀子| 3131
|
| 151 |
+
颜氏家训| 510
|
| 152 |
+
仪礼| 2495
|
| 153 |
+
易传| 711
|
| 154 |
+
逸周书| 1505
|
| 155 |
+
战国策| 3318
|
| 156 |
+
贞观政要| 1291
|
| 157 |
+
中庸| 206
|
| 158 |
+
周礼| 2026
|
| 159 |
+
周易| 460
|
| 160 |
+
庄子| 1698
|
| 161 |
+
百战奇略| 800
|
| 162 |
+
论衡| 1.19w
|
| 163 |
+
智囊|2165
|
| 164 |
+
罗织经|188
|
| 165 |
+
朱子家训|31
|
| 166 |
+
抱朴子|217
|
| 167 |
+
地藏经|547
|
| 168 |
+
国语|3841
|
| 169 |
+
容斋随笔|2921
|
| 170 |
+
幼学琼林|1372
|
| 171 |
+
三略|268
|
| 172 |
+
围炉夜话|387
|
| 173 |
+
冰鉴|120
|
| 174 |
+
|
| 175 |
+
|
| 176 |
+
如果您使用该语料库，请注明出处：https://github.com/NiuTrans/Classical-Modern
|
| 177 |
+
|
| 178 |
+
感谢为该语料库做出贡献的成员：丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。
|
| 179 |
```
|
| 180 |
```
|
| 181 |
|