File size: 8,420 Bytes
df41178 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 | #!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
corpus_pc.py -- 「パソコンの話」の文章を集める
────────────────────────────────────────────────
なぜ作ったか
────────────────────────────────────────────────
語の意味あてが、どうやっても当たらなかった。
原因を辿ったら、表し方ではなく「材料」が悪かった。
辞書の「画像」 → 人物 / 日本 / 洋風 / 弟子 / 先生 ← 絵画の意味
辞書の「フォト」 → グラフ / 単位 / 平方 / センチ ← 照度の単位
Wikipediaの「壁紙」→ 建築物の内装仕上材 ← 建材の意味
どれも「言葉の意味としては正しいが、パソコンの話ではない」。
ここで欲しいのは、ファイルの話をしているときの意味だけ。
────────────────────────────────────────────────
そこで、集め方をひっくり返した
────────────────────────────────────────────────
✗ 語を引いて、その説明を読む … 別の意味が返ってくる
✓ パソコンの話の記事を丸ごと集めて、そこに出てくる語を見る
「デジタル画像」「画像ファイルフォーマット」「スクリーンショット」…
という記事に出てくる語は、ぜんぶ画像まわりの語だと言い切れる。
意味を調べるのではなく、どの話に出てくるかで決める。
掛け算は1回も使わない。数えるだけ。
"""
import os, re, sys, json, time, collections
HERE = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, HERE)
import wiki
OUT = os.path.join(HERE, "pc_web.json")
# 種類ごとの「話のもと」。この記事に出てくる語は、その種類の語とみなす
TOPICS = {
"画像": ["デジタル画像", "画像ファイルフォーマット", "ラスターグラフィックス",
"スクリーンショット", "写真", "JPEG", "Portable Network Graphics",
"デジタルカメラ", "壁紙 (コンピュータ)", "サムネイル",
"画像処理", "アイコン (コンピュータ)",
"自分撮り", "スナップショット (写真)", "挿絵", "画像編集",
"ペイントソフト", "GIF", "ビットマップ画像", "解像度",
"Adobe Photoshop", "イラストレーション"],
"動画": ["動画", "動画共有サービス", "MPEG-4", "映像", "ビデオ",
"動画配信", "コーデック", "アニメーション", "映画",
"ストリーミング", "YouTube", "ビデオカメラ", "フレームレート",
"映像編集", "実写"],
"音楽": ["音楽ファイル", "MP3", "デジタルオーディオ", "音楽配信",
"音声ファイルフォーマット", "楽曲", "音響", "波形",
"サンプリング周波数", "歌詞", "音源", "WAV", "着信メロディ",
"オーディオプレーヤー"],
"書類": ["Portable Document Format", "文書", "オフィススイート",
"ワードプロセッサ", "表計算ソフト", "電子文書", "帳票",
"契約書", "報告書", "請求書", "履歴書", "見積書",
"プレゼンテーションソフト", "Microsoft Word"],
"テキスト": ["テキストファイル", "プレーンテキスト", "文字コード",
"テキストエディタ", "Unicode", "改行コード", "原稿",
"草稿", "覚書", "メモ帳 (Windows)", "マークダウン",
"Comma-Separated Values", "ログファイル"],
"圧縮": ["データ圧縮", "ZIP (ファイルフォーマット)", "アーカイブ",
"可逆圧縮", "gzip", "非可逆圧縮", "7-Zip", "RAR",
"tar (ファイルフォーマット)"],
}
# 語らしいかたまりの取り出し方。
# ・カタカナの連なり … スクリーンショット
# ・漢字の連なり（2〜5文字） … 圧縮率
# ・英数字 … JPEG, MP3
_TOKEN = re.compile(
r"[ァ-ヴー]{2,12}|[一-龥]{2,5}|[A-Za-z][A-Za-z0-9]{1,11}")
# どの話にも出てくる語。手がかりにならないので捨てる
STOP = set("""
こと もの ため これ それ ある なる いる する できる ように 場合 とき 一般 使用
利用 必要 以下 以上 また および その他 なお ただし 参照 出典 脚注 関連 項目
日本 世界 現在 一部 多く 場合 方法 種類 意味 名称 上記 下記 存在 可能 不可
""".split())
def tokens(text):
return [w for w in _TOKEN.findall(text) if w not in STOP]
def collect(chars=20000, verbose=True):
"""記事を集めて、語ごとに「どの話に、何回出たか」を数える
記事ごとの語も残す。あとで
「その語が出てくる記事はどんな記事か」を見るのに使う
"""
per_topic = {} # 種類 → Counter(語 → 回数)
per_doc = [] # [(種類, 題, [語…])]
for kind, titles in TOPICS.items():
cnt = collections.Counter()
for t in titles:
try:
a = wiki.article(t, chars)
except Exception as e:
if verbose:
print(f" ✗ {t}: {e}")
continue
if not a:
if verbose:
print(f" － {t}: 記事なし")
continue
ws = tokens(a["本文"])
cnt.update(ws)
per_doc.append((kind, a["題"], ws))
if verbose:
print(f" ✓ {kind:<5} {a['題']:<28} {len(ws):>5} 語")
per_topic[kind] = cnt
return per_topic, per_doc
def build(chars=20000, top=400, verbose=True):
"""集めた結果を、そのまま使える形にして保存する
出すもの:
"話ごとの語": 種類 → [(語, 回数), …] ← 手本の材料
"語の話ぶり": 語 → {種類: 回数, …} ← その語がどの話に出るか
"""
per_topic, per_doc = collect(chars, verbose)
docs = len(per_doc)
# どの話にも出る語は、手がかりにならない。話をまたぐ語ほど軽くする
appears = collections.Counter()
for cnt in per_topic.values():
for w in cnt:
appears[w] += 1
nk = len(per_topic)
out_topic = {}
for kind, cnt in per_topic.items():
# 「その話でよく出て、他の話ではあまり出ない」語を上から採る
scored = [(c * (nk - appears[w] + 1), w, c) for w, c in cnt.items()
if c >= 2]
scored.sort(reverse=True)
out_topic[kind] = [[w, c] for _s, w, c in scored[:top]]
profile = {}
for kind, cnt in per_topic.items():
for w, c in cnt.items():
profile.setdefault(w, {})[kind] = c
# 記事ごとの語（多い順に上位だけ）。これがあれば
# 「その語が出る記事はどんな記事か」を、語そのものを使わずに言える
out_doc = []
for kind, title, ws in per_doc:
c = collections.Counter(ws)
out_doc.append({"種類": kind, "題": title,
"語": [[w, n] for w, n in c.most_common(300)]})
data = {"話ごとの語": out_topic, "語の話ぶり": profile,
"記事ごとの語": out_doc,
"記事数": docs, "語数": len(profile)}
json.dump(data, open(OUT, "w", encoding="utf-8"), ensure_ascii=False)
if verbose:
print(f"\n 記事 {docs} 本 / 語 {len(profile):,} 個 → {OUT}")
for k, v in out_topic.items():
print(f" {k:<5} {' / '.join(w for w, _c in v[:12])}")
return data
def load():
if not os.path.exists(OUT):
return None
return json.load(open(OUT, encoding="utf-8"))
if __name__ == "__main__":
build(verbose=True)
|