| import re |
| import numpy as np |
| LEAD_PREP = ['qua', 'trong', 'do', 'bằng', 'từ', 'nhìn', 'với', 'theo', 'nhờ', 'vì', 'tại', 'để', 'khi', 'nếu', 'chính vì', 'thông qua'] |
| FUNC_WORDS = ['là', 'thì', 'mà', 'nên', 'đã', 'sẽ', 'đang', 'của', 'cho', 'với', 'bởi', 'được', 'bị', 'những', 'các', 'rằng'] |
| CAUSE = re.compile('^\\W*(do|vì|tại|bởi|nhờ|chính vì|nếu|tuy|mặc dù|khi)\\b.*\\b(nên|thì|mà)\\b', re.I) |
|
|
| def first_words(s, n): |
| w = re.findall(r'\w+', s.lower()) |
| return ' '.join(w[:n]) |
|
|
| def feats(s): |
| s = ' '.join(s.split()) |
| low = s.lower() |
| toks = re.findall(r'\w+', low) |
| n = max(len(toks), 1) |
| f = {} |
| f['log_len'] = np.log1p(n) |
| f['ellipsis'] = float('...' in s or '…' in s) |
| for p in ['qua', 'trong', 'do', 'bằng', 'từ', 'nhìn', 'với', 'theo', 'nhờ', 'vì', 'tại', 'để', 'khi', 'nếu']: |
| f['lead_' + p] = float(first_words(s, 1) == p) |
| f['lead_prep_any'] = float(any(first_words(s, len(p.split())) == p for p in LEAD_PREP)) |
| f['cause_pair'] = float(bool(CAUSE.search(s))) |
| f['n_comma'] = s.count(',') / n * 10 |
| f['n_semicolon'] = s.count(';') |
| f['n_colon'] = s.count(':') |
| f['n_dash'] = len(re.findall(r'\s[-–—]\s', s)) |
| f['n_paren'] = s.count('(') |
| f['n_quote'] = s.count('“') + s.count('”') + s.count('"') + s.count('‘') + s.count('’') |
| f['quote_unbal'] = float(s.count('“') != s.count('”') or s.count('"') % 2 == 1) |
| f['n_sent'] = len(re.findall(r'[.!?]\s+[A-ZĐÀ-Ỹ]', s)) |
| f['no_end_punct'] = float(not re.search(r'[.!?…”"]\s*$', s)) |
| f['has_digit'] = float(bool(re.search(r'\d', s))) |
| caps = re.findall(r'\b[A-ZĐ][\wÀ-ỹ]*', s) |
| f['cap_ratio'] = len(caps) / n |
| f['acronym'] = float(bool(re.search(r'\b[A-ZĐ]{2,}\b', s))) |
| f['no_comma_long'] = float(',' not in s and n > 20) |
| for w in FUNC_WORDS: |
| f['fw_' + w] = toks.count(w) / n * 10 |
| return f |
|
|
